Этой статьей поделился Ся Чжоу из Alibaba, в которой подробно рассказывается о разработке и текущей ситуации с Alibaba Cloud Redis.
Введение в Redis
Redis: Remote Dictionary Server, система хранения Key-Value, преимущества включают в себя:
- Простота использования: поддержка расширенной структуры данных, модуль
- Высокая производительность: проектирование структуры данных университета, работа с полной памятью
- Надежность: активная-резервная синхронизация, постоянство
Облачная архитектура Redis для Alibaba
Общая структура
Один узел -> одна активная/резервная машина -> кластер -> разделение чтения-записи -> аварийное восстановление в одном городе -> удаленная многоактивная
Общая архитектура Alibaba Cloud включает шесть вспомогательных систем:
- Система управления ГК
Модуль обнаружения высокой доступности экземпляра используется для обнаружения и мониторинга рабочего состояния экземпляра Redis.
- система сбора логов
Собирает журналы о рабочем состоянии ApsaraDB для Redis, включая журналы медленных запросов экземпляра и журналы доступа.
- Система наблюдения
Выполнение мониторинга производительности экземпляра Redis и сбора информации, в настоящее время включая мониторинг группы базовой информации, мониторинг информации о группе ключей, мониторинг группы информации о строках и другую основную информацию.
- Система онлайн-миграции
Когда физическая машина, на которой работает экземпляр, выходит из строя, система онлайн-миграции перестраивает экземпляр в соответствии с файлом резервной копии в системе резервного копирования, чтобы гарантировать, что бизнес не пострадает.
- Резервная система
Выполняйте обработку резервных копий для экземпляров Redis и сохраняйте созданные файлы резервных копий в системе OSS для сохранения. В настоящее время система резервного копирования Redis поддерживает пользовательские настройки резервного копирования, которые могут временно создавать резервные копии и сохранять файлы резервных копий в течение 7 дней.
- система управления полетом
Экземпляры Redis поддерживают несколько задач управления и контроля, таких как создание экземпляров, изменение конфигураций и резервное копирование экземпляров.Система задач будет выполнять гибкий контроль, отслеживание задач и управление ошибками в соответствии с инструкциями по эксплуатации, выдаваемыми пользователями.
Архитектура с двойным копированием
- Применимые сценарии: чистый кеш, сохранение данных
- Производительность: 8-10 Вт запросов в секунду
- Ссылка: Внутренний SLB -> Redis
- Доступ: совместим со всеми клиентами с открытым исходным кодом.
- SLA: 2 копии, высокая доступность, переключение за секунды
Кластерная архитектура с двойным копированием
- Применимые сценарии: большой объем данных, высокие требования к производительности
- Производительность: 100 Вт запросов в секунду
- Ссылка: Внутренний SLB -> Redis
- Доступ: совместим со всеми клиентами с открытым исходным кодом.
- SLA: 2 копии осколков, высокая доступность
Архитектура разделения чтения-записи
- Применимые сценарии: больше читайте и меньше пишите, большой ключ, не требуется строгой согласованности
- Преимущество:
Линейное масштабирование возможностей чтения и записи, поддержка всех команд, прозрачность для пользователей
Аварийное восстановление в том же городе
- Применимая сцена:
Высокая доступность данных
- Преимущество:
Горячее резервирование пользовательских данных в двух машинных залах, плавное переключение сервисов при выходе из строя одного машинного зала, после восстановления машинного зала инкрементальная синхронизация на базе Binlog предотвращает лавины трафика
Аварийное восстановление в разных местах + мультилайв
- Применимая сцена:
Читайте и пишите больше, читайте и пишите поблизости - Преимущество:
Допускает сбой компьютерного зала N-1; в конечном итоге устойчиво; межрегиональное аварийное восстановление
Гибридное хранилище
- Применимая сцена:
Большой объем данных, умеренные требования к производительности, приложения для живого видео, приложения для электронной коммерции - Преимущество:
100% совместимость с Redis; разделение горячих и холодных данных; сверхэкономичность
Оптимизация ядра Alibaba Cloud Redis
- Совместимость с протоколом Memcache
- Обнаружение высокой доступности
- AOF Binlog
- Оптимизация системы персистентности
- Безопасное шифрование
- IO, оптимизация соединения
Трансформация системы персистентности:
- Храните исторические журналы AOF
- Удалить перезапись AOF
- Расширенная информация журнала AOF
- Новая форма организации данных: полная RDB + исторический AOF
- Механизм синхронизации на основе AOF Binlog
Независимый поток обнаружения портов:
- отдельное событие
- Блокировка основного потока не затрагивается
- Обнаружение плохого диска
- медленный зонд памяти
- Быстрое аварийное восстановление
Оптимизация фоновой асинхронной записи AOF:
- Добавлен режим биозаписи
- Облегченная очередь блокировки
- биопоток для операции записи потока
- Повысьте производительность и избегайте влияния медленной записи на основной поток.
Поддержка протокола Memcache:
- Поддерживает текстовые и бинарные протоколы, полностью совместимы
- Повторное использование хранилища объектов Redis String в memcached
- Повторно используйте собственный протокол синхронизации Redis.
- Повторно используйте собственный механизм сохраняемости Redis.
- Новая версия Memcache поддерживает сканирование, резервное копирование и дополнительную статистику.
Оптимизация гибридного хранилища:
- Храните все ключи и горячие данные в памяти
- Данные холодного хранения в RocksDB
- Производительность горячих данных соответствует Redis
- 100% совместимость с Redis
- Данные выгружаются и записываются в RocksDB асинхронно без блокировки основного потока.
- Один экземпляр поддерживает хранение данных TB+
Оптимизация многопоточности сетевого ввода-вывода.
Отказ от ответственности: если не указано иное, все статьи в этой учетной записи являются оригинальными, и читатели официальной учетной записи имеют приоритет для чтения и не могут воспроизводиться без разрешения автора, в противном случае они будут нести ответственность за нарушение.
Подпишитесь на мой официальный аккаунт и ответьте на [JAVAPDF] в фоновом режиме, чтобы получить 200 страниц тестовых вопросов!Большие данные, на которые обращают внимание 50 000 человек, — это дорога к Богу, почему бы вам не прийти и не узнать об этом?50 000 человек обращают внимание на то, как большие данные становятся богом, разве вы не хотите узнать об этом?50 000 человек обращают внимание на то, как большие данные становятся богом, вы уверены, что действительно не хотите прийти и узнать об этом?