NewSQL с открытым исходным кодом — применение и практика CockroachDB в Baidu

Для неуникальных индексов более умна база данных Cockroach, которая также компилирует строки в ключ, так что при сопоставлении префикса в индексе до тех пор, пока соответствующий элемент индекса соответствует началу индекса. , соответствующий Выньте его, а затем обратным индексом к данным через .

Для обновления данных в системе хранения строк требуется только одна операция ввода-вывода, но поскольку БД Cockroach хранится в столбцах, данные необходимо обновлять несколько раз. С этой целью Cockroach DB предлагает концепцию семейства столбцов, которое инкапсулирует столбцы, к которым необходимо часто обращаться, и может даже превратиться в хранилище строк через семейство столбцов, что может эффективно сократить операции ввода-вывода.

Чтобы добиться возможности линейного расширения, Cockroach DB использует децентрализованную архитектуру, и любой отказ узла не влияет на кластер. Он реализует управление состоянием узлов через протокол Gossip, и теоретически один кластер поддерживает 10 000 узлов. Метод метаданных двухуровневой маршрутизации позволяет одному кластеру поддерживать до 4 ЭБ хранилища пользовательских данных. Подмодель всей архитектуры использует распределенный дизайн без единого узкого места и поддерживает одновременную запись нескольких узлов.

Перед лицом проблемы масштабируемости одномашинной базы данных обычно используется метод распределения хеш-данных. Но если не используется непротиворечивый хэш, нормальное распределение хэша требует переноса данных и выключения сервера. База данных Cockroach выбирает дистрибутив Range, который может напрямую расширяться в сети, не останавливая сервер при увеличении емкости.В то же время, поскольку каждые данные разделены на небольшие сегменты по 64 М, они могут не зависеть от сервисов при добавлении новых узлов.Автоматическая балансировка нагрузки и сильная согласованность нескольких копий.

Архитектура репликации master-slave, используемая для синхронизации данных MySQL, является слабо согласованной, в то время как синхронизация данных реплики Cockroach DB основана на протоколе Raft, который имеет сильную согласованность.Когда узел зависает, повторный журнал не был полностью реплицирован в подчиненную базу данных. y проблемы, приводящие к потере данных.

Из-за децентрализованной архитектуры Cockroach DB отсутствует SPDF, поэтому в архитектуре нет централизованных модулей, таких как Hbase HMaster и Percolator oracle, а сбой одного узла не влияет на доступность кластерной группы.

Кроме того, поскольку он основан на протоколе Raft, сервис доступен до тех пор, пока сохраняется более половины реплик; когда узел неисправен и количество реплик данных меньше заданного порога, реплики автоматически удаляются. заполняется для обеспечения надежности.

БД Cockroach использует модифицированную двухэтапную транзакцию фиксации, которая вводит глобальную таблицу транзакций для записи состояния транзакции, а фиксация/откат транзакции изменяет только бит флага записи. Данные, записанные в транзакции, инкапсулируются в специальную структуру (INTENT), и информация индекса, подразумеваемая в этом INTENT, может обратить индекс состояния транзакции. Преимущество этой модели обработки транзакций заключается в том, что накладные расходы на фиксацию и откат транзакции относительно невелики.

Когда все транзакции записываются в диапазон, можно использовать Raft для обеспечения атомарности и одновременной записи данных. В то же время он может оптимизировать производительность транзакций записи не между диапазонами и сократить обмен данными RPC.

БД Cockroach использует режим управления параллелизмом MVCC, который использует время HLC в качестве номера версии и хранит данные в обратном порядке, чтобы обеспечить доступ к последней версии данных в первую очередь. Поддерживается запрос с перемещением во времени, а данные с несколькими версиями очищаются асинхронным сборщиком мусора.

Вычисление HLC полностью опирается на идеи физических часов и логических часов. HLC Timestamp ID состоит из двух частей: времени и логического времени, физическое время синхронизируется через NTP. При отправке сообщения, создании локального события и получении сообщения I и J сбрасываются до максимального из нескольких эталонных значений. Это устраняет эффекты одноточечной инверсии часов или ошибок часов между различными узлами.

Алгоритм HCL прост в реализации, недорог и имеет определенную задержку. Он основан на службе часов NTP, не требует дополнительного оборудования, алгоритм прост, а стоимость внедрения невысока. Однако существует отклонение часов, и диапазон отклонения будет относительно большим в случае глобальной сети.

Алгоритм часов True Time имеет определенную стоимость и низкую задержку. Он основан на специальном оборудовании, таком как GPS + атомные часы, и стоимость реализации высока. По сути, аналогичный алгоритму физических часов, интервал ошибки используется для замены момента времени. Точность системы часов True Time намного выше, чем у NTP, а задержку можно контролировать в пределах 14 мс.

Cockroach DB больше подходит для сценариев OLTP и поддерживает облегченные сценарии OLAP. Эти сценарии имеют следующие характеристики:

- Высокая скорость одновременного чтения и записи, поддержка многоточечной записи, автоматическая балансировка нагрузки

- Большой объем хранения данных

- Расширение по запросу и онлайн в любое время

- Аварийное восстановление в центрах обработки данных, строгая согласованность данных с несколькими копиями

- Требования к задержке не жесткие

В прошлом Baidu использовала промежуточное программное обеспечение для фрагментации данных, но когда нужно было переносить пиковый трафик, его приходилось расширять заранее. Более того, когда доступ к данным осуществляется на бизнес-уровне, доступ к данным должен осуществляться в соответствии с фиксированными правилами, а распределенные транзакции не могут выполняться между слайсами.

После введения Cockroach DB мы можем предоставить унифицированное представление базы данных для бизнеса, которое проще в использовании, эксплуатации и обслуживании.

Перед внедрением Cockroach DB мы также занимались совместимостью синтаксического протокола MySQL, синхронизацией данных, а также автоматической работой и обслуживанием.

Официальный сайт тараканов: http://www.cockreachchina.cn/