Реферат: С 24 по 26 апреля в Университетском городке Шэньчжэня успешно прошла конференция HDC.Cloud 2021. Облачное озеро данных HUAWEI CLOUD FusionInsight MRS представило наиболее компетентные решения для работы с большими данными, предоставив государственным и корпоративным клиентам интеграцию озер и хранилища, облачное решение для больших данных, одна архитектура может создавать 3 типа озер данных: автономное озеро данных, озеро данных в реальном времени, логическое озеро данных, а также эксперименты с песочницей на месте и лекции известных учителей, давайте рассмотрим подробнее Посмотрите.
Эта статья опубликована в сообществе HUAWEI CLOUD.«HDC.Cloud2021 Обзор основных моментов облачного озера данных HUAWEI CLOUD FusionInsightMRS», Автор оригинала: Песочные часы.
26 апреля 2021 г. успешно завершилась HDC.Cloud2021 (Huawei Developer Conference 2021). На этой конференции облачное озеро данных HUAWEI CLOUD FusionInsight MRS выступило с концепцией и миссией «одна архитектура, три озера» вместе со многими отраслевыми клиентами, партнерами и разработчиками и обсудило, как быстро развиваться в 5G. , AI и IoT, В настоящее время мы проведем углубленное обсуждение таких тем, как лучшие технологические инновации и расширение возможностей тысяч отраслей. Ниже давайте снова переживем прекрасные моменты этого события.
HUAWEI CLOUD FusionInsight MRS Cloud-Native Data Lake в зоне поддержки данных
HUAWEI CLOUD FusionInsight MRS — «конструкция» из трех озер
Облачное озеро данных HUAWEI CLOUD FusionInsight MRS в выставочной зоне, обеспечивающей работу с данными, представляет самые передовые решения для больших данных, предоставляя государственным и корпоративным клиентам интегрированные решения для хранения и хранения больших данных в облаке.Одна архитектура может создавать три типа данных. озера: автономные озера данных, озера данных в реальном времени и логические озера данных поддерживают сценарии приложений больших данных, такие как анализ в реальном времени, автономный анализ, интерактивный запрос, поиск в реальном времени, мультимодальный анализ, хранилище данных, доступ к данным, и управление полномасштабными данными государственных и корпоративных клиентов Высокоэффективное и упрощенное использование государственных и корпоративных клиентов, помогая государственным и корпоративным клиентам достичь одного предприятия, одного озера, одного города и одного озера, более точной бизнес-аналитики и более быстрая реализация ценности.
**Озеро данных в автономном режиме: **HetuEngine предоставляет возможности интерактивных запросов второго уровня, данные не выходят за пределы озера, ссылка для анализа короткая, производительность на 30%+ выше, чем у Impala, а эффективность анализа в 10 раз+; DLC обеспечивает унифицированные метаданные, глобальную видимость данных; HetuEngine предоставляет унифицированные интерфейсы SQL в озере: HDFS, Hive, HBase, ES и т. д., упрощая использование.
** Real-Time Data Lake: ** Flow Process + Hudi Implement Data Update into Lake, from T + 1 to T + 0; Clickhouse provides milliseconds real-time OLAP analysis capabilities; FLINK provides FLINKSQL capabilities, batch SQL interface unified, streambound Один.
** Логическое озеро данных: ** HetuEngine обеспечивает унифицированный доступ к озерам, хранилищам и облакам, сокращая миграцию данных, обеспечивая эффективный поток данных, совместный анализ глобальных данных второго уровня, реагирование второго уровня и 10-кратное улучшение бизнеса в Интернете. эффективность, укороченная с недельной до небес.
HUAWEI CLOUD FusionInsight MRS реализует сотрудничество между промышленностью, университетом и исследованиями, всесторонне способствует развитию технологий с открытым исходным кодом для больших данных и совместно с Университетом Цинхуа выпустила версию механизма синхронизации IoTDB. В настоящее время HUAWEI CLOUD FusionInsightMRS применяется более чем к 3000 клиентам в более чем 60 странах, помогая государственным и корпоративным клиентам создавать одно предприятие, одно озеро, один город и одно озеро, получать более точную информацию о бизнесе и быстрее реализовывать преимущества!
Хуан Хаокси, технический инженер-эколог HUAWEI CLOUD FusionInsight, объяснил эксперимент
Сбоку от стенда облачного озера данных HUAWEI CLOUD FusionInsight MRS находится тестовая лаборатория, где разработчики могут попрактиковаться.Опыт доступа к озеру в режиме реального времени, использование MRS Clickhouse для тестирования OLAP в реальном времени и использование MRS HetuEngine для испытайте возможности перекрестного и междоменного анализа» три эксперимента, благодаря практическому опыту, чтобы углубить ваше понимание характеристик каждого компонента, Hudi может поддерживать добавочное обновление данных, от традиционного «От добавления до обновления», обновление данных в режиме реального времени. реализовано, и выпуск ценности данных изменился с T+1 до T+0; Clickhouse имеет возможности анализа OLAP на миллисекундном уровне, что позволяет анализировать данные без озера, решая проблемы традиционной избыточности данных и перемещения туда и обратно; HetuEngine обеспечивает единый стандартный SQL для обеспечения эффективного доступа к различным источникам данных, распределенным в нескольких регионах (или центрах обработки данных), защиты различий данных в структуре, хранилище и регионах, а также реализации разделения данных и приложений.
Выставочная зона HUAWEI CLOUD FusionInsight MRS Cloud Native Data Lake
Выставочная площадка не только обладает характеристиками облачного озера данных HUAWEI CLOUD FusionInsight MRS, но и имеет опыт практического применения в песочнице, позволяя посетителям получить практический опыт, приобретая передовые технологии больших данных.
Лекционный зал известных учителей: говорить о новых технологиях, новых ценностях и новых тенденциях
Во время Генеральной Ассамблеи серия «Mingri Lecture Hall» серия «известных преподавателей» крупного лекционного зала «известных учителей» в технических экспертах Huawei окружила ценность облачных, больших данных, искусственных интеллектов, изучить ценность технологических инноваций, обмена практиками инноваций. Среди них Huawei Cloud Fusionsightmrs Yunyun City Data Data Lake принес два экспертных выступления, а Чжу Тианли, поделившимися «Cluster Cluster узел узел в тысяче уровне», Zhetuengine Architect Wu Wenbo поделитесь темой «Как реализовать масштабный иерархический анализ данных в перекрестке» Источник и перекрестная доменная сцена ».
Последовательное обновление кластеров больших данных с тысячами узлов без перерыва в работе
Архитектор решений HUAWEI CLOUD FusionInsight Сюй Тяньли выступает с речью
С цифровым развитием правительства и предприятий озера данных несут все больше и больше ключевых услуг по анализу и обработке данных в правительстве, финансах, операторах, крупных предприятиях и т. д. В процессе ежедневного обновления и обслуживания требования к непрерывности бизнеса также гарантируют становится выше.
С другой стороны, технология больших данных быстро обновляется.Традиционные платформы больших данных используют автономные методы обновления, которые требуют таких операций, как сбой питания и перезапуск.Операция обновления сложна, эксплуатация и обслуживание громоздки, а работа существующей сети это влияет на бизнес.Кроме того, крупные обновления кластера занимают много времени и легко прерываются внезапными сбоями.Для действий по обновлению, чтобы поддерживать непрерывность бизнеса и технологическое лидерство, срочно необходимы возможности последовательного обновления без прерывания бизнеса, чтобы обеспечить непрерывное развитие больших кластерных баз данных.
Облачное озеро данных HUAWEI CLOUD FusionInsight MRS обеспечивает сверхкрупномасштабные кластеры, поддерживает один кластер с масштабом более 20 000 узлов и может неограниченно расширяться за счет федерации. кластеры узлов, облачное озеро данных HUAWEI CLOUD FusionInsightMRS обеспечивает возможность непрерывного обновления, и на данный момент вероятность успешного обновления составляет 100%.
Благодаря возможности последовательного обновления облачного озера данных HUAWEI CLOUD FusionInsight MRS оно помогает государственным и корпоративным клиентам выполнять пакетные и циклические последовательные обновления больших кластеров без прерывания обслуживания; функция изоляции неисправных узлов обеспечивает стабильную работу операций обновления. , обеспечивая 7 * 24 часов непрерывной работы Услуги; Более 1000 уточненных показателей O&M и визуализированные операции упрощают O&M и обеспечивают непрерывную эволюцию архитектуры.
Поминутный анализ массивных данных по озерам и хранилищам
Архитектор HetuEngine Ву Венбо выступил с речью
HetuEngine — это унифицированный и эффективный механизм анализа виртуализации данных, который легко интегрируется с экосистемой больших данных для выполнения запросов второго уровня к массивным данным; первое в отрасли гетерогенное сотрудничество с несколькими источниками для выполнения универсального анализа слияния SQL и совместного анализа массивов данных в минут.
** Высокопроизводительный интерактивный запрос: ** Традиционные большие данные создают специальные задачи запросов через механизм Hive, а время запроса велико.HetuEngine обеспечивает ответ на запрос второго уровня с помощью эвристического индексирования и кэша планов выполнения;
** Интеграция между озерами, хранилищами и облаками: ** Традиционный анализ данных должен сначала унифицировать формат данных HetuEngine может реализовать объединение между различными форматами данных, уменьшить перемещение данных и повысить эффективность на 30% по сравнению с традиционным решения: традиционный анализ DC требует ручного переноса данных, HetuEngine можно подключить через DC Connector, данные можно просматривать глобально, а время совместной работы сокращается с дней до минут;
**Multi-engine integration: **Traditional big data needs to involve multi-component custom development when developing multi-engine components. HetuEngine can unify SQL interface to access big data, reduce the threshold of usage, and increase development efficiency by 2- 10 раз.
Эпилог
Занавес опущен, но не конец, а отправная точка нового пути. Облачное озеро данных HUAWEI CLOUD FusionInsight MRS останется верным своему первоначальному стремлению, будет двигаться вперед, поддерживать источник технологических инноваций, расширять черную землю цифрового мира и работать с более чем 800 независимыми поставщиками программного обеспечения, чтобы предоставить клиентам постоянно развивающуюся интегрированную озеро и хранилище, которые могут быть интегрированы в одну архитектуру.Реализуйте автономные озера данных, озера данных в реальном времени и логические озера данных в Интернете и создайте «одно предприятие, одно озеро, один город, одно озеро» в тысячах отрасли.
Нажмите «Подписаться», чтобы впервые узнать о новых технологиях HUAWEI CLOUD~