Статья была впервые опубликована в общедоступной учетной записи [Ученик больших данных].Если вы заинтересованы, пожалуйста, выполните поиск dashujuxuetu или отсканируйте код в конце статьи, чтобы следовать.

Чтобы облегчить обучение и разработку, я написал Dockerfile, установил общее программное обеспечение, связанное с большими данными, и сделал базовые конфигурации. В настоящее время все компоненты можно использовать в обычном режиме. Приветствую всех, кто использует и отзывается. Я буду поддерживать его в течение длительного времени. .Полезная пожалуйста Звезда.

В настоящее время включены следующие компоненты: Hadoop, Hive (на Tez), Hue, Spark, Flink, Zookeeper, Kafka, MySQL.

Адрес зеркального Docker Hub:Hubei.docker.com/repository/…

Адрес проекта на гитхабе:GitHub.com/ia horse bug/big…

Управляющее резюме:

Основная информация
Инструкции по запуску
Пример использования
1. Загрузить файлы в HDFS с помощью Hue
2. Запустите пример WordCount для Flink на Yarn
инструкции по сборке

1. Основная информация

Информация о версии каждого компонента выглядит следующим образом (корневой пароль MySQL — root):

компоненты	Версия
базовое изображение	ubuntu:18.04
Hadoop	3.1.3
Spark	2.4.4
Hive (on Tez)	3.1.2
Tez	0.9.2
Hue	4.5.0
Flink	1.9.1
Zookeeper	3.5.6
Kafka	2.3.1
MySQL	5.7

2. Инструкции по запуску

Образ был отправлен в Docker Hub, и непосредственное выполнение следующей команды должно начать извлечение образа:

docker run -it -p 8088:8088 -p 8888:8888 -h bigdata iamabug1128/bdp bash

или клонировать проект и выполнитьrun-bop.shсценарий.

8088 — это порт веб-интерфейса YARN, а 8888 — это порт Hue.

Имя хоста должно быть указано как bigdata.

После входа в образ команда запуска всех компонентов:

/run/entrypoint.sh

Или запустите Kafka отдельно:

/run/start_kafka.sh

Просмотрите процессы и убедитесь, что все процессы запущены:

root@bigdata:/# jps
1796 ResourceManager
1316 DataNode
2661 RunJar
1205 NameNode
2662 RunJar
3719 Jps
1914 NodeManager
1530 SecondaryNameNode
523 QuorumPeerMain
543 Kafka

За исключением того, что Hue установлен в/usr/share/hue, система MySQL установлена вне пути, все остальные компоненты в установке/usr/local/Под содержанием:

root@bigdata:/# ls /usr/local/      
bin  etc  flink  games  hadoop  hive  include  kafka  lib  man  sbin  share  spark  src  tez  zookeeper

3. Пример использования

3.1 Загрузка файлов в HDFS с помощью Hue

доступlocalhost:8888,войтиadmin, adminВойдите в Hue и нажмите слеваFilesКнопка навигации, появится страница браузера файлов:

Нажмите в правом верхнем углуUploadкнопка, выберите файл для загрузки, страница после загрузки:

Вернитесь в командную строку контейнера и посмотрите/user/adminсодержание:

Загрузка действительно прошла успешно.

3.2 Пример WordCount с запуском Flink на Yarn

в командной строке переключиться на/usr/local/flinkкаталог, выполнять./bin/flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 4096m ./examples/batch/WordCount.jar:

открыть в браузереhttp://localhost:8088, вы можете увидеть выполнение задачи Flink:

Миссия завершена успешно:

4. Инструкции по сборке

Структура каталогов следующая:

BigDataParty $ tree               
.
├── Dockerfile
├── README.md
├── build.sh
├── conf
├── packages
├── run-bdp.sh
└── scripts

В дополнение к README и Dockerfile, краткое введение в каждый файловый каталог выглядит следующим образом:

build.sh: загрузите сжатый пакет каждого компонента и запустите его.docker build
run-bdp.sh: запустить созданный образ и открыть веб-порты Hue и Yarn.
conf: сохраните файлы конфигурации каждого компонента и скопируйте их в каталог каждого компонента при сборке образа.
пакеты: сжатый пакет, в котором хранится каждый компонент, который распаковывается при сборке образа./usr/localПод содержанием
Сценарии: храните сценарии инициализации и запуска каждого компонента и копируйте их в образ при сборке образа./runПод содержанием

5. Продолжение следует

Целью написания этого зеркала является облегчение моего повседневного использования (обучение, тестирование, проверка и т. д.), и оно будет продолжать улучшаться в будущем.Если вам интересно, добро пожаловать ко мне.

Добро пожаловать на обмен и обсуждение, высказывание предложений и обмен коллекциями.

Усердная учеба подобна всходам, вырастающим весной Уход из школы - это как камень для заточки ножа: вреда не видишь, а теряешь каждый день. Обратите внимание на [Ученика больших данных], используйте технические галантереи, чтобы помочь вам расти лучше