предисловие
Ранее мы говорили, что Yarn — это платформа планирования ресурсов, которая отвечает за предоставление серверных вычислительных ресурсов для вычислительных программ, чтобы на ней могли работать такие приложения, как Spark, flink и MapReduce. Если вы не знаете, что это такое, перейдите к разделу «Архитектура и рабочий процесс Apache Hadoop YARN».
Итак, как мы можем увидеть, сколько ресурсов есть у машины Yarn? Память, процессор и т.д. Приложения, которые мы отправили в Yarn, каково их рабочее состояние, сколько ресурсов занято и какие машины выполняют для них задачи?
Ответ — да, больше, чем командная строка, а также визуальная страница пользовательского интерфейса. Здесь мы посмотрим, в конце концов, похоже, все.
Информация о кластере
В меню «О программе» вы можете увидеть статус Yarn ResourceManager, является ли он HA, его версию и информацию о версии Hadoop.
Домой
Я помню, что когда я раньше собирал кластер Hadoop, я не знал, как я был взволнован, когда закончил страницу Yarn.На самом деле это выглядело так.
Информация о мониторинге кластера
Первая область — это информация мониторинга всего кластера:
- Представленные приложения: отправленные приложения, у нас их более 710 000.
- Завершенные приложения: Завершенные приложения
- Запущенные приложения: запущенные приложения.
- Работающие контейнеры: работающие контейнеры
- Общий объем памяти: общий объем памяти кластера.
- Используемая память: Используемая память
- VCores Total: общее количество ядер ЦП в кластере.
- Используемые VCores: количество используемых ядер ЦП.
- Зарезервированная память: зарезервированная память
- VCores Reserved: количество зарезервированных ядер ЦП.
инструкция:
- Работающие контейнеры: работающий контейнер, почему так говорят, потому что Yarn создаст контейнер для запуска перед запуском задачи. Подробности смотрите в статье по ссылке выше.
- Зарезервировано VCores и зарезервировано памяти: почему существуют резервирования? Это связано с тем, что Yarn предотвращает то, что когда контейнер выделяется для NodeManager, NodeManager не может соответствовать текущим требованиям, поэтому существующие ресурсы NodeManager будут заморожены для соответствия стандарту, требуемому контейнером, а затем распределены в этот контейнер. См. эту статью об этом вопросе и ответеWhat is Memory reserved on Yarn
Информация об узле кластера
Вторая область — это ситуация с узлами кластера Yarn.Нажмите на число в разделе «Активные узлы», чтобы просмотреть информацию о конкретном списке узлов. Он содержит такую информацию, как стойка, рабочее состояние, адрес узла, время последнего отчета о работоспособности, количество запущенных контейнеров, используемый ЦП памяти и номер версии. Как показано ниже.
Информация о списке приложений
Третий блок — это список задач, выполняемых на Yarn:
Включает в себя следующее:
- Первый блок может быть отфильтрован в соответствии с различным статусом задачи.Приведенное выше изображение предназначено для фильтрации запущенных задач. Как только мы его переместим, мы будем смотреть на бегущую (РАБОТАЮЩУЮ) и бегущую завершенную (ЗАВЕРШЕННУЮ). Если вы обнаружите, что ваша задача больше не доступна, она может быть в состоянии принята (ПРИНЯТА) и не запускалась, если не найдена, то поздравляем, возможно проблема, запуск не удался в сбой (FAILED). В это время вы можете щелкнуть идентификатор задачи, перейти на страницу сведений, найти запись в журнале, чтобы просмотреть журнал, и найти проблему.
- Второй блок — это ID задачи, о котором говорить нечего, можно внимательно посмотреть правила его генерации.
- Третий блок — название задачи, на рисунке видно, что это имя класса — это имя основного класса поставленной нами искровой задачи. Другой тип — улей на искре. Имя этого типа на самом деле — скрипт запуска улья. Мы знаем, что исполняющий движок нашего улья — искра. Существует еще один тип задачи MapReduce.Здесь задача MapReduce — это не тот код, для написания которого мы на самом деле используем MapReduce, а мы используем sqoop для извлечения данных. Его нижний слой — MapReduce. Существует также задача Flink, которая будет отображать кластер сеансов Flink, но мы еще не использовали ее.
- Четвертый блок — это тип приложения и очередь, в которой оно находится. Распространенными типами являются spark, mapreduce и Apache Flink. В очереди вы можете вспомнить, что когда мы говорили об архитектуре пряжи, задачи, которые мы отправили в пряжу, будут помещены в очередь, эта очередь имеет значение по умолчанию, а некоторые можно указать с помощью --queue при отправке. Если мы этого не сделаем, то оно будет отправлено с той учетной записью, которую вы использовали при отправке задачи.Например, я являюсь пользователем centos здесь, и отображение будет отображаться как root.users.centos.
- Пятый блок — время начала и окончания задачи.
- Шестой блок — текущее состояние и конечное состояние задачи.
- Седьмой блок — сопутствующие ресурсы, занятые задачей.
- Восьмой блок — это домашняя страница типа приложения для задачи. Если это задача spark, отображается страница пользовательского интерфейса spark.
Страница сведений о приложении
В списке задач щелкните идентификатор приложения, чтобы перейти на страницу сведений о приложении:
Просмотр журналов приложений
从应用详情页 ApplicationMaster 中，点击 最右边 log ,可以进入到应用的日志页面，日志记录了两部分，一部分是你的应用运行框架打印的日志，比如spark ，另外一部分是你编写的代码中打印的日志。 point 打印的日志都会记录。 Как показано ниже:
Перейдите на страницу пользовательского интерфейса мониторинга среды приложения.
На странице сведений можно щелкнуть ссылку ApplicationMaster, указанную в URL-адресе отслеживания, или в списке приложений, чтобы перейти на страницу пользовательского интерфейса работающей среды задачи. Ниже приведен пример искры:
Посмотреть очередь пряжи
На главной странице также есть меню планировщика, где вы можете увидеть информацию об очереди пряжи. Он включает в себя, какие очереди есть, использование ресурсов каждой очереди, какие задачи выполняются в этой очереди и так далее.
Журнал пряжи
Обычно, если мы обнаруживаем какие-то проблемы с Yarn, то мы можем увидеть журнал Yarn, в левом меню Tools->Local logs мы можем увидеть информацию журнала Yarn:
Пряжа мониторинга сервиса
В CDH у Yarn фактически есть мониторинг ресурсов.Если вы не используете CDH, у вас есть только созданный вами кластер Yarn, то Yarn также предоставляет способ получения времени мониторинга.В левом меню Tools -> Server metrics мы можем см. следующие данные, только данные Json. адрес:http://journalnode1:8088/jmx?qry=Hadoop:*
После получения этих данных вы также можете написать страницу для визуального отображения и показать вам мониторинг Yarn от CDH:
Наконец
В строке меню Tools также есть информация о конфигурации Yarn и информация о текущем стеке сервиса, если интересно, можете изучить.
Вышеизложенное представляет собой интерфейс пользовательского интерфейса Yarn. Позже мы представим вам команды работы и обслуживания, которые мы используем Yarn, и предоставляемый им RestAPI.