Приветствую всех вОблако Tencent + сообщество, получить больше крупной технической практики Tencent по галантерее~
Автор: Ли Хайци (старший менеджер по продуктам Tencent Cloud)
Ты смотрел ЧМ в прямом эфире? CCTV, произвела ли на вас глубокое впечатление четкость и плавность звука и видео CCTV? Давайте посмотрим на отзывы пользователей сети:
Как владелец авторских прав и распространитель контента этого чемпионата мира, CCTV предъявляет чрезвычайно высокие технические требования к службам поддержки прямых трансляций этого чемпионата мира. И CCTV, наконец, выбрала продукт Tencent Cloud-Video Cloud Extreme High-Definition, чтобы обеспечить бесперебойную и стабильную прямую трансляцию высокой четкости для своих пользователей по всей стране. Сверхбыстрый сервис высокой четкости показал хорошие результаты после официального запуска CCTV.В начале чемпионата мира он резко контрастировал с пользовательским опытом других платформ, что изменило восприятие предыдущими пользователями крупномасштабного видеонаблюдения. прямая трансляция мероприятия.
Эта статья начинается с принципа работы Ultra HD, оптимизирует сцену Кубка мира с помощью глубокого обучения и, наконец, выигрывает в соответствии с потребностями видеонаблюдения и других технологий, и, наконец, развертывает и публикует в виде временной шкалы, записывает и обобщает, как Tencent Cloud Ultra HD завершен анализ этой сети видеонаблюдения.Поддержка прямых трансляций чемпионата мира.
1. Что, черт возьми, такое Tencent Cloud Extreme HD?
Основными проблемами качества при обычном транскодировании являются: искажение транскодирования, размытие низкого разрешения, дрожание объектива, высокий уровень шума, пилообразные блоки с низкой скоростью передачи данных и т. д.
Сверхбыстрый HD-сервис — это новая интеллектуальная технология динамического кодирования, запущенная Tencent-Video Cloud.Основной принцип заключается в интеллектуальной обработке живого видеопотока с помощью глубокого обучения, чтобы предоставить пользователям прямой видеопоток с более высоким разрешением в более низкая стоимость полосы пропускания. ** В основном это достигается за счет сотрудничества следующих модулей.
1. Интеллектуальная классификация видеосцен: Сначала мы используем метод глубокого обучения для формирования библиотеки моделей сцен из более чем дюжины основных категорий и десятков небольших категорий, включая игры, спорт, шоу, игры на открытом воздухе, анимацию, еду, фильмы и телевизионные драмы и т. д. Во время запуска сверхбыстрого HD-сервиса прямая трансляция в реальном времени обнаруживается и анализируется, и соответствующая модель сцены сопоставляется. С точки зрения скорости совпадения, более очевидные сцены, такие как игры, футбол, баскетбол, анимация и т. д., точность соответствия модели сети CNN составляет более 98%; телевизионные драмы, спорт на открытом воздухе, еда, туризм и другие сцены с разбросанным изображением. функции и большие изменения в движении между кадрами, CNN + RNN + LSTM для анализа во временной и пространственной областях, уровень точности превышает 85%.
2. Сопоставление параметров кодирования: В соответствии с результатами распознавания в реальном времени первого шага классификации сцен, в сочетании с исходной частотой видео, частотой кадров, разрешением, текстурой и изменением движения, а также комплексными эффектами загрузки машины и качества изображения, выберите оптимальные параметры кодирования.
3. Предварительная обработка: Перед повышением резкости, мягким размытием, деинтерлейсингом, деблокировкой, шумоподавлением, компенсацией уровня, уменьшением количества кадров и т. д. в соответствии с различными классификациями сцен, различными требованиями клиентов к качеству видео, а также в сочетании с текстурой исходного видеоизображения и реальным изображением. время обработки набора результатов обнаружения движения.
4. Динамическая оптимизация кода: Tencent Cloud — служба Extreme HD применяет совершенно разные параметры кодирования для разных категорий видео и разных видеосегментов в одном и том же видео, включая, помимо прочего: тип кадра IBP, параметр квантования QP, разрешение и т. д., а также поддерживает параметры кодирования Real- покадровые обновления вступают в силу.
5. Интеллектуальное управление скоростью: Потому что, будь то стандартный алгоритм управления скоростью H.264/JVT-G012 или алгоритм управления скоростью x264, в сценарии, где переключение с изменением движения более очевидно, теоретическая выпуклая кривая «скорость-искажение», полученная однократным предварительным кодированием, максимально близка к для оптимального искажения, насколько это возможно Кривая, для кадров сцены с очевидным обнаружением в реальном времени и переключением движущихся сцен мы будем интегрировать информацию о времени кадра на основе управления скоростью передачи данных x264, чтобы сделать некоторые коэффициенты компенсации и контроль качества изображения, так что субъективная оценка просмотра VMAF будет составлять 3-5 баллов и более.
Как показано на рисунке выше, контроль скорости ниже и точнее, когда показатель VMAF одинаков.
6.detail reduce: Для формата кодирования видео h264 мы разрабатываем алгоритм для удаления шума в частотной области остатков видео. Алгоритм объединяет остаточный размер текущего закодированного макроблока, значение QP макроблока, историческое значение частотной области и т. д., выбирает соответствующий шаблон шумоподавления видео в соответствии с различными сценариями и адаптивно выполняет обработку видео на уровне макроблока. низкое потребление ЦП оптимизирует шумные макроблоки, сохраняя при этом целостность чистых макроблоков.
7. Обработка ROI: SIFT + дифференциальное изображение + обнаружение изображения движущейся цели или указанное пользователем (например, логотип станции, водяной знак) обращает внимание на область интереса, и кодирование макроблока в этой области улучшено (увеличенный / уменьшенный размер шага квантования), резкость, уровень компенсация и другая обработка. Например, для чемпионата мира по кабельному телевидению требуется повышение качества и яркости изображения в области логотипа и субтитров.
Tencent Cloud-Video Cloud в основном использует вышеуказанные модули для совместной работы и обработки, чтобы включить сверхбыстрые услуги высокого разрешения Tencent Cloud в облаке.
2. 500 симуляций, 100 практических занятий для сценариев чемпионата мира по футболу.
После Весеннего фестиваля в этом году сверхбыстрый сервис высокой четкости Tencent Cloud начал подключаться к некоторым ведущим платформам прямых трансляций игр, и это было признано клиентами. А вот на спортивные мероприятия (особенно футбольные) клиенты нам не выставлялись. Перед чемпионатом мира мы проводим систематическое машинное обучение и оценку оптимизации визуальных эффектов для сцены футбольного матча, чтобы наилучшим образом подготовиться к предстоящему чемпионату мира.
1. Машинное обучение и визуальная настройка: более 500 видеороликов о футбольных матчах в поисковых системах. Для каждого игрового видео: высокоскоростная спортивная сцена, тренировка по модели футбола, долгосрочная оптимизация объектива, улучшение области ROI при воспроизведении ярких моментов, захват выражения аудитории и другие детали для анализа визуальных эффектов и оценки эффекта оптимизации, чтобы создать лучшая модель динамического кодирования для чемпионата мира по футболу.
2. Китайская Суперлига проверит почву: Хоть мы и оптимизировали динамическую модель кодирования футбольных событий, нам не хватало реальных лендинговых пользователей, в это время мы все еще немного нервничаем. Примерно в середине апреля мы активно продвигали сервис сверхвысокого разрешения для игр Суперлиги Китая, которые транслировались в прямом эфире Dragon Ball, и постепенно добавляли сервис сверхвысокого разрешения для некоторых игр Суперлиги Китая. в начале, после постепенной оптимизации, эффект был улучшен.Может удовлетворить потребности клиентов.
3. Сумма сокращения Премьер-лиги: После практики в Суперлиге Dragon Ball на ранней стадии у нас в основном есть итоги в наших сердцах. В более поздний период я начал активно искать заказчиков спортивных мероприятий. Как владелец авторских прав на Премьер-лигу на материке, Xinying Sports в основном является доминирующим игроком в Премьер-лиге (а ритм Премьер-лиги намного быстрее, чем в китайской Суперлиге, которая будет больше соответствовать чемпионату мира по футболу). место действия). С помощью архитекторов и бизнесменов мы продвигали сверхбыстрый сервис высокого разрешения Xinying Sports.После нескольких раундов тестирования и оптимизации клиент, наконец, прошел проверку.
3. Перед началом игры невидимый ПК
Будучи высоко ценимым клиентом во всей индустрии облачного видео, CCTV является обязательным для производителей облачных услуг. Перед чемпионатом мира, после того как CCTV решила внедрить новые технологии для повышения четкости игры во время чемпионата мира, различные поставщики облачных услуг предоставили свои собственные решения. После нескольких раундов тестирования компания CCTV, наконец, остановилась на выборе между Tencent Cloud и определенным производителем облачных сервисов.Поскольку приближается чемпионат мира по футболу, для нас это большое испытание. В процессе PK с нашими оппонентами мы провели десятки обновлений и оптимизаций услуг в таких модулях, как контроль скорости, удаление размытия, деблокировка, устранение чередования, поиск движения и принятие решений о блокировке.PK, CCTV, наконец, выбрали Tencent Cloud.
Как показано на картинке выше, Extreme HD имеет небольшое преимущество в качестве VMAF, а битрейт примерно на 8%-10% ниже, чем у друзей.
В-четвертых, объединившись в одно целое, завершить приватизацию сверхбыстрой службы видеонаблюдения высокой четкости за одну неделю.
Хотя по техническим показателям мы выиграли, в силу специфики и срочности ЧМ, а у клиента пока нет соответствующих аппаратных ресурсов, таких как серверы. Таким образом, требование становится: «частное развертывание вашей собственной машины». На самом деле, в процессе общения с заказчиками на раннем этапе нам было ясно о «развертывании приватизации», и мы к нему тоже готовимся. Но в настоящее время времени очень мало.Сталкиваясь с требованиями «принести свой собственный сервер», «принести свой собственный коммутатор» и «предоставить свой собственный персонал по эксплуатации и обслуживанию», у команды действительно слишком мало времени. подготовить. Но мы никогда не хотим отставать.Кроме того, прямая трансляция чемпионата мира в высоком разрешении чрезвычайно важна для пользователей, клиентов и Tencent. После срочных консультаций мы разработали новый план приватизации.
План развертывания приватизации после обновления:
Цель: Настройте полный набор сверхбыстрого кластера транскодирования высокой четкости Tencent Cloud в сети видеонаблюдения, поддержите прямую трансляцию канала CCTV5 во время чемпионата мира по CCTV, исходный поток RTMP/FLV push-pull и поддержку CCTV RTMP/FLV/HLS pull. -поток после транскодирования.
Развертывание машины: В клиентской комнате есть только ресурсы стойки.Учитывая, что если клиента попросят подготовить аппаратные ресурсы, связанные с машиной, цикл заявки на закупку группы будет слишком длинным. Поэтому мы позаимствовали у компании 10 транскодирующих машин M10, а также другое сопутствующее вспомогательное оборудование, такое как коммутаторы, оптические модули, оптические волокна, сетевые кабели и другое связанное с этим оборудование, которое студенты работали вместе и приобретали отдельно. При развертывании аппаратного обеспечения, такого как серверы, разработчики и архитекторы сами подключают и завинчивают винты. (Это настоящий инженер полного стека)
5. Звучит стартовый свисток, мы нервничаем больше, чем игроки
Наконец, перед началом чемпионата мира мы адаптируем различные требования к аппаратному оборудованию заказчика и модулям программного кода.Далее собственно испытание.. **Перед первым игровым днем все еще очень нервничали, если после прямой трансляции возникнут проблемы, то все предыдущие усилия будут напрасны. После запуска игры мы нервно уставились на экран: **Все сервисные показатели в норме, эффект оттока превосходит ожидания, эффект трансляции имеет явные преимущества перед другими платформами. **После первого дня конкурса мы также получили чрезвычайно высокие отзывы от клиентов, а отзывы внешних пользователей также заставили нас замереть. Однако игра только началась, месячный чемпионат мира, а мы продолжим бороться незаметно!
Прилагаю несколько фотографий с места происшествия:
Наконец, я надеюсь, что вы сможете насладиться сверхбыстрым сервисом высокой четкости Кубка мира, предоставленным вам Tencent Cloud.
вопросы и ответы
Как транслировать живое видео на Android?
Связанное Чтение
WebSocket и MSE для протокола прямой трансляции HTML5
Инструмент для проверки качества захвата звука в реальном времени NOW.
Применение мини-программ в продуктах для потокового вещания
Эта статья была разрешена автором для публикации сообщества Tencent Cloud +, исходная ссылка: https://cloud.tencent.com/developer/article/1151441?fromSource=waitui.
Приветствую всех вОблако Tencent + сообществоИли обратите внимание на общедоступную учетную запись WeChat сообщества Yunjia (QcloudCommunity) и как можно скорее получите больше массовой технической практики галантерейных товаров ~