Эта статья изначально была опубликована технической командой Taobao по мобильному телефону. В создании этой статьи участвовали такие эксперты, как У Чжихуа (Тянь Ши), Хун Хай (Одинокая звезда), Чэнь Вэйцзян (Чжун Шэн) и другие эксперты. опубликовано в публичном аккаунте «Тао Департамент Технологии».Есть исправления и изменения.
1. Введение
Оптимизация мобильной сети — вечная тема суперприложений, и она еще более важна для беспроводного бизнеса, потому что опыт сетевых запросов тесно связан с покупательским поведением пользователя.
Мобильный Taobao превратился из шлюза HTTP API в прошлом в высокопроизводительную, полнодуплексную и безопасную ACCS (Alibaba Cloud Channel Service), которая может обрабатывать основной трафик поля битвы Double Eleven, будь то эволюция инфраструктуры, настройка сети, Мы можем поделиться с вами большим ценным опытом по оптимизации протоколов, удаленной многозадачности и планированию сети. Эта статья использует эту возможность, чтобы обобщить весь процесс эволюции технологии.
*** Объект чтения: ** Эта статья представляет собой краткую статью в глубоководной области оптимизации мобильных сетей. Она подходит для разработчиков, имеющих некоторый опыт работы с мобильными сетевыми приложениями (особенно для тех, кто имеет определенное представление о мобильных слабые сети) Если накопить знания, то понять их можно просто не углубляясь. Если вас интересуют мобильные слабые сети, вы можете дополнительно прочитать рекомендуемые статьи в разделе «Приложение» в конце этой статьи.
Эта статья была одновременно опубликована в публичном аккаунте «Круг технологий обмена мгновенными сообщениями», обратите внимание:
▲ Ссылка на эту статью в официальном аккаунте:Нажмите здесь, чтобы войти, исходная ссылка:ООО, ООО .52IM.net / Thread-3110 ...
2. Статьи по теме
"Архитектура и практика мобильной системы отправки сообщений Taobao (аудио + PPT) [Скачать вложение]》
3. Технический фон
Напоминая, что бизнес мобильной электронной коммерции начал набирать обороты на Double Eleven, мобильные транзакции в день Double Eleven составили 24,3 миллиарда, что составляет 42,6% от общей суммы 57,1 миллиарда.
Ожидается, что с быстрым развитием бизнеса будут более активные push-уведомления для пользователей.Нужен новый игровой процесс и интерактивные формы, чтобы связать покупателей и покупателей, покупателей и продавцов, покупателей и экспертов.Потому что нет эффективных возможности канала, бизнес принимает Он постоянно опрашивает сервер, что вызовет ненужную нагрузку на сервер, а во-вторых, это также будет огромной тратой потока мощности мобильного телефона пользователя. Если он слишком велик, он будет даже заставляют внутренний кластер ограничивать ток, что влияет на взаимодействие с пользователем.
За изменением формы распространения информации стоят новые технические характеристики, вызванные мобильностью. В области мобильной электронной коммерции мобильный Taobao всегда был пионером. Мобильная электронная коммерция превратилась из первоначальной бизнес-формы копирования WEB в мобильные функции, и появились более интерактивные формы.Сегодня, когда социализация и развлечения продолжают развиваться, простая товарная витрина больше не может удовлетворить потребности бизнеса. .
Пользователи нуждаются в в режиме реального времени контакта бизнеса, предоставляют полную игру к характеристикам движения, обломки, проводящие их использование времени, также доказали, что проводить время пользователя с движением процесса изменения, постепенно распределяемого со временем в мусоре день. Между тем форма шельфа также предназначена для общественного, развлекательного ориентированного направления, все все подключенные пользователи имеют более высокие требования к сетевому слою. Больше медиа-формы и презентации, сетевой уровень требует более поднятых элементов.
Вы можете обратить внимание на окна сообщений в мобильном телефоне Taobao.Эти продукты являются воплощением бизнес-изменений, а бизнес-изменения подталкивают к развитию технологий.
4. Проблемы мобильной сетевой среды существовали всегда
Скорость мобильной сети небрежно популяризируется 3g, 4g и 5g, и скорость была значительно улучшена, но разнообразие и различие сетевой среды делают среду мобильной сети более сложной. Эффективность устранения проблемы захвата сети очень низкая, необходимо найти пользователей, воспроизвести сцену и даже найти сетевых работников и операторов для сотрудничества со следствием, проверка занимает несколько дней.
В то же время, по нашим отзывам общественного мнения, мы всегда видим, как пользователи говорят: «определенная страница загружается, страница не может быть открыта, запрос очень медленный, и открытие определенной функции очень медленное». хороший способ справиться с этими проблемами в прошлом. Я могу быть пассивным, только ловя кошек и мышей, чтобы разминировать одну за другой. Многие сетевые проблемы случаются случайно, и если их пропустить, то сейчас нет возможности их проверить.
Причин таких проблем множество:
- 1) Проблемы оператора;
- 2) Причины развертывания машинного зала;
- 3) Ошибка клиентского SDK;
- 4) Слабая сеть и сетевой джиттер;
- 5) Перехват DNS и фальсификация данных.
В эпоху ПК наши условия доступа к веб-сайтам относительно постоянны, поэтому мы редко учитываем влияние сети на взаимодействие с пользователем во время разработки. Но мобильное приложение не так, особенно в Китае, базовая среда мобильной сети не очень хороша, и многие из посещений наших пользователей происходят в мобильной среде, такой как метро и автобусы, а также частое переключение базовых станций мобильной связи. увеличивается нестабильность сети. Из данных мобильного телефона Taobao мы видим, что многие из наших ежедневных активных пользователей приходят из слабой сетевой среды. Если сквозное подключение к облаку нестабильно и имеет большую задержку, взаимодействие с пользователем будет невозможно.
Эффективность базовой сети подобна поезду, задержка — скорости поезда (время запуска), пропускная способность — загрузке вагона поезда, а физическая связь всей передачи — рельсам поезда. поезд. Текущие условия мобильной сети на самом деле очень сложны, и наша цель очень проста, а именно, чтобы все пользователи могли без проблем работать с мобильным Taobao.
Следующее изображение может дать вам более интуитивное представление о среде домашней мобильной сети. Описана сквозная маршрутизация от пользователей к IDC. Мало того, что передача данных занимает много времени и уровень потери пакетов высок, но безопасность также довольно плохая. Перехват DNS и перехват контента являются обычным явлением в Китае.
Поэтому нам предстоит многое сделать для улучшения сетевых каналов, изучения и преодоления ограничений базовых сетей операторов, а также для создания максимального опыта покупок для пользователей.
Проблемы с DNS на мобильных устройствах довольно распространены, и вы можете прочитать следующие специальные статьи:
"Практика оптимизации мобильного DNS в приложении Meitu: время запроса HTTPS сокращается почти вдвое》
"Обмен опытом глубокой оптимизации мобильной сети приложения Baidu (1): оптимизация DNS》
"DNS-оптимизация HTTP-запросов для оптимизации мобильной сети》
5, общая технологическая архитектура
Чтобы удовлетворить потребности быстрого развития бизнеса мобильной электронной коммерции, мы решили создать службу доступа к сети мирового класса и построить беспроводную сеть с такой же инфраструктурой, как «вода, электричество и уголь».
У такой инфраструктуры есть четыре цели:
- 1) полный дуплекс;
- 2) Низкая задержка;
- 3) Высокий уровень безопасности;
- 4) открыть.
В дополнение к этим четырем целям существует система эксплуатации и обслуживания, поддерживающая эту службу доступа, которая помогает конечным пользователям добиться хороших результатов на устройстве и помогает разработчикам быстро построить свой собственный бизнес.
Как показано на рисунке выше, мы делим всю службу доступа на два слоя:
- 1) Шлюз доступа: отвечает за поддержание соединения, разбор сообщений и распространение сообщений;
- 2) Шлюз приложений: реализация различных протоколов прикладного уровня: API, SYNC, RPC, PUSH и т. д. За шлюзом приложений стоит конкретная бизнес-система.
В то же время мы создали унифицированную службу планирования вместо использования традиционной DNS.Служба планирования является нашим центром управления, через который мы можем мощно управлять нашими клиентами и не подвергаемся влиянию загрязнения DNS.
Многоуровневой архитектуре на стороне сервера соответствует SDK на стороне клиента. SDK унифицированной сетевой библиотеки нижнего уровня концентрирует нашу стратегию оптимизации сети и предоставляет API-интерфейсы для SDK различных технологий шлюза приложений.
Основываясь на описанной выше открытой архитектуре, бизнес-стороны могут напрямую открывать определенные серверные службы для подключения к различным шлюзам приложений, не зная подробностей сети, и быстро генерировать клиентский код с помощью инструментов разработки, предоставляемых шлюзом приложений, таких как шлюз API. Бизнес-сторона также может разработать собственный протокол на основе этого уровня доступа.
Унифицированный уровень доступа централизованно управляет оборудованием пользователя и онлайн-статусом, а также обеспечивает возможность передачи информации в обоих направлениях.
Как показано ниже:
Шлюз будет сосредоточен на решении проблемы связи промежуточной сети и обеспечении возможности высококачественной двусторонней связи для службы верхнего уровня.
6. Стабильность и устойчивость к стихийным бедствиям
Стабильность и устойчивость к стихийным бедствиям — вечные темы промежуточного программного обеспечения на стороне сервера. Преимущества и риски конвергентного шлюза, такого как унифицированный уровень доступа, сосуществуют. Если вход выходит из строя, количество затронутых пользователей становится невообразимым. Как сделать его более стабильным? это огромный вызов.
6.1 Оптимизация архитектуры шлюза
Для унифицированного шлюза функция док-станции службы доставки информации не одинаково, большая часть бизнеса относительно квартира в течение дня, но индивидуальный класс бизнес-маркетинга выпустит огромные суммы информации за короткое время, такие информационные сессии Воспользуйтесь большим количеством ресурсов ворот, влияют на нормальный доступ пользователя.
** Пример: ** Push-сервис должен протолкнуть 200 миллионов сообщений через шлюз, и эти сообщения должны быть доставлены за короткое время, в то время как шлюз предоставляет услуги для обычных пользователей, продвижение массивной информации и взаимодействие обычного пользователя с друг друга, что в конечном итоге приводит к сбою взаимодействия обычных пользователей, что неприемлемо для бизнеса.
Исходя из вышеизложенных соображений, весь шлюз развернут в два кластера:
- 1) Кластер обрабатывает обычный онлайн-доступ пользователей;
- 2) Кластер обрабатывает большие объемы информации.
Как показано на рисунке ниже, таким образом удается избежать влияния разных бизнес-форм на единый шлюз и изолировать разные бизнес-формы.
6.2 Больше живите в разных местах
Живя в разных местах общей программы, Unified Gateway берет на себя ответственность за быстрый прямой трафик, что также является важной частью успешной реализации этой программы.
Удаленный многоактивный режим — это общее решение с несколькими компьютерными залами. Существует несколько эквивалентных компьютерных залов в нескольких регионах одновременно. Они разделены в соответствии с пользовательским измерением. Несколько компьютерных залов разделяют трафик всех пользователей. Когда один компьютер компьютерный зал выходит из строя, трафик неисправного компьютерного зала может быть уменьшен, он быстро перемещается в доступный компьютерный зал, сокращая время восстановления после сбоев.
Давайте посмотрим, как веб-сторона реализована в этой удаленной мультиактивности:
Как видно из приведенного выше рисунка, серверный запрос браузера будет отправлен в CDN, а правила распределения, сохраненные в CDN, будут распространены на последующие компьютерные залы.
Беспроводной конец делает то же самое?
- 1) клиент обладает мощными возможностями и может быть более гибким;
- 2) Распределительные узлы CDN требуют больше машинных затрат;
- 3) Для клиентов, которым требуются возможности дуплексной связи, доставка сообщений усложняется.
Это места, где мы думаем иначе, чем в Интернете. Можем ли мы сделать какой-то другой выбор?
Как показано на рисунке выше, мы используем мощные возможности клиента и используем механизм согласования для корректного распределения пользовательских запросов по разным модулям.
Содержит следующее:
- 1) Запрос клиента всегда несет информацию о домашнем устройстве текущего пользователя;
- 2) Когда запрос требуется достичь сервера, сервер определяет, является ли домашняя единица пользователя правильна, и пользователь не правильно перенаправлен на правильный блок;
- 3) текущий запрос от вызовов через шлюз, чтобы обеспечить точность трафика на сервере;
- 4) Когда домашнее устройство клиента будет обновлено, последующие запросы будут отправлены в правильную комнату устройства.
Механизм переговоров выглядит очень хорошо, блокбастер здесь упал, а входная сеть компьютерного зала нарушена!
Как показано на рисунке выше, внешняя сеть недоступна, и нет возможности согласования. Пользователи неисправного устройства не могут быть восстановлены. В это время вступает в действие служба планирования обхода.
Как показано на рисунке выше, диспетчерский центр, который мы разработали, также берет на себя унифицированную обходную диспетчерскую ответственность.Когда устройство, к которому обращается приложение, не может быть доступно, приложение посещает диспетчерский центр различных устройств и запрашивает домашнее устройство пользователя. Получение доступных узлов элемента таким образом переключает пользователя на правильный элемент. Это решение также применимо к сценариям, когда шлюз уровня доступа одного компьютерного зала недоступен.
Шлюз прикладного уровня компьютерного зала недоступен. В настоящее время требуется много времени, чтобы шлюз приложений устранил проблему. Чтобы добиться скорейшего устранения сбоя, мы используем переключатель для изменения правил переадресации. уровня доступа и переключать трафик на доступные единицы.
Как показано ниже:
7. Сквозная оптимизация сети
7.1 Единая сетевая библиотека
В начале оптимизации сети мы хотим создать общую сетевую библиотеку, которая содержит все аспекты системной оптимизации сети, такие как стратегия, httpDNS, протокол SPDY и так далее. (Если вы мало знаете о httpDNS, вы можете прочитать "Всестороннее понимание перехвата доменного имени мобильного DNS и других различных заболеваний: принцип, основная причина, решение HttpDNS и т. д.")
Верхний API Gateway Запрос логики, Push Logic, загрузить и загрузить логику для такой общей сетевой базы данных для обеих операций. Общим отделенным на иерархических библиотеках сетевых библиотек и верхней логике приложений, необходима полное развязка для долгосрочной оптимизации устойчивой сети.
Структура показана на следующем рисунке:
Это архитектурное разделение позволяет нам более систематически сосредоточиться на оптимизации беспроводной сети.
Несколько важных особенностей единой сетевой библиотеки:
- 1) Гибкое управление политиками поведения клиента в сети (установление соединения, обработка тайм-аута, протокол запроса, шифрование или нет);
- 2) Содержит HTTPDNS;
- 3) Поддержка многократного проживания в разных местах;
- 4) Более детальный контроль и планирование (уровень доменного имени и уровень параметров под доменным именем).
1, 2, 3 и 4 контролируются кластером сетевого диспетчерского центра. Мы надеемся, что это может быть независимым от бизнеса. После удаления некоторых бизнес-атрибутов Али этот модуль можно понять как HTTPDNS. Это можно понять что мы делаем это вне HTTPDNS.Много сквозной работы по оптимизации сети.
7.2 Доступ как можно скорее
На основе сетевой библиотеки мы реализовали набор сетевых стратегий для интеллектуального обучения.Клиент интеллектуального обучения устанавливает стратегии подключения в различных сетевых средах.Когда пользователи вернутся в эту сетевую среду, они дадут оптимальную стратегию для быстрого подключения и обновления или регулярно обновлять.Исторически оптимальная сетевая стратегия для устранения локального кеша.
Чтобы установить более быстрое и лучшее проникновение в соответствующую сеть, сервер доступа поддерживает различные протоколы и порты, а клиент может получить доступ к сети на чрезвычайно высокой скорости при установлении соединения.
Одним из наших важных показателей является процент успешных сетевых запросов в течение 30 секунд после открытия клиента, что является ценностью, которую быстрое соединение приносит пользователю.
Основываясь на диспетчерском центре, мы построили интеллектуальную платформу большого анализа данных для сбора важных показателей, таких как время создания подключения, первое время сбора пакетов, время сбора пакетов, время коллекции SSL, время рукопожатия SSL и другие важные данные клиента во время процесса сетевого запроса. Согласно этим показателям, мы можем проанализировать ненормальные области сети, корректируйте наш ближайший и быстрый доступом и даже содействуют построению IDC и улучшение распределения CDN.
7.3 слабая оптимизация сети и защита от сотрясений
Для слабой оптимизации сети мы попробовали протокол QUIC, который работает лучше, чем TCP, в случае высокой задержки сети и серьезной потери пакетов.
После перехода на QUIC в версии онлайн мобильного телефона Taobao в оттенках серого средний доход RT приближается к 20%. Учитывая, что у QUIC могут быть проблемы с проникновением в мобильную сеть, в будущем мы примем SPDY в качестве основного режима и QUIC в качестве вспомогательного режима для улучшения нашей стратегии подключения к сети.
Сейчас протокол QUIC все шире используется на мобильных терминалах, если вам интересно, то можете обратиться к следующим статьям:
"Введение в сетевое программирование для ленивых (10): Быстро прочитайте протокол QUIC в моче》
"Делаем Интернет быстрее: обмен технической практикой нового поколения протокола QUIC в Tencent》
Кроме того, в некоторых плохих сетевых средах мы принимаем комбинацию длинных и коротких ссылок.Когда длинная ссылка сталкивается с тайм-аутом запроса или плохим проникновением, используйте короткую ссылку HTTP-ссылку для запроса данных (в среде мобильной сети протокол HTTP особенно Лучше всего проникает HTTP1.0), что в некоторых экстремальных случаях может гарантировать максимальное удобство для пользователя.
Данные следующие:
Техническая оптимизация в случае переключения сети и дрожания сети также является очень важным аспектом.Мы часто сталкиваемся с ситуацией переключения сети мобильного устройства и нестабильностью сигнала.Как мы можем обеспечить удобство работы пользователя в этой ситуации?
В ответ на эту ситуацию наша идея состоит в том, чтобы иметь стратегию разумного увеличения повторных попыток. Делим сетевой запрос по тому, отправлен ли он в буфер сокета, а жизненный цикл сетевого запроса делим на два этапа: «запрос начинает отправляться в буфер сокета» и «запрос отправлен в буфер сокета для конец запроса». Если запрос завершается ошибкой на этапе 1, это поможет бизнес-запросу повторить попытку в соответствии с потребностями бизнеса. Сбой запроса на этапе 2 обеспечивает возможность повторной попытки только для операций чтения.
** Представьте себе сценарий: ** Пользователь инициирует запрос на обновление данных при входе в лифт, а сетевое соединение прерывается при входе в лифт из-за нестабильности сети. В это время мы можем сделать разумную стратегию повторной попытки, чтобы когда пользователь выходит из лифта, очень вероятно, что успешная повторная попытка сетевого запроса поможет пользователю получить нужные данные, что улучшит взаимодействие с пользователем и сетевые возможности клиента по предотвращению джиттера.
7.4 Правило 1 секунды для зашифрованной передачи
Хорошо известно, что весь процесс рукопожатия традиционного https очень тяжелый, в случае низкого качества сети установление соединения происходит слишком медленно, пользовательский опыт ужасен, а безопасное рукопожатие даже не может быть завершено. Однако с точки зрения безопасности нам нужен безопасный канал передачи для защиты личных данных пользователей.
Перед нами конфликт между безопасностью и сетью, и нам необходимо совершать прорывы в технологиях, поэтому мы построили набор технологий light-ssl, ссылаясь на протокол tls1.3, и оптимизировали алгоритм шифрования путем слияния запросов. с помощью таких стратегий, как сеансовый билет, наконец-то найден баланс между безопасностью и опытом.На основе практически не жертвуя пользовательским опытом достигается цель безопасной передачи, а также значительно повышается производительность сервера. Благодаря технологическим инновациям мы реализовали правило одной секунды для зашифрованной передачи по беспроводной сети.
Что касается применения TLS1.3 на мобильном терминале, вы также можете подробно прочитать эту статью, которой поделилась команда WeChat.Решение WeChat для обеспечения безопасности связи нового поколения: подробное объяснение MMTLS на основе TLS1.3".
Приложение: Сводная информация о слабых сетях на мобильных терминалах
"Иос рассказывает о тех вещах в длинном подключении сетевого программирования》
"Практика оптимизации мобильного DNS в приложении Meitu: время запроса HTTPS сокращается почти вдвое》
"Обмен опытом глубокой оптимизации мобильной сети приложения Baidu (1): оптимизация DNS》
"Наступила эра 5G, TCP/IP устарел, можно еще есть?》
"Расскажите об оптимизации запросов на вход в систему мобильного обмена мгновенными сообщениями.》
(Эта статья была одновременно опубликована на:52IM.net/thread-3110…)