В древней мифологии дракон родил девять сыновей, шестым из которых был Би Си, также известный как Баксия. У Alibaba Security также есть такой набор технических рамок, названных в его честь.
Древние божественные звери - Повелитель
Как следует из названия, ответственность Baxia заключается в поддержке базовой технической структуры продуктов безопасности Alibaba.Он нацелен на пользователей продуктов безопасности и предоставляет продукты безопасности со всеми необходимыми техническими элементами, такими как доступ, передача данных, распределение конфигурации и политика. выполнение. , Онлайн-вычисления, хранение, поиск. Сращивая и комбинируя необходимые элементы этих продуктов безопасности, продукт для нового бизнес-сценария можно построить очень быстро, вместо того, чтобы проектировать, исследовать и наступать на ямы с нуля. Позвольте продуктам безопасности быстро меняться в борьбе с внешними хакерами и черными и серыми продуктами.
Эта мощная техническая база сопровождала Double 11 в этом году и добилась больших успехов. Сегодня мы рассмотрим новый бизнес «семислойной очистки трафика» на основе его исследований и разработок.
Меня чуть не "прокололо" черное изделие
«До 2016 года мы не занимались специальной профилактикой и контролем канала транзакций, а теперь это равносильно состоянию «полосатости»!» — говорит Ян Мо, руководитель продукта компании Baxia — семиуровневая очистка трафика. впечатляющий, глубокий.
В марте и апреле 2016 года производство черного и ясеневого сырья росло, что приводило к постоянным сбоям. Выяснилось, что пиковый запуск Juhuasuan в 10:00 каждое утро был нацелен на черные продукты. В ходе расследования инженеры Alibaba Security установили, что на момент сбоя более 90% всего транзакционного трафика составляли не реальные люди, а машинный трафик, инициированный хакерами. Именно этот мусорный трафик занимает большую часть каналов, делая почти невозможным размещение ордеров обычными пользователями, в результате чего торговая система почти парализована.
«В то время предотвращение и контроль безопасности в транзакционной ссылке были очень, очень слабыми», — Ян Мо последовательно использовал два слова «очень».
С тех пор Alibaba Security стала специальной командой для предотвращения и контроля связи транзакций. С апреля 2016 года по ноябрь 2016 года. В частности, до Double 11 в 2016 году техническая группа Ali Security «996» потратила больше месяца на соответствующие развертывания, и, наконец, Double 11 в 2016 году прошла гладко.
Однако в очередном Дабл 12 в 2016 году никто не ожидал, что неприступная еще месяц назад линия обороны будет чуть ли не «пробита» черными изделиями!
«Double 12 в 2016 году следовал стратегии предыдущего Double 11. Мы организовали две линии защиты. Первая линия защиты была развернута на шлюзе группы, а вторая линия защиты была установлена на ссылке, где пользователи окончательно оставляют свои заказы. «Но в ноль часов Хэйзан фактически прорвал первую линию обороны!
Но, к счастью, прорвав первую линию обороны, черный производственный трафик не продвинулся вперед, потому что вторая линия обороны, развернутая охранниками Alibaba, была успешно удержана.
От Double 11 до Double 12 всего за один месяц технические возможности черных продуктов значительно улучшились. Ян Мо напомнил, что на «Дабл 12» в 2016 году чёрное производство, вероятно, использовало три метода для обхода первой линии защиты. Тогда весь трафик черной продукции шел в тренде «подходить под город», поражая вторую линию обороны, то есть перед приложением. Если вы пойдете дальше, то пойдете прямо к сделке!
Враг достиг ворот города
«В то время мы считали черный производственный трафик в первые 15 минут. Машиной было инициировано около 20 миллионов PV, что составляло более 30% всего трафика. Если эта часть трафика проникала через две наши линии защиты "Последствия невообразимы. Двойной 12 должен быть отказом P1! Система также должна быть в основном парализована", - сказал Ян Мо.
Наконец-то родилась новая система
«Мы обнаружили, что основная проблема заключается в том, что эффект перехвата не очень хорош, и скорость нашей реакции относительно низкая, когда мы имеем дело с изменениями внешнего черного и серого производства. Черное производство изучает нас каждый день и очень хорошо понимает наша система и где она находится. Слабая, — сказал Ян Мо. Ввиду «невыносимости», вызванной разгулом черного производства в 2016 году, инженеры Alibaba Security решили построить новую систему для борьбы с ним, но проблемы, с которыми они столкнулись, были беспрецедентными.
С точки зрения всей базовой архитектуры это эквивалентно переделке всех технических сетевых продуктов. С точки зрения приложения, с точки зрения кода, все должно быть переписано. Архитектура новой системы как по логике построения, так и по концепции полностью отличается от предыдущей.
«Встреча с апстримом, даунстримом и командой сделки проходила долго, где-то месяц-два, и обсуждали этот вопрос. Неоднократно, неоднократно. и скажем, что эта архитектура нехороша, давайте вернемся и сделаем это снова.Позже наш подход заключается в проведении различных стресс-тестов и проверок, таких как проверка стабильности, включая контролируемую логику процессора и памяти.Затем мы сравниваем это с предыдущей архитектурой один за другим, такими как преимущества накладных расходов на процесс и т. д. Перечислите их все, а затем обратитесь к соответствующей команде для обсуждения.Однако это все еще не принято. С одной стороны, я думаю, что это Технология совершенно новая. С другой стороны, они чувствуют, что эксплуатация и техническое обслуживание находятся под большим давлением, потому что раньше им не нужно было заботиться об отдельных проблемах безопасности, но теперь им нужно учитывать такой фактор», — сказал Ян Мо. .
Конечно, после долгого обсуждения и повторной проверки руководителями каждой команды, командой архитекторов группы и архитекторами Alibaba Security данные доказывают, что риск этого проекта можно контролировать. В итоге стороны договорились.
Факты доказали, что эта новая система находится в нескольких шагах от старой системы с точки зрения производительности, функциональности и стабильности.
выдержать испытание войной
«Этот проект был запущен на Double 11 в прошлом году, и впервые он был подтвержден в промоушене 618 в этом году», — сказал Ян Мо.
В феврале и марте 2017 года техническая группа Alibaba по безопасности разработала всю архитектуру системы «семиуровневая очистка трафика Baxia». На самом деле, от начала проекта до выпуска этой совершенно новой системы прошло полгода. 18 мая этого года система «Baxia-Семиуровневая очистка трафика» была готова.
Во время продвижения 618 в прошлом году вся система заменила вторую линию защиты, 9 августа она была успешно развернута на едином шлюзовом уровне всей группы. К моменту проведения Напитков 9 сентября система была полностью готова, по сравнению с прошлогодним Double 11 дробовик был заменен на пистолет.
В период с фестиваля напитков до Double 11 в 2017 году техническая группа безопасности Alibaba также обновила систему, исправила некоторые ошибки и оптимизировала производительность. При этом заранее подготовьте политики безопасности, такие как некоторые модели, списки блокировки и тому подобное.
11 октября была завершена работа над физической архитектурой и политиками безопасности, а затем начался этап полномасштабного стресс-тестирования.
«Во время первого стресс-теста в первую неделю после Национального дня в октябре мы тоже обнаружили много проблем, а потом решили все эти проблемы в течение недели. Второй полноценный стресс-тест тоже прошел гладко. перспективы производительности и стратегии все пройдено.но по факту сделано очень много оптимизаций производительности и изменений.друзья очень хорошие,и все они работали сверхурочно и допоздна доделывали.в последнем фулл -ссылка на стресс-тест, не было. В чем проблема, просто посмотрите на данные, — легкомысленно сказал Ян Мо о подготовке к Double 11.
Общий объем транзакций Double 11 Tmall за 2017 год составил 168,2 млрд юаней, из которых пиковый объем транзакций достиг 325 000 транзакций в секунду, что является значительным улучшением по сравнению с данными прошлого года. Удивительно, но в этом году у двойного 11 в основном не было большого количества отзывов пользователей «не могу разместить заказ». Несомненно, есть заслуга и в системе «Baxia-Seven-layer Traffic Cleaning».
По словам Ян Мо, на Double 11 в 2017 году новая система очистки трафика, разработанная технической командой безопасности Alibaba, была оснащена 4 уровнями защиты, а профилактика и контроль осуществлялись с момента отдачи заказа. Согласно фактической ситуации мониторинга, более 90% черного трафика или вредоносного трафика отфильтровываются первой и второй линией защиты, а чистота трафика конечной торговой системы достигает 99,85%.
Нападение и защита «ты приходишь, и я иду»
В начале 2016 года черная добыча была самым разгульным периодом.
Янь Мо сказал: «Прибыль от производства черно-серых продуктов далеко за пределами понимания всех, и пока есть скидки или мгновенные убийства, они будут ее хватать. Например, шампунь изначально стоит 19 юаней, а они используют 1 юань. юаней поступит в считанные секунды. , как только вы перейдете к другому владельцу, вы получите 10 юаней на свой счет. Хотя 10 юаней кажутся небольшими, учитывая все скидки во всей сети, они могут «купить» тысячи юаней за штуку. день. И это были изначально наши доступные для потребителей!".
В то время черная продукция прошла через одни из самых слабых каналов профилактики и контроля, но вскоре инженеры Ali Security заблокировали ее. После того, как черное производство обнаружило, что дорога перекрыта, он затем пошел в обход некоторых «недоступных» перекрестков, чтобы найти некоторые нестандартные пути, а также был замечен инженерами Ali Security и отвернулся.
У черного производства другой план, и они начали тратить много денег, чтобы взломать ручную покупку. Хотя все транзакции Taobao зашифрованы, соблазн денег огромен.Черная индустрия усердно работала, чтобы найти некоторые старые версии Taobao, а затем пойти взломать их, получить протокол связи и т. д., а затем передать эти протоколы. и скрипты для моделирования и оформления заказа. Тем не менее, инженеры Alibaba Security снова сосредоточились на усилении предотвращения и контроля старой версии Taobao, и они не предоставили возможностей для черного производства.
Инкстоун сказал, что взаимодействие с вами и мной с помощью черных продуктов — это классическое руководство по защите от атак и защите.
Согласно сообщениям, новая система очистки потока также полностью учитывает пользовательский опыт. Система «Baxia-Layer 7 Traffic Cleaning» обещает время транзакции в пределах 5 миллисекунд, а вся ссылка включает в себя сетевые запросы, проходящие через шлюз, проверяемые системой очистки трафика, а затем направляемые в транзакцию.
«Только таким образом пользователи могут остаться в неведении», — сказал Ян Мо.
На самом деле, до Double 11 этого года на рынке появилось большое количество программного обеспечения Spike, и команда разведки и инженеры Ali Security быстро обнаружили аномалии в трафике и провели целенаправленную защиту, заставив эти черные продукты вернуться напрасно.
Также очень хорошие данные в системе "Baxia-семислойная очистка трафика", то есть сильно сокращается время определения трафика. Год назад трафик оценивался как машинный, и до блокировки трафика уходило до 15 секунд! А в этом году это время сократилось до нескольких миллисекунд! То есть, даже если программное обеспечение черного производства может инициировать большое количество запросов за одну секунду, система защиты безопасности Alibaba может напрямую заблокировать их за несколько миллисекунд.
"Удвоение 11 GMV в этом году может достичь нового максимума в 168,2 млрд юаней. Технический прогресс действительно сыграл большую роль", - эмоционально сказал Ян Мо. Сообщается, что различные бизнес-линии также сообщили, что в этом году Double 11 от системы очистки трафика имеет очень высокую степень чистоты трафика, что полностью гарантирует нормальную работу бизнеса!
Предоставление каналов реальным пользователям, предоставление скидок "сборщикам" и очистка черного производственного трафика - это миссия системы "Baxia-Seven-layer Traffic Cleaning".
Ян Мо сказал, что он и его друзья уже готовятся к Double 12.