введение
Персональные рекомендации — эффективный способ повысить коэффициент конверсии. Xianyu использовал алгоритмы персонализированных рекомендаций в большом количестве сценариев руководства по покупкам и добился хороших результатов. Однако с миниатюризацией и уточнением сценариев руководства по покупкам появляется все больше и больше сценариев руководства по покупкам для товаров ниже уровня 10 000. Эти сценарии также должны вводить персонализированные рекомендации.Тем не менее, продукты Xianyu имеют характеристики короткого жизненного цикла и высокой реалистичности. Эффект отзыва персонализированных рекомендаций на основе I2I для этого небольшого товарного пула ограничен. Основываясь на внедрении процесса персонализированных рекомендаций Xianyu, в этом документе проводится некоторая практика и исследование на этапе отзыва персонализированных рекомендаций в соответствии с характеристиками небольшого товарного пула Xianyu.
1. Процесс персонализированных рекомендаций в Xianyu
Алгоритм персонализированных рекомендаций по продукту в основном включает два этапа: соответствие и рейтинг. Этап соответствия также называется этапом отзыва продукта. В системе рекомендаций поведение пользователя в отношении продукта называется триггером пользователя. Матрица поведения и элементов называется X2I, и, наконец, отзыв элемента осуществляется через триггер пользователя и матрицу отношений X2I. Этап ранжирования использует целевые функции различных показателей для оценки продуктов и всесторонне ранжирует несколько параметров продуктов в соответствии с правилами системы рекомендаций. Ниже в качестве примера взята лента домашней страницы Xianyu, чтобы кратко представить процесс персонализированных рекомендаций Xianyu.
Как показано на рисунке 1, на этапе 1.1 пользовательский триггер получается с использованием информации о пользователе, информация о пользователе включает в себя уникальный идентификатор пользователя userId и уникальный идентификатор информации об устройстве пользователя uttid.
Как показано на рисунке 1, шаг 1.2, возвращается пользовательский триггер, который включает в себя клики пользователя, приобретенные продукты, избранные категории, пользовательские теги, часто посещаемые магазины, продукты в корзине, любимые бренды и т. д.
Как показано на рисунке 1, шаг 1.3, выполните отзыв товаров и используйте триггер и матрицу X2I для объединения, чтобы завершить отзыв товаров.
Как показано на рисунке 1, шаг 1.4, верните список отозванных товаров При отзыве товаров товары, отозванные матрицей отношений I2I, обычно являются основными продуктами, а отзыв других матриц отношений X2I является вспомогательным.
Рисунок 1. Процесс персонализированных рекомендаций Xianyu
Как показано на шаге 2.1 на рис. 1, выполните фильтрацию продуктов, удалите дубликаты отозванных продуктов, отфильтруйте приобретенные продукты и устраните избыточно выставленные продукты.
Как показано на рисунке 1, на этапе 2.2 продукт оценивается На этапе оценки используются itemInfo и различные индикаторы алгоритма для оценки продукта по нескольким параметрам.
Как показано на шаге 2.3 на рисунке 1, отсортируйте продукты и всесторонне отсортируйте оценки нескольких параметров продуктов в соответствии с правилами.
Шаг 2.4 на рис. 1, усекаем возвращенный список, усекаем элементы TopN и возвращаем их пользователю.
Xianyu завершает рекомендацию продукта с помощью вышеуказанных восьми шагов Match and Rank, В то же время из рисунка видно, что для поддержки персонализированной рекомендации продуктов необходимо вернуть данные X2I, itemInfo и userTrigger в поисковая система.Данные уровня перекомпоновки и почасовые данные перекомпоновки уровня.
2. Небольшой товарный пул Xianyu
2.1 Особенности товаров Xianyu
Подержанные товары являются основой обслуживания Xianyu.Товары Xianyu отличаются от других платформ электронной коммерции.Товары Xianyu имеют следующие примечательные характеристики:
Бесхозный атрибут продукта, продукт имеет короткий жизненный цикл, продукты на станции подержанных товаров Xianyu в основном поступают от отдельных продавцов, а количество неиспользуемых продуктов от частных лиц составляет 1. Как только продукт будет продан, он будет снято с полки, образуя сироту продукта.Атрибуты;
Субъективные атрибуты стоимости товаров, степень износа новых или старых, функциональные потери и описание стоимости бывших в употреблении товаров основаны на собственном субъективном желании продавца оценить товар, и трудно объективно и стандартно измерить стоимость. продукта.
В силу разнообразия категорийных признаков товаров, категории бывших в употреблении товаров характеризуются разнообразием и богатством, и существует множество других категорий товаров, которые невозможно перечислить.
2.2 Характеристики малого товарного пула
Платформа Xianyu в настоящее время хранит сотни миллионов товаров. Чтобы помочь пользователям совершать более качественные транзакции, уменьшить информационную асимметрию в процессе транзакций и повысить доступность товаров, платформа будет использовать правила для проверки товаров для формирования конкретных товаров ниже 10 000 уровней. Пул, этот тип товарного пула называется Xianyu Small Commodity Pool, который отображается для пользователей в виде руководств по покупкам каналов в Xianyu. Мелкий товарный пул имеет следующие характеристики.
в реальном времени: В небольшом товарном пуле, созданном Xianyu, требуется, чтобы товары могли поступать в товарный пул в соответствии с этим правилом в режиме реального времени, предоставляя пользователям новейшие высококачественные товары.
периодический: в пуле мелких товаров многие товары имеют периодические атрибуты. Например, в аукционе с бесплатной доставкой цикл аукциона составляет 6 часов, и он будет удален через 6 часов.
В настоящее время большинство страниц руководств по покупкам в каналах по-прежнему используют поисковые системы для представления продуктов пользователям.Чтобы обеспечить показ продуктов, временное окно поиска обычно используется для дальнейшей фильтрации продуктов в пуле продуктов, но все еще существует проблема воздействия продукта.Если временное окно слишком велико, то это приведет к передержке продуктов.Если окно продукта слишком мало, это вызовет недоэкспонирование продуктов.В то же время, существует проблема которые не решаются поиском.В то же время продукты, которые видит каждый пользователь, одинаковы, и невозможно персонализировать пользователя.Для дальнейшего улучшения обслуживания пользователей, в малом товарном пуле срочно необходимо ввести персонализированные рекомендация.
3. Проблемы, с которыми сталкиваются персонализированные рекомендации малых товарных пулов
Характеристики пула мелких товаров Xianyu и процесс персонализированных рекомендаций в Xianyu были представлены выше.В этой главе процесс персонализированных рекомендаций Xianyu будет применяться к пулу мелких товаров Xianyu с точки зрения инженерии, затем будут проведены эксперименты и, наконец, проанализированы результаты. .
3.1 Техническая реализация персонализированных рекомендаций для мелких товаров
Процесс персонализированной рекомендации Xianyu описан выше, а ниже показано применение процесса персонализированной рекомендации Xianyu к небольшому товарному пулу Xianyu. Конкретная архитектура системы показана на рисунке 2, которая в основном разделена на четыре уровня: снизу вверх расположены уровень предоставления данных, уровень поддержки данных, уровень поддержки приложений и уровень приложений.
Рис. 2. Архитектура системы рекомендаций личности
Уровень поставщика данных, этот уровень в основном включает два модуля: данные в реальном времени и автономные данные.В настоящее время автономные данные генерируются T + 1, а данные в реальном времени генерируются на почасовом уровне.
уровень поддержки данных, в основном объединяет данные уровня поставщика данных для формирования таблицы данных продукта, таблицы данных алгоритма X2I и таблицы информации о пользователе, которая хранится в формате данных KV для быстрого запроса.
уровень поддержки приложений, который инкапсулирует возможность запроса данных и обеспечивает возможность расчета алгоритмов в реальном времени.
прикладной уровень, который предоставляет функции запроса информации, такие как пользователи и продукты, а также функции сопоставления и ранжирования в персонализированных рекомендациях.
Используя описанную выше архитектуру системы и процесс алгоритма, персонализированные рекомендации изначально практиковались в небольшом товарном пуле Xianyu.
3.2 Эксперимент с персональными рекомендациями и анализ результатов
Во-первых, проверяется уровень отзыва товаров.В ходе эксперимента эксперименты по отзыву проводятся на товарных пулах уровней 20 000, 50 000, 100 000, 500 000 и 1 миллион соответственно. В то же время были проведены эксперименты с различными объемами отзыва в каждом измерении товарного пула.
Рисунок 3. Результат эксперимента по отзыву
Из экспериментальных данных на рисунке 3 видно, что по оси абсцисс отложен размер товарного пула, а по оси ординат количество отозванной продукции, соответствующей правилам.Для малого товарного пула в 200 000, когда общее количество отозванных равно 1000, фактическое количество отзывов (т. е. количество товаров в пуле мелких товаров) равно 3. В проекте рекомендации производственной личности количество эффективных отзывов не может быть удовлетворено и не может использоваться в производстве. Дальнейший анализ показал, что основными причинами невозможности использования процесса мастер-станции для предоставления персонализированных рекомендаций для небольших товарных пулов являются следующие:
Положитесь на X2I, чтобы отозвать продукты на этапе соответствия продукта. Данные X2I представляют собой матрицу взаимосвязей продуктов для всего сайта Xianyu. После отзыва продуктов для их фильтрации используется небольшой пул продуктов. Оставшихся продуктов будет очень мало. Уровень количества пула продуктов слишком мал и находится в крайней степени. случаи, никакие продукты не могут быть рекомендованы.
Данные X2I, сгенерированные в режиме реального времени, не могут быть быстро переформатированы.Для повышения точности X2I в реальном времени обычно использует почасовую перекомпоновку, что явно не подходит для периодической сцены Xianyu.Период бесплатного аукциона составляет 6 часов. , многим продуктам не хватает возможностей для демонстрации.
Подводя итог, можно сказать, что причина, по которой процесс рекомендаций основного сайта Xianyu не подходит для мелкого товарного пула, в основном отражается на этапе отзыва товара. Для решения проблемы недостаточного отзыва товаров предлагаются три решения: метод предварительной фильтрации, метод векторного поиска и метод товарного движка.
4. Рекомендуемые решения в мелком товарном пуле
В процессе рекомендации продуктов в небольшом товарном пуле с использованием всех данных сайта X2I, приведенных выше, было обнаружено, что на этапе сопоставления, когда малый товарный пул слишком мал, возникает проблема недостаточного отзыва товаров. Для того, чтобы увеличить количество эффективных отзывов в процессе рекомендации малого товарного пула, следующие предложения Три решения.
4.1 Метод предварительной фильтрации
Конкретная схема предварительной фильтрации показана на рисунке 4. Прежде чем данные будут возвращены в поисковую систему, пул мелких товаров фильтрует данные для создания возвращаемых данных пула мелких товаров.Повышение скорости отзыва продуктов.
Рис. 4 Схема предварительной фильтрации
Преимущества этой программы:
Повторно используйте данные X2I всей станции, чтобы решить проблему неточных данных X2I, вызванных холодным запуском небольшого товарного пула.
вопросы, требующие решения:
Соответствующий X2I создается для каждого товарного пула. С увеличением количества мелких товарных пулов будет поддерживаться несколько копий данных X2I.
Данные X2I, возвращаемые в пуле мелких товаров на почасовом уровне, могут не соответствовать своевременности пула мелких товаров.
4.2 Метод товарной векторизации
На этапе сопоставления сходство векторов используется для отзыва товаров.Векторизация товаров использует возможность векторного поиска для отображения характеристик и правил товаров в векторы товаров с помощью функций.В то же время пользовательские триггеры и правила сопоставляются с пользовательскими векторами.Преобразование текста обычно используются векторы.Модель мешка слов и метод машинного обучения, модель мешка слов может хорошо идентифицировать текст с векторами слов, когда длина текста короткая, но она ограничена размером мешка слов когда длина текста слишком длинная. Если мешок слов слишком мал, эффект будет очень плохим. Плохо, метод машинного обучения заключается в использовании Word2Vector для преобразования текста в вектор. Согласно эмпирическому значению, размерность вектора обычно 200-мерный, и эффект лучше. Затем поисковая система векторов используется для поиска похожих векторов товаров в соответствии с пользовательскими векторами, которые используются в качестве отозванных товаров. Как показано на рисунке 5, вектор продукта разделен на две части, первые 20 цифр представляют правила продукта, а последние 200 цифр представляют основную информацию о свойствах продукта.
Рис. 5. Схема векторного поиска
Преимущества векторного поиска:
Использование векторного поиска по сходству определенно порекомендует товары без наличия нижнего листа.
Товары попадают в векторную поисковую систему на минутном уровне, чтобы определить своевременность небольших товарных пулов.
вопросы, требующие решения:
Функция сопоставления должна обеспечивать точность сопоставления элементов.
Функция сопоставления может различать товары по разным правилам.
Функция отображения может обеспечить точность отображения пользовательских функций.
Пользователи и элементы могут быть сопоставлены с одним и тем же измерением.
4.3 Закон о товарных поисковых системах
На этапе сопоставления поисковая система товаров используется для отзыва товара.Как показано на рисунке 6, когда товар поступает в поисковую систему, структура товара понимается, и в поисковую машину добавляются теги и правила, а затем В качестве условий поиска используются Триггер пользователя и правила.Используйте поисковую систему для завершения отзыва товара. Естественный характер работы поисковых систем в режиме реального времени решает проблему сильной рекомендации небольших товарных пулов в режиме реального времени.
Рис. 6. Схема отзыва поисковой системы
Преимущества поисковика товаров:
Естественная своевременность движка решает проблему малого товарного пула в режиме реального времени.
Пользовательский триггер возвращается в реальном времени, а рекомендуемые продукты реагируют на действия пользователя в более реальном времени.
вопросы, требующие решения:
Понимание продукта, продукт необходимо маркировать, когда он поступает в двигатель, а понимание продукта определяет точность и богатство маркировки продукта.
Соответствие между тегами продукта и пользовательскими триггерами.При использовании пользовательских триггеров в качестве ключевых слов для отзыва продукта, если существует однозначное соответствие между тегами продукта и пользовательскими триггерами, отозванные продукты естественным образом соответствуют пожеланиям пользователя.
Своевременность триггера пользователя, использование триггера пользователя в качестве поиска по ключевому слову, тогда возврат триггера является предпосылкой для точности рекомендации.
Когда продукт будет отозван, он будет разбросан по разным триггерам.
4.4 Реализация плана
Чтобы решить проблему недостаточного отзыва небольших товарных пулов на этапе Match, предлагаются три решения: метод предварительной фильтрации, метод товарного вектора и метод товарного движка, а также суммируются преимущества и проблемы, которые необходимо решить для каждой схемы. При методе предварительной фильтрации стоимость обслуживания X2I увеличивается линейно с увеличением товарных пулов.Количество сценариев малых товарных пулов в Xianyu находится на уровне 10 000, и техническое обслуживание не используется в практических приложениях. Метод товарного вектора может в определенной степени решить рекомендацию малых товарных пулов для функции отображения, но он предъявляет высокие требования к вектору отображения, и его трудно использовать для описания характеристик товара и отображения пользователь и товар в одном измерении для поиска. Таким образом, в этой статье для отзыва товаров используется поисковая система. Проблемы, возникающие при использовании поисковых систем для отзыва товаров, проанализированы выше, и для этих проблем разработаны следующие решения, как показано на рисунке 7:
Рис. 7. Схема конструкции товарного двигателя
Прежде всего, когда продукт выпускается, он сначала структурируется, а основная информация о продукте сохраняется в общей таблице продукта БД. В то же время основная информация о продукте будет синхронизирована с расчетом алгоритма в реальном времени, и алгоритм будет выполнять алгоритмические действия, такие как оценка качества продукта и прогнозирование этикетки продукта в соответствии с продуктом; чтобы лучше понять продукт , необходимо выполнять пользовательские рейтинги для продавца.Синхронизируется с широкой таблицей товаров. В то же время с помощью механизма выбора информация о правилах продукта также синхронизируется с широкой таблицей. Наконец, общая таблица продукта синхронизируется с поисковой системой двумя способами: полным и добавочным, и поисковая система создает индекс для предоставления услуг.
Поскольку поисковая система отзывает продукты в соответствии с количеством страниц и количеством страниц на странице, следующая обработка выполняется для реализации персонализации пользователей. Первый шаг — переписать запрос пользователя и увеличить количество отзывов до 10-кратного количества запросов. Цель состоит в том, чтобы пользователь не обновлял первую страницу несколько раз. Может появиться один и тот же продукт.
Рисунок 8. Персонализированная схема отзыва продукции
Второй шаг — отзыв продуктов на основе пользовательского триггера.В процессе отзыва категории продуктов разбиваются таким образом, чтобы количество продуктов в каждой категории не превышало 3.
Третий шаг — отфильтровать отозванные продукты и отфильтровать продукты, которые просматривал пользователь.Просмотренные пользователем продукты используют очередь FIFO длиной 200, чтобы гарантировать, что пользователь не будет повторяться в пределах диапазона просмотра 20. страницы.
На четвертом шаге, после сортировки и усечения, возвращаемые пользователю данные о продукте необходимо записать в очередь, которую просматривал пользователь.
4.5 Онлайн-эффект
Пользовательский триггер используется в качестве условия поиска, чтобы использовать поисковую систему для отзыва продуктов, а затем продукты фильтруются, оцениваются, сортируются и усекаются для получения персонализированных рекомендаций для пользователей, которые соответствуют текущим и периодическим требованиям продуктов в реальном времени. небольшой товарный пул. Мы провели эксперимент по сравнению ведер,
Рисунок 9 Данные транзакции
Результаты показывают, что после использования персонализированной рекомендации количество транзакций для одного пользователя увеличилось на 0,14%, количество кликов увеличилось на 14,1%, а количество кликов увеличилось на 18,2%.
5. Резюме
В этом документе сначала представлен процесс рекомендации товаров Xianyu, а затем представлены характеристики товаров Xianyu и пула малых и средних товаров Xianyu.Путем экспериментов было обнаружено, что процесс персонализированных рекомендаций Xianyu применяется к пулу малых товаров Xianyu, и там недостаточно отзывов на этапе Match.Для решения проблемы предлагается три решения: метод предварительной фильтрации, метод товарного векторного поиска и метод товарного машинного поиска. Наконец, посредством теоретического и технико-экономического анализа метод поиска товаров используется для решения проблемы недостаточного отзыва товаров в персонализированных рекомендациях, и проект реализуется. Результаты показывают, что этот метод может значительно повысить количество кликов пользователей и конверсию транзакций.
Наконец, техническая команда Xianyu набирает таланты в различных областях.Независимо от того, разбираетесь ли вы в мобильных, интерфейсных, серверных, машинном обучении, аудио и видео, автоматизированном тестировании и т. д., вы можете отправить свое резюме, чтобы присоединиться нас и используйте технологии, чтобы улучшить свою жизнь вместе!
Доставка резюме: guicai.gxy@alibaba-inc.com
Распознавайте QR-код и осваивайте передовые технологии