1. Токенизатор Elasticsearch по умолчанию
Я описал это в своей предыдущей статьеУстановка и использование Elasticsearch, здесь мы используем Kibina как инструмент для работы с es, вы можете использовать _analyze es для анализа результатов сегментации токенизатора.
Токенизатор ES по умолчанию — это английский токенизатор, который может улучшить сегментацию слов для английских предложений.Давайте рассмотрим пример. При вводе следующего запроса выполните токенизацию предложения «Как вас зовут», и вы увидите, что несколько слов разделены.
POST _analyze
{
"tokenizer": "standard",
"text": "What's your name"
}
{
"tokens" : [
{
"token" : "What's",
"start_offset" : 0,
"end_offset" : 6,
"type" : "<ALPHANUM>",
"position" : 0
},
{
"token" : "your",
"start_offset" : 7,
"end_offset" : 11,
"type" : "<ALPHANUM>",
"position" : 1
},
{
"token" : "name",
"start_offset" : 12,
"end_offset" : 16,
"type" : "<ALPHANUM>",
"position" : 2
}
]
}
При вводе китайского «как тебя зовут» видно, что стандартный токенизатор разбивает предложение на слова одно за другим, что явно неприемлемо в процессе нашего реального использования.
POST _analyze
{
"tokenizer": "standard",
"text": "你叫什么名字"
}
{
"tokens" : [
{
"token" : "你",
"start_offset" : 0,
"end_offset" : 1,
"type" : "<IDEOGRAPHIC>",
"position" : 0
},
{
"token" : "叫",
"start_offset" : 1,
"end_offset" : 2,
"type" : "<IDEOGRAPHIC>",
"position" : 1
},
{
"token" : "什",
"start_offset" : 2,
"end_offset" : 3,
"type" : "<IDEOGRAPHIC>",
"position" : 2
},
{
"token" : "么",
"start_offset" : 3,
"end_offset" : 4,
"type" : "<IDEOGRAPHIC>",
"position" : 3
},
{
"token" : "名",
"start_offset" : 4,
"end_offset" : 5,
"type" : "<IDEOGRAPHIC>",
"position" : 4
},
{
"token" : "字",
"start_offset" : 5,
"end_offset" : 6,
"type" : "<IDEOGRAPHIC>",
"position" : 5
}
]
}
2. Токенизатор ИК
Поскольку английские предложения разделены пробелами, сегментация слов относительно ясна. Однако из-за языковых характеристик китайского языка сегментацию слов трудно разделить, и легко возникает двусмысленность сегментации слов. Будут использоваться некоторые токенизаторы, более известные это токенизатор Jieba, hanlp и т. д. Здесь мы представляем подключаемый модуль токенизатора для es, ik tokenizer.Вы можете скачать сжатый пакет токенизатора с github, адрес загрузки:GitHub.com/many out/E последний…, в эсСоздайте каталог IK в каталоге плагинов, опустите разбные файлы в каталоге IK и перезапустите Elasticsearch.
В это время заменяем предыдущий токенизатор на ik_smart, а потом смотрим на эффект. Видно, что ik_smart удалось сегментировать китайский язык.
POST _analyze
{
"tokenizer": "ik_smart",
"text": "你叫什么名字"
}
{
"tokens" : [
{
"token" : "你",
"start_offset" : 0,
"end_offset" : 1,
"type" : "CN_CHAR",
"position" : 0
},
{
"token" : "叫什么",
"start_offset" : 1,
"end_offset" : 4,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "名字",
"start_offset" : 4,
"end_offset" : 6,
"type" : "CN_WORD",
"position" : 2
}
]
}
Помимо ik_smart есть токенизатор ik_max_wrod.
-
ik_smart выполнит грубую сегментацию текста. Например, если выполняется сегментация слова Китайская Народная Республика, будет считаться, что это слово, а результатом является Китайская Народная Республика.
-
А ik_max_word делает мелкозернистую сегментацию текста, и будут появляться слова разной длины. Если Китайскую Народную Республику тоже разделить на слова, то будет много слов.
{ "жетоны": [ { «токен»: «Китайская Народная Республика», "начальное_смещение": 0, "end_offset": 7, "тип": "CN_WORD", "позиция" : 0 }, { "токен": "китайцы", "начальное_смещение": 0, "end_offset": 4, "тип": "CN_WORD", "позиция": 1 }, { "токен": "Китай", "начальное_смещение": 0, "конец_смещения": 2, "тип": "CN_WORD", "позиция": 2 }, { "токен": "китайский", "начальное_смещение": 1, "end_offset": 3, "тип": "CN_WORD", "позиция": 3 }, { «жетон»: «Народная Республика», "начальное_смещение": 2, "end_offset": 7, "тип": "CN_WORD", "позиция": 4 }, { "токен": "люди", "начальное_смещение": 2, "end_offset": 4, "тип": "CN_WORD", "позиция": 5 }, { "токен": "Республика", "начальное_смещение": 4, "end_offset": 7, "тип": "CN_WORD", "позиция": 6 }, { "токен": "Республика", "начальное_смещение": 4, "end_offset": 6, "тип": "CN_WORD", "позиция": 7 }, { "токен": "страна", "начальное_смещение": 6, "end_offset": 7, "тип": "CN_CHAR", "позиция": 8 } ] }
Когда эти два токенизатора имеют дело с конкретными сценариями, необходимо выбрать соответствующий токенизатор для использования.
3. Используйте вместе ik_smart и ik_max_word
В общем, чтобы улучшить эффект поиска, эти два токенизатора нужно использовать вместе. При индексировании используйте ik_max_word, чтобы сегментировать как можно больше слов, и используйте ik_smart, чтобы максимально повысить точность сопоставления при поиске, чтобы поиск пользователя был максимально точным. Например, распространенный сценарий заключается в том, что при поиске «импортное красное вино» старайтесь не показывать продукты, связанные с губной помадой, или позволять губной помаде не занимать первое место.
Сначала мы создаем индекс товаров в Elasticsearch, где токенизатор имени использует ik_max_word.
PUT /goods
{
"mappings":{
"goods": {
"properties": {
"id": {
"type": "keyword"
},
"name": {
"analyzer": "ik_max_word",
"type": "text"
}
}
}
},
"settings":{
"index": {
"refresh_interval": "1s",
"number_of_shards": 5,
"max_result_window": "10000000",
"mapper": {
"dynamic": "false"
},
"number_of_replicas": 0
}
}
}
Затем мы добавляем в него некоторые данные через POST-запрос.
POST /goods/goods
{
"id":"1",
"name":"美丽粉色口红明星"
}
POST /goods/goods
{
"id":"2",
"name":"好喝的进口红酒"
}
POST /goods/goods
{
"id":"3",
"name":"进口红酒真好喝"
}
Наконец, при запросе мы указываем токенизатор запроса как ik_smart.
GET /goods/goods/_search
{
"query":{
"match": {
"name": {
"query": "进口红酒",
"analyzer": "ik_smart"
}
}
}
}
Видно, что две записи, относящиеся к импортному красному вину, были найдены, но губная помада не найдена.
{
"took" : 28,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 2,
"max_score" : 0.36464313,
"hits" : [
{
"_index" : "goods",
"_type" : "goods",
"_id" : "cdLk1WoBvRMfJWIKVfOP",
"_score" : 0.36464313,
"_source" : {
"id" : "3",
"name" : "进口红酒真好喝"
}
},
{
"_index" : "goods",
"_type" : "goods",
"_id" : "ctLk1WoBvRMfJWIKX_O6",
"_score" : 0.36464313,
"_source" : {
"id" : "2",
"name" : "好喝的进口红酒"
}
}
]
}
}
4. Резюме
Tokenizer является важной частью Elasticsearch. Есть также много токеров открытых источников в Интернете. Эти токенизаторы открытых источников могут быть достаточно для общих приложений, но в некоторых конкретных сценариях вам может потребоваться оптимизировать токенизатор или даже нужно Развивайте некоторые токенизаторы самостоятельно.
Для более интересного контента, пожалуйста, обратите внимание на общедоступный номер