Быстро начните работу с Elasticsearch, и все готово!

Java Elasticsearch
Быстро начните работу с Elasticsearch, и все готово!

Адрес фактического центра электронной коммерции SpringBoot (30k+star):GitHub.com/macro-positive/…

Резюме

Помнится, когда впервые связался с Elasticsearch, то никакой информации не нашел, только читал официальные китайские документы Elasticsearch, китайские документы давно не обновлялись, и всегда была версия 2.3. Недавно я перечитал официальные документы 6.0.Поскольку в официальных документах представлено много контента, каждый раз просматривать их очень утомительно, поэтому на этот раз я отсортировал наиболее часто используемые части и написал это вводное руководство. Я надеюсь, что это поможет вам.

Введение

Elasticsearch — это поисковый сервер на базе Lucene. Он предоставляет распределенную полнотекстовую поисковую систему на основе спокойного веб-интерфейса. Elasticsearch разработан на языке Java и представляет собой проект с открытым исходным кодом, основанный на протоколе Apache, и в настоящее время является самой популярной корпоративной поисковой системой. Elasticsearch широко используется в облачных вычислениях и может обеспечивать поиск в реальном времени, который является стабильным, надежным и быстрым.

Установить

Установка под Windows

Elasticsearch

  • Загрузите zip-пакет Elasticsearch 6.2.2 и распакуйте его в указанный каталог, адрес загрузки:woohoo.elastic.co/capable/download…

  • Установите плагин сегментации китайских слов и выполните следующие команды в каталоге elasticsearch-6.2.2\bin;
elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.2.2/elasticsearch-analysis-ik-6.2.2.zip

  • Запустите elasticsearch.bat в каталоге bin, чтобы запустить Elasticsearch;

Kibana

  • Загрузите Kibana, в качестве клиента для доступа к Elasticsearch, загрузите zip-пакет версии 6.2.2 и распакуйте его в указанный каталог, адрес загрузки:Artifacts.elastic.co/downloads/…

  • Запустите kibana.bat в каталоге bin, чтобы запустить пользовательский интерфейс Kibana.

  • доступhttp://localhost:5601Это откроет пользовательский интерфейс Kibana:

Установка под линукс

Elasticsearch

  • Скачайте докер-образ elasticsearch 6.4.0;
docker pull elasticsearch:6.4.0
  • Измените размер области виртуальной памяти, иначе она не сможет запуститься, потому что она слишком мала;
sysctl -w vm.max_map_count=262144
  • Начните с команды docker;
docker run -p 9200:9200 -p 9300:9300 --name elasticsearch \
-e "discovery.type=single-node" \
-e "cluster.name=elasticsearch" \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-d elasticsearch:6.4.0
  • найдено при запуске/usr/share/elasticsearch/dataКаталог не имеет прав доступа, вам нужно только изменить права доступа к каталогу и перезапустить его;
chmod 777 /mydata/elasticsearch/data/
  • Установите китайский токенизатор IKAnalyzer и перезапустите;
docker exec -it elasticsearch /bin/bash
#此命令需要在容器中运行
elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.4.0/elasticsearch-analysis-ik-6.4.0.zip
docker restart elasticsearch

Kibina

  • Скачайте докер-образ кибаны 6.4.0;
docker pull kibana:6.4.0
  • Начните с команды docker;
docker run --name kibana -p 5601:5601 \
--link elasticsearch:es \
-e "elasticsearch.hosts=http://es:9200" \
-d kibana:6.4.0

Связанные концепции

  • Почти в реальном времени: Elasticsearch — это поисковая платформа в режиме, близком к реальному времени, что означает лишь небольшую задержку (обычно одну секунду) между проиндексированными документами и документами, доступными для поиска.
  • Кластер. Кластер — это набор из одного или нескольких узлов, которые вместе содержат все данные и обеспечивают федеративное индексирование и возможности поиска по всем узлам. Каждый кластер имеет свое уникальное имя кластера, по которому узлы присоединяются к кластеру.
  • Узел: узел относится к одному экземпляру Elasticsearch, который принадлежит кластеру, хранит данные и участвует в функциях индексирования и поиска кластера. Узлы можно настроить для присоединения к определенному кластеру по имени кластера, по умолчанию каждый узел настроен на присоединение к кластеру с именемelasticsearchкластер.
  • Индекс: Индекс — это набор документов со схожими характеристиками, схожими с концепцией базы данных в MySql.
  • Тип: тип — это раздел логической категории индекса, обычно тип документа с набором общих полей, аналогичный концепции таблицы в MySql.注意: в Elasticsearch 6.0.0 и более поздних версиях индекс может содержать только один тип.
  • Документ (document): документ — это базовая единица информации, которая может быть проиндексирована, выражена в формате JSON, аналогично концепции записей строк в MySql.
  • Осколки: когда в индексе хранится большой объем данных, он может превысить аппаратный предел одного узла.Чтобы решить эту проблему, Elasticsearch предлагает концепцию разделения индекса на осколки. Механизм сегментирования дает индексу возможность горизонтального масштабирования, а также позволяет распределять и распараллеливать операции между сегментами, повышая производительность и пропускную способность.
  • Реплики (реплики): В сетевой среде, которая может дать сбой, должен быть механизм аварийного переключения.Elasticsearch предоставляет функцию репликации осколков индекса в одну или несколько реплик, доступность.

Просмотр состояния кластера

  • Просмотр состояния работоспособности кластера;
GET /_cat/health?v

epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1585552862 15:21:02  elasticsearch yellow          1         1     27  27    0    0       25             0                  -                 51.9%
  • Просмотр состояния узла;
GET /_cat/nodes?v

ip        heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
127.0.0.1           23          94  28                          mdi       *      KFFjkpV
  • просмотреть всю информацию об индексе;
GET /_cat/indices?v

health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   pms      xlU0BjEoTrujDgeL6ENMPw   1   0         41            0     30.5kb         30.5kb
green  open   .kibana  ljKQtJdwT9CnLrxbujdfWg   1   0          2            1     10.7kb         10.7kb

индексная операция

  • создать индекс и представление;
PUT /customer
GET /_cat/indices?v

health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   customer 9uPjf94gSq-SJS6eOuJrHQ   5   1          0            0       460b           460b
green  open   pms      xlU0BjEoTrujDgeL6ENMPw   1   0         41            0     30.5kb         30.5kb
green  open   .kibana  ljKQtJdwT9CnLrxbujdfWg   1   0          2            1     10.7kb         10.7kb
  • удалить индекс и просмотреть;
DELETE /customer
GET /_cat/indices?v

health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   pms      xlU0BjEoTrujDgeL6ENMPw   1   0         41            0     30.5kb         30.5kb
green  open   .kibana  ljKQtJdwT9CnLrxbujdfWg   1   0          2            1     10.7kb         10.7kb

тип операции

  • Просмотр типа документа;
GET /bank/account/_mapping

{
  "bank": {
    "mappings": {
      "account": {
        "properties": {
          "account_number": {
            "type": "long"
          },
          "address": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "age": {
            "type": "long"
          },
          "balance": {
            "type": "long"
          },
          "city": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "email": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "employer": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "firstname": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "gender": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "lastname": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "state": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    }
  }
}

манипулирование документами

  • добавить документы в индекс;
PUT /customer/doc/1
{
  "name": "John Doe"
}

{
  "_index": "customer",
  "_type": "doc",
  "_id": "1",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 3,
  "_primary_term": 1
}
  • Просмотр документов в индексе;
GET /customer/doc/1

{
  "_index": "customer",
  "_type": "doc",
  "_id": "1",
  "_version": 2,
  "found": true,
  "_source": {
    "name": "John Doe"
  }
}
  • Изменить документы в индексе:
POST /customer/doc/1/_update
{
  "doc": { "name": "Jane Doe" }
}

{
  "_index": "customer",
  "_type": "doc",
  "_id": "1",
  "_version": 2,
  "result": "updated",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 4,
  "_primary_term": 1
}
  • удалять документы из индекса;
DELETE /customer/doc/1

{
  "_index": "customer",
  "_type": "doc",
  "_id": "1",
  "_version": 3,
  "result": "deleted",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 2,
  "_primary_term": 1
}
  • выполнять массовые операции над документами в индексе;
POST /customer/doc/_bulk
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }

{
  "took": 45,
  "errors": false,
  "items": [
    {
      "index": {
        "_index": "customer",
        "_type": "doc",
        "_id": "1",
        "_version": 3,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 5,
        "_primary_term": 1,
        "status": 200
      }
    },
    {
      "index": {
        "_index": "customer",
        "_type": "doc",
        "_id": "2",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 0,
        "_primary_term": 1,
        "status": 201
      }
    }
  ]
}

поиск данных

Выражение запроса (Query DSL) — очень гибкий и выразительный язык запросов. Elasticsearch может использовать его для реализации расширенных функций поиска с простым интерфейсом JSON. Он будет использоваться в следующих операциях поиска.

подготовка данных

  • Сначала нам нужно импортировать некоторый объем данных для поиска, на примере таблицы банковского счета структура данных следующая:
{
    "account_number": 0,
    "balance": 16623,
    "firstname": "Bradshaw",
    "lastname": "Mckenzie",
    "age": 29,
    "gender": "F",
    "address": "244 Columbus Place",
    "employer": "Euron",
    "email": "bradshawmckenzie@euron.com",
    "city": "Hobucken",
    "state": "CO"
}

  • Сначала мы копируем данные для импорта, адрес данных:GitHub.com/macro-positive/…

  • Затем напрямую используйте пакетные операции для импорта данных.Обратите внимание, что все операции в этой статье выполняются в Kibana Dev Tools;

POST /bank/account/_bulk
{
  "index": {
    "_id": "1"
  }
}
{
  "account_number": 1,
  "balance": 39225,
  "firstname": "Amber",
  "lastname": "Duke",
  "age": 32,
  "gender": "M",
  "address": "880 Holmes Lane",
  "employer": "Pyrami",
  "email": "amberduke@pyrami.com",
  "city": "Brogan",
  "state": "IL"
}
......省略若干条数据

  • Проверьте информацию индекса после завершения импорта, вы можете найтиbankВ индексе создано 1000 документов.
GET /_cat/indices?v

health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   bank     HFjxDLNLRA-NATPKUQgjBw   5   1       1000            0    474.6kb        474.6kb

Начало работы с поиском

  • Самый простой поиск, используйтеmatch_allуказать, например, искать все;
GET /bank/_search
{
  "query": { "match_all": {} }
}

  • постраничный поиск,fromУказывает смещение, начиная с 0,sizeУказывает число, отображаемое на странице;
GET /bank/_search
{
  "query": { "match_all": {} },
  "from": 0,
  "size": 10
}

  • поиск, сортировка, использованиеsortсредства, такие как нажатиеbalanceПоля сортируются в порядке убывания;
GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}

  • Поиск и возврат содержимого указанного поля, используйте_sourceозначает, например, просто вернутьсяaccount_numberиbalanceСодержимое двух полей:
GET /bank/_search
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"]
}

Условный поиск

  • условный поиск с использованиемmatchУказывает условия соответствия, такие как поискaccount_numberза20документы:
GET /bank/_search
{
  "query": {
    "match": {
      "account_number": 20
    }
  }
}

  • Условный поиск полей текстового типа, например поискaddressполе содержитmill, по сравнению с предыдущим поиском можно обнаружить, что для числовых типовmatchВ операции используется точное сопоставление, а для текстовых типов используется нечеткое сопоставление;
GET /bank/_search
{
  "query": {
    "match": {
      "address": "mill"
    }
  },
  "_source": [
    "address",
    "account_number"
  ]
}

  • Поиск фразового соответствия с использованиемmatch_phraseсредства, такие как поискaddressполе также содержитmillиlaneдокументы:
GET /bank/_search
{
  "query": {
    "match_phrase": {
      "address": "mill lane"
    }
  }
}

Комбинированный поиск

  • комбинаторный поиск с использованиемboolобъединить,mustУказывает на одновременное удовлетворение, такое как поискaddressполе также содержитmillиlaneдокументация;
GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

  • комбинированный поиск,shouldУказывает, что любой из них удовлетворен, поискaddressполе содержитmillилиlaneдокументация;
GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

  • комбинированный поиск,must_notУказывает, что оба не удовлетворены, например, поискaddressполе не содержитmillи не содержитlaneдокументация;
GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

  • комбинаторный поиск, комбинаторныйmustиmust_not, например, поискageполе равно40иstateПоле не содержитIDдокументация;
GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}

фильтровать поиск

  • поисковый фильтр, используйтеfilterпредставить, например, отфильтроватьbalanceполе в20000~30000документация;
GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

агрегация поиска

  • Чтобы агрегировать результаты поиска, используйтеaggsпредставлять, аналогично тому, что в MySqlgroup by, напримерstateПоля агрегированы, а статистика одинаковаstateколичество документов;
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}

  • Вложенные агрегаты, например, дляstateПоля агрегированы, а статистика одинаковаstateКоличество документов, а затем подсчетbalanceсреднее значение;
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

  • Сортировать результаты агрегированного поиска, например, поbalanceСреднее значение сортируется по убыванию;
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

  • Агрегирование сегментов по диапазону значений поля, например, диапазон сегментаageполе[20,30] [30,40] [40,50], затем нажмитеgenderПодсчитайте количество документов иbalanceсреднее значение;
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}

использованная литература

woohoo.elastic.co/expensive/en/bad…

публика

проект торгового центраПолный набор учебных пособий сериализуется,Обратите внимание на публичный аккаунтПолучите это прямо сейчас.

公众号图片

Категории