В жизни бывают взлеты и падения, бывают дни бесконечной красоты, а бывают времена отчаяния.Когда люди находятся в низшей точке, они могут победить, только если «выживут».
предисловие
ElasticSearchОн все более широко используется в интернет-индустрии, особенно в области больших данных и поиска.С итерацией версий функции становятся все более и более мощными.Предшественником ElasticSearch является Compass, который был создан в 2004 году. В третьей версии Compass был создан автор Shay Banon, переписавший большую часть его и выпустивший первую версию Elasticsearch в феврале 2010 года. В настоящее время на рынке все еще относительно мало информации об ElasticSearch, особенно о схеме окончания в некоторых сценариях, что встречается еще реже. В этой серии статей основное внимание уделяется пониманию сценариев использования ElasticSearch и объяснению с самого начала, пониманию использования ElasticSearch и решениям в некоторых сценариях. Я надеюсь помочь большему количеству людей понять ElasticSearch, изучить ElasticSearch и лучше использовать ElasticSearch для решения проблем в практических сценариях. Это первый раз, когда автор пишет статью, если есть какие-либо недовольства или ошибки, я надеюсь, что судьи подскажут, что автор будет усердно работать над ее улучшением.
ElasticSearchЭто поисковая система, основанная на библиотеке Lucene, которая предоставляет полнотекстовую поисковую систему с распределенными многопользовательскими возможностями, а также предоставляет веб-интерфейс HTTP и документы JSON без схемы.. ElasticSearch разработан с использованием языка JAVA, а клиент доступен на основных языках Java, .NET (C#), PHP, Python, Apache Groovy, Ruby и многих других языках.
Поисковая система ES в значительной степени зависит от базовой Filesystem Cache. Если кэш файловой системы может выделить больше памяти, так что памяти достаточно для хранения файла индексных данных IDX Segment File, то данные в основном хранятся в памяти, все поиски выполняются непосредственно в памяти, и скорость очень высокая. . Если кэш файловой системы не выделяет достаточно памяти, и данных недостаточно для хранения в памяти, оставшиеся данные будут считаны с жесткого диска.Ограничено скоростью чтения и записи жесткого диска, производительность будет значительно снижается.
ElasticSearch — этоПоисковая система почти в реальном времени, почему говорят, что это почти в реальном времени? Прежде всего, нам нужно знать, что индекс (индекс) состоит из нескольких сегментов (сегментов), вновь добавленный документ будет сначала записываться в область буфера индексации, затем перезаписываться в сегмент, а затем записываться в кэш файловой системы. , после того как данные записаны в Кэш файловой системы, их действительно можно открыть, но на самом деле для открытия нового сегмента в Кэш файловой системы требуется операция обновления, которая по умолчанию используется в es.1 секунда, поэтому мы говорим, что es — это поисковая система, работающая почти в реальном времени. Кроме того, данные, записываемые в кэш файловой системы, не закончились, и данные необходимо сохранять. полный коммит записывается на жесткий диск.
Подобно поиску Google, поиску Baidu, Википедии и т. д., выполняется поиск по полнотекстовым ключевым словам. В es предусмотрен метод запроса полнотекстового поиска, и наиболее релевантные документы можно искать в полнотекстовом поле. Например, блог предназначен для поиска по всему тексту, извлечения соответствующих ключевых слов статьи и показа ссылки на статью пользователю.
02Портрет пользователяСобирая журналы поведения пользователей, анализируя и создавая модели пользователей, сохраняя их в es и используя мощные возможности углубленного поиска и агрегирования es, данные о поведении пользователей могут быть лучше проанализированы и отображены. Например, система рекомендаций использует пользовательские данные пользовательской модели для перекрестного запроса пользовательских данных для анализа детальных предпочтений пользователя.
03Система наблюденияИспользуя функцию высокопроизводительных запросов es, данные мониторинга системы собираются, и данные мониторинга отображаются практически в реальном времени.
04лог-системаОбычно используемым решением является ELK (elasticsearch + logstash + kibana), который использует logstash для сбора информации журнала журналов, а затем сохраняет ее через es. Наконец, кибана может использовать es API для просмотра и анализа информации, связанной с журналом.
PART
01
Крупномасштабные кластеры могут быть построены для обработки данных уровня PB и обслуживания крупных предприятий, а также могут быть развернуты на одном компьютере для обслуживания малых предприятий.
PART
02
Он сочетает в себе функции полнотекстового поиска Lucene, но также поддерживает распределенную технологию и имеет возможность анализа, а также собственную функцию хранения, простое развертывание и реальное удобство «из коробки».
PART
03
Он обладает емкостью хранения традиционных баз данных и расширяет возможности запросов на его основе, предоставляет различные возможности анализа и поиска, может обрабатывать массивные данные и предоставляет множество функций, которые не могут обеспечить базы данных.
Техническую статью в этом выпуске пишу впервые.Написание может быть не очень.Если есть какие-то проблемы или ошибки посередине,можете задать их.Если вам посчастливится увидеть эту статью,Надежда чтобы поставить лайк, вот, спасибо за вашу поддержку и лайки, спасибо!