Каковы некоторые варианты использования Elasticsearch по сравнению со стандартными SQL-запросами?

Я только начинаю работу с Elasticsearch и одним из основных случаев использования, которые я видел, является его масштабируемость с поиском по большим наборам данных, но кроме этого, когда вы хотите использовать его для простого создания sql-запросов с традиционной СУБД?

675   2  

2 ответов:

существует два основных варианта использования Elasticsearch:

  1. поиск по тексту

вы хотите Elasticsearch, когда вы делаете много текстового поиска, где традиционные базы данных СУБД не очень хорошо работают (плохая конфигурация, действует как черный ящик, низкая производительность). Elasticsearch легко настраивается, расширяется с помощью плагинов. Вы можете построить надежный поиск без особых знаний довольно быстро.

  1. лесозаготовки и анализ

другой крайний случай заключается в том, что многие люди используют Elasticsearch для хранения журналов из различных источников (для их централизации), чтобы они могли анализировать их и делать из них смысл. В этом случае Кибана становится удобной. Он позволяет подключаться к кластеру Elasticsearch и сразу создавать визуализации. Например, Loggly построен с использованием Elasticsearch и Kibana.

имейте в виду, что вы не хотите использовать Elasticsearch в в качестве основного хранилища данных. Причины здесь:насколько надежен ElasticSearch в качестве основного хранилища данных против таких факторов, как потеря записи, доступность данных

обновление

Я чувствовал, что вторая часть больше не острая, это на самом деле то, что Elastic как компания делает очень хорошо в прошлом году. С текущим движением DevOps, конвейерами CI / CD, увеличением количества метрик из различных источников, ELK стал выбором defacto для инфраструктуры мониторинг, это уже не просто распределенный RESTful text-search engine. Он имеет удивительный набор продуктов:

  • Logstash (тонны входных данных)
  • ударов
    • Filebeat
    • Metricbeat
    • Packetbeat
    • Winlogbeat
  • платформы Kibana
    • графика
    • Timelion
  • X-Pack (премия)
    • предупреждения
    • отчетность
    • безопасность
    • Машинное Обучение
    • перекрестные метрики центра обработки данных

экосистема, построенная сообществом, растет вокруг ELK stack, который расширяет текущие функции, немногие из них заслуживают упоминания:

  • ElastAlert
  • Search Guard
59  
2018-03-23 08:18:41

чтобы добавить к другому ответу, ведение журнала по-прежнему является основным вариантом использования, а также поисками, но теперь метрики и аналитика становятся все более важными.

Я считаю, что этот пост суммирует изменения на рынке, которые приводят к новым случаям использования Больших Данных. все, что вам действительно нужно знать о базах данных с открытым кодом

с появлением Web 2.0, статические веб-страницы стали динамическими и социальные медиа все вокруг нас. Все Твиттер, постинг, блоги, влоги, обмен фотографиями, общение и комментирование. Этот Интернет вещей (IoT) появляется-быстро растущая сеть подключенные устройства для сбора и обмена данными, такие как датчики и смарт-устройство. Здесь есть несколько замечательных примеров.

в целом, это генерирует огромное количество новых данных, которые предприятия хотят поглотить и используйте, чтобы оставаться впереди, чтобы обеспечить такие функции, как рекомендации по продукту и лучший клиент опыт. Данные могут быть проанализированы в поиске шаблонов для таких приложений, как обнаружение мошенничества и поведение аналитика. Большая часть новых данных неструктурирована, что означает, что она не может быть аккуратно сохранен в табличной базе данных.

представьте, что вы пытаетесь создать база данных для хранения данных о ваших продуктовых магазинах - что вам нравится, как часто вы его покупаете, предпочитаете ли вы молоко или сливки с кофе. Новые типы баз данных необходимы для хранения новых данных, и они нуждаются чтобы быть нереляционным и идеально низкой стоимостью. Звенят какие-нибудь колокольчики? Не реляционная как в NoSQL и низкой стоимостью как с открытым исходным кодом.

один из архитекторов Elasticsearch, с которым я говорил, сказал, что 80% данных, с которыми Elasticsearch работает в компаниях, неструктурированы, а 20% структурированы. это неструктурированные данные, которые компании ищут, чтобы обнаружить редкие или необычные шаблоны данных. они также используют Elasticsearch для мониторинга шаблонов данных. Для например, крупный розничный торговец выполняет отслеживание в реальном времени с помощью Elasticsearch, чтобы обеспечить достаточные денежные запасы в магазинах для людей, чтобы обналичить чеки в дни выплаты жалованья.

в моем собственном опыте с нашим вариантом использования поиска мы не только используем нечеткие поиски, но и превратились в автоматический и быстрый поиск. Из того, что я видел, как только вы начинаете работать с Elasticsearch, вы начинаете развиваться в другие варианты использования, которые дополняют то, что у вас уже есть. Теперь, когда мы установили Elasticsearch как нечеткая поисковая система в нашей компании, теперь у нас есть другие команды, изучающие аналитику и показатели для ведения журнала.

вот некоторые дополнительные ресурсы, которые идут более подробно по этой теме:

22  
2017-06-20 06:26:50

Comments

    Ничего не найдено.
Click here to cancel reply.