Библиотека программиста - Шривастава Анураг - Elasticsearch для разработчиков: индексирование, анализ, поиск и агрегирование данных, 2-е изд. [2025, PDF/EPUB, RUS]
Главная »
Литература
» Книги FB2 » Учебно-техническая литература
|
| Статистика раздачи | |
| Размер: 12.05 MB | Зарегистрирован: 6 месяца 4 дня | Скачано: 31 раз | |
| Работает мультитрекерная раздача | |
|
Раздают: 1 [ 0 KB/s ]
Подробная статистика пиров
|
|
|
| Автор | Сообщение | |||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| MAGNAT ®  ![[Профиль]](./styles/templates/zlight/images/lang/ru/icon_profile.gif "Посмотреть профиль"){kind=icon} ![[ЛС]](./styles/templates/zlight/images/lang/ru/icon_pm.gif "Отправить ЛС"){kind=icon}
|
Elasticsearch для разработчиков: индексирование, анализ, поиск и агрегирование данных. 2-е изд.
Год издания: 2025 Автор: Шривастава Анураг Переводчик : Ларин А. Издательство: Питер ISBN: 978-5-4461-4211-8 Серия: Библиотека программиста Язык: Русский Формат: PDF/PDF Качество: Издательский макет или текст (eBook) Интерактивное оглавление: Да Количество страниц: 336 Описание: Elasticsearch — мощный инструмент для работы с большими объемами данных. Это масштабируемая, надежная и быстрая система со множеством функций для анализа и поиска данных. Книга представляет собой подробное руководство по использованию Elasticsearch для управления данными. Вначале приводится обзор Elasticsearch, где описана его важность в современном мире. Далее рассматриваются основы Elasticsearch, включая установку, настройку и управление индексами. Затем автор переходит к более сложным темам, таким как обработка геопространственных данных и использование агрегаций для анализа данных. Кроме того, внимание уделено вопросам оптимизации работы, производительности и администрирования. Практические примеры помогут понять и применить изученные концепции. Вы получите глубокое представление об Elasticsearch и сможете использовать его для управления большими объемами данных и извлечения из них ценной информации. ОглавлениеОб авторе................................................................................................16О научном редакторе................................................................................17 Благодарности.........................................................................................18 Предисловие............................................................................................19 От издательства........................................................................................22 О научном редакторе русского издания.......................................................22 Глава 1. Начало работы с Elasticsearch........................................................23 Введение...................................................................................................23 Структура главы.........................................................................................24 Цели...........................................................................................................24 Введение в поиск данных.............................................................................24 Что такое Elasticsearch и почему он важен для поиска и аналитики..................26 Обзор архитектуры и компонентов Elasticsearch..............................................27 Узел............................................................................................................27 Кластер......................................................................................................33 Шарды........................................................................................................35 Документы..................................................................................................36 Области применения и варианты использования Elasticsearch.........................37 Поиск данных..............................................................................................37 Регистрация и анализ данных.......................................................................38 Мониторинг производительности приложений................................................38 Мониторинг производительности системы......................................................39 Визуализация данных..................................................................................39 Клиенты Elasticsearch и сценарии их использования.......................................41 Java............................................................................................................41 PHP.............................................................................................................42 Perl.............................................................................................................42 Python.........................................................................................................42 .NET.............................................................................................................43 Ruby ...........................................................................................................43 JavaScript.....................................................................................................43 Заключение..................................................................................................44 Вопросы.......................................................................................................44 Глава 2. Установка Elasticsearch.....................................................................45 Введение......................................................................................................45 Структура.....................................................................................................45 Цели............................................................................................................46 Введение в Elasticsearch 8..............................................................................46 Повышение производительности индексирования............................................46 Повышение производительности поиска.........................................................46 Улучшения межкластерного поиска................................................................46 Усовершенствования в области безопасности..................................................47 Усовершенствования в области эксплуатации..................................................47 Установка Elasticsearch в Linux и macOS..........................................................47 Установка Elasticsearch в Linux........................................................................47 Установка Elasticsearch в macOS......................................................................48 Установка Elasticsearch с помощью пакета Debian.............................................49 Установка пакета Debian вручную....................................................................49 Установка Elasticsearch с помощью пакета RPM.................................................50 Установка пакета RPM вручную........................................................................51 Установка Elasticsearch в ОС Windows...............................................................51 Запуск и проверка службы Elasticsearch............................................................52 Elasticsearch REST API......................................................................................52 CAT API...........................................................................................................53 Параметры CAT API..........................................................................................53 Verbose...........................................................................................................53 Help ...............................................................................................................54 Заголовки........................................................................................................55 Форматы ответов..............................................................................................55 Сортировка......................................................................................................57 CAT COUNT API ................................................................................................57 CAT HEALTH API ...............................................................................................57 CAT INDICES API...............................................................................................58 CAT MASTER API...............................................................................................58 CAT NODES API.................................................................................................59 CAT SHARDS API ..............................................................................................59 API кластеров..................................................................................................60 API состояния кластера.....................................................................................60 API статистики кластера....................................................................................60 Заключение......................................................................................................63 Вопросы...........................................................................................................63 Глава 3. Elastic Stack: экосистема Elasticsearch....................................................64 Введение..........................................................................................................64 Структура.........................................................................................................64 Цели................................................................................................................65 Обзор компонентов Elastic Stack........................................................................65 Elasticsearch: механизм поиска и аналитики........................................................66 Logstash: пайплайн обработки данных................................................................67 Плагины ввода данных Logstash.........................................................................69 Плагины фильтрации Logstash............................................................................69 Плагины вывода данных Logstash.......................................................................70 Kibana: инструмент визуализации данных...........................................................74 Beats: легковесная отправка данных.......................................................................78 Filebeat......................................................................................................................79 Metricbeat.................................................................................................................83 Packetbeat.................................................................................................................85 Winlogbeat................................................................................................................86 Auditbeat...................................................................................................................87 Heartbeat .................................................................................................................88 Functionbeat............................................................................................................90 Интеграция компонентов Elastic Stack..................................................................91 Получение логов Apache с помощью Logstash.......................................................92 Заключение......................................................................................................94 Вопросы............................................................................................................94 Глава 4. Подготовка данных к индексированию...................................................95 Введение..........................................................................................................95 Структура.........................................................................................................95 Цели................................................................................................................96 Важность подготовки данных перед индексированием.........................................96 Анализаторы Elasticsearch..................................................................................96 Встроенные анализаторы...................................................................................102 Стандартный анализатор...................................................................................103 Простой анализатор...........................................................................................103 Анализатор пробелов.........................................................................................104 Анализатор стоп-слов........................................................................................104 Анализатор ключевых слов................................................................................105 Анализатор шаблонов........................................................................................105 Языковые анализаторы.....................................................................................106 Анализатор отпечатков.....................................................................................107 Пользовательские анализаторы.........................................................................107 Токенизаторы Elasticsearch................................................................................107 Словесно-ориентированные токенизаторы..........................................................108 Фильтры токенов..............................................................................................116 Фильтры символов в Elasticsearch......................................................................117 Фильтр HTML strip ............................................................................................117 Фильтр сопоставления......................................................................................117 Фильтр символов для замены шаблона...............................................................117 Нормализаторы............................................................................................................118 Заключение....................................................................................................................119 Вопросы...........................................................................................................................119 Глава 5. Импорт данных в Elasticsearch..............................................................................120 Введение..........................................................................................................................120 Структура ......................................................................................................................120 Цели................................................................................................................................120 Почему данные важны для бизнеса................................................................................121 Доставка данных..........................................................................................................122 Поглощение данных....................................................................................................122 Хранение данных.........................................................................................................124 Визуализация данных................................................................................................125 Импорт данных в Elasticsearch с помощью Beats .........................................................127 Filebeat....................................................................................................................128 Metricbeat...............................................................................................................134 Packetbeat...............................................................................................................139 Заключение.....................................................................................................................149 Вопросы...........................................................................................................................149 Глава 6. Управление индексами: создание, обновление и удаление индексов Elasticsearch.....150 Введение..........................................................................................................................150 Структура.........................................................................................................................150 Цели................................................................................................................................151 Введение в создание и маппинг индексов Elasticsearch............................................151 Создание индекса без документов................................................................151 Создание индекса, содержащего документы.............................................153 Получение маппинга индекса.........................................................................154 Создание маппинга.............................................................................................155 Управление индексами в Elasticsearch.................................................................156 Выполнение операций над индексами Elasticsearch................................................158 Закрытие индекса...............................................................................................159 Удаление индекса................................................................................................159 Замораживание индекса...................................................................................159 Обновление индекса..........................................................................................159 Принудительное слияние индекса......................................................................160 Очистка кэша индекса.......................................................................................160 Сброс индекса на диск.......................................................................................160 Добавление политики жизненного цикла...........................................................160 API Elasticsearch для работы с индексами..........................................................161 Управление индексами......................................................................................162 Настройки индекса.............................................................................................174 Управление шаблонами индексов Elasticsearch...................................................177 Создание шаблона индекса..............................................................................177 Управление жизненным циклом индекса в Elasticsearch......................................180 Заключение....................................................................................................................181 Вопросы...........................................................................................................................181 Глава 7. Возможности поиска: освоение Query DSL и техник поиска....................182 Введение..........................................................................................................................182 Структура.......................................................................................................................183 Цели..................................................................................................................................183 Поиск по URI................................................................................................................183 Пустой поиск........................................................................................................184 Поиск по полю.....................................................................................................184 Query DSL......................................................................................................................188 Фильтры и запросы.....................................................................................................189 Запрос......................................................................................................................190 Типы запросов......................................................................................................191 Полнотекстовый поиск.....................................................................................192 Запросы на уровне терминов..........................................................................197 Сложные запросы...............................................................................................201 Мультипоиск.................................................................................................................204 API мультипоиска...............................................................................................204 Шаблоны поиска и мультипоиска.........................................................................205 Шаблон поиска....................................................................................................205 Шаблон мультипоиска......................................................................................207 Explain API.....................................................................................................................207 Обратная частота документа и частота термина......................................210 Profile API ......................................................................................................................211 Заключение....................................................................................................................213 Вопросы...........................................................................................................................214 Глава 8. Работа с геоданными в Elasticsearch........................................215 Введение..........................................................................................................................215 Структура.......................................................................................................................216 Цели..................................................................................................................................216 Введение в геопространственный поиск.............................................................216 Типы геоданных в Elasticsearch..............................................................................217 Данные типа геоточка................................................................................................218 Создание маппинга.............................................................................................219 Сохранение геоточек..........................................................................................219 Данные типа геоформа...............................................................................................220 Создание маппинга.............................................................................................221 Сохранение данных геоточки.........................................................................222 Геозапросы и фильтры DSL......................................................................................228 Запросы георасстояния.....................................................................................229 Геополигональные запросы.............................................................................230 Граничные запросы ............................................................................................232 Запросы геоформ................................................................................................233 Примеры использования...........................................................................................234 Поиск ресторана..................................................................................................235 Геоагрегация...................................................................................................................239 Заключение....................................................................................................................241 Вопросы...........................................................................................................................242 Глава 9. Анализ данных с помощью агрегаций Elasticsearch ...................................243 Введение..........................................................................................................................243 Структура.......................................................................................................................244 Цели..................................................................................................................................244 Введение в агрегацию Elasticsearch.......................................................................244 Агрегация бакетов.......................................................................................................245 Агрегация диапазонов.......................................................................................248 Составная агрегация .........................................................................................251 Агрегация терминов...........................................................................................255 Агрегация фильтра.............................................................................................257 Агрегация фильтров...........................................................................................258 Агрегация георасстояния.................................................................................259 Агрегация метрик........................................................................................................261 Поиск минимума.................................................................................................261 Поиск максимума................................................................................................262 Вычисление среднего.........................................................................................262 Вычисление суммы.............................................................................................263 Подсчет количества значений........................................................................264 Сбор статистики..................................................................................................264 Сбор расширенной статистики......................................................................265 Вычисление процентилей................................................................................267 Агрегация матриц........................................................................................................268 Сбор матричной статистики...........................................................................268 Агрегация пайплайнов...............................................................................................270 Вычисление среднего значения по бакетам...............................................271 Вычисление максимального значения по бакетам..................................274 Вычисление суммы значений по бакетам...................................................276 Заключение....................................................................................................................277 Вопросы...........................................................................................................................278 Глава 10. Настройка производительности.............................................279 Введение..........................................................................................................................279 Структура ......................................................................................................................279 Цели..................................................................................................................................280 Стратегии оптимизации производительности Elasticsearch.............................280 Оптимизация Elasticsearch для работы с большими объемами данных.............281 Настройка скорости индексирования Elasticsearch........................................282 Массовые запросы вместо одного ................................................................282 Разумное использование кластера Elasticsearch............................................285 Увеличение интервала обновления..............................................................285 Отключение репликации.............................................................................286 Использование автоматически генерируемых идентификаторов.....................286 Настройка размера буфера индексирования.............................................287 Использование более быстрого оборудования.........................................287 Выделение памяти для кэша файловой системы.....................................287 Настройка скорости поиска в Elasticsearch........................................................288 Моделирование документов...........................................................................288 Поиск по меньшему количеству полей.......................................................288 Предварительное индексирование данных................................................290 Маппинг идентификаторов в качестве ключевых слов................................292 Принудительное слияние индексов, доступных только для чтения...............293 Использование фильтра вместо запроса.....................................................293 Увеличение количества реплик.................................................................293 Извлечение только необходимых полей.....................................................294 Использование более быстрого оборудования.........................................295 Выделение памяти для кэша файловой системы.....................................295 Отказ от стоп-слов при поиске.......................................................................295 Отказ от скриптовых запросов.......................................................................296 Настройка Elasticsearch для использования диска..........................................297 Сжатие индекса....................................................................................................297 Принудительное слияние.................................................................................298 Отключение необязательных функций.......................................................299 Оптимизация типов числовых полей..........................................................303 Лучшие практики Elasticsearch..............................................................................303 Явное определение маппинга индексов Elasticsearch....................................303 Оптимизация производительности кластера Elasticsearch..............................304 Как избежать проблемы split-brain ..............................................................305 Включение лога медленных запросов..........................................................306 Заключение....................................................................................................................307 Вопросы...........................................................................................................................308 Глава 11. Администрирование: управление кластерами Elasticsearch...............309 Введение..........................................................................................................................309 Структура ......................................................................................................................310 Цели..................................................................................................................................310 Безопасность Elasticsearch........................................................................................310 Настройка TLS.....................................................................................................311 Пароли кластера Elasticsearch...........................................................................311 Настройка доступа на основе ролей с помощью Kibana.......................................315 Псевдонимы индекса..................................................................................................319 Создание репозитория и снапшота .......................................................................321 Создание репозитория.....................................................................................322 Создание снапшота.........................................................................................322 Восстановление из снапшота ..........................................................................324 Общая схема Elastic .......................................................................................324 Зачем нужна общая схема?.............................................................................325 Введение в схему ECS ...................................................................................326 Общие рекомендации ECS..............................................................................326 Рекомендации по именованию полей ECS........................................................327 Начало работы с ECS.....................................................................................328 Масштабирование кластера Elasticsearch.........................................................329 Вертикальное масштабирование.....................................................................329 Горизонтальное масштабирование..................................................................330 Мониторинг Elasticsearch................................................................................331 Заключение..................................................................................................333 Вопросы.......................................................................................................334
|
|||||||||||||||||||
![[Код]](./styles/templates/zlight/images/lang/ru/icon_code.gif "Код"){kind=icon}
|
Главная »
Литература
» Книги FB2 » Учебно-техническая литература
|
Текущее время: 05-Дек 14:18
Часовой пояс: UTC + 5
Вы не можете начинать темы
Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах Вы не можете прикреплять файлы к сообщениям Вы можете скачивать файлы |
