Learning ELK Stack 中文版-图书

推荐0
收藏3
浏览1.1K

Learning ELK Stack 中文版

（美）Saurabh Chhajed（苏库拉·塞哈特） (作者)　宁海元 (译者)

书　　号：978-7-121-28884-5
出版日期：2016-06-07
页　　数：192
开　　本：16(185*235)
出版状态：上市销售
原书名： Learning ELK Stack
原书号：9781785887154
维护人：张春雨

纸质版￥65.00

本书将从向你展示如何通过安装工具和基本配置来设置堆栈开始，来向你介绍ELK (Elasticsearch Logstash,Kibana)堆栈。然后教你使用ELK堆栈去构建一个基础数据管道。最后，你将探索Logstash的关键特性及其在ELK堆栈中的作用，包括创建Logstash插件,这将使你使用自己的自定义插件。

DevOps必备技能 Elasticsearch|Logstash|Kibana日志数据分析与可视化技术栈一本通

前言
本书旨在介绍如何使用开源的 Elasticsearch、Logstash 和 Kibana 技术栈来构建企业自己的 ELK 数据管道。本书也覆盖了每个技术组件的核心概念，以及怎样快速使用这些技术搭建日志分析解决方案。本书一共分为十章，其中第 1 章主要介绍如何快速地部署 ELK 技术栈的各个组件，这样在第 2 章中就可以开始构建第一个数据管道；第 3 章到第 7 章分别详细介绍了技术栈各个组件的详情；第 8 章则使用 ELK 构建了一个完整的数据管道；第 9章则介绍了 ELK 技术栈的几个实际使用案例；最后，在第 10 章中也涉及了如何利用一些周边工具来提升 ELK 技术栈的能力。
本书的内容
第 1 章，主要说明了 ELK 技术栈的概念，以及它能够解决的问题。本章介绍了 ELK技术栈中每个组件的功能，也涵盖了如何安装 Elasticsearch、Logstash 和 Kibana 组件的内容，可以帮助用户快速运行起整个技术栈。
第 2 章，在这一章构建了一个基本的 ELK 数据管道，输入的数据源是 CSV 格式的文件。通过这个例子中对 ELK 基本配置项的解读，可以帮助我们完成 ELK 搭建并快速地开始分析日志。
第 3 章，覆盖了 Logstash 的关键特性，也说明了如何集成各种不同的输入和输出源。本章也比较细致地介绍了 Logstash 的输入、过滤和输出插件，来帮助完成数据的采集、解析、转换和传输。
第 4 章，解释了在标准插件无法满足时，如何为多样化的需求创建自定义的 Logstash插件。本章描述了 Logstash 插件的生命周期，以及如何开发和发布不同类型的输入插件、过滤插件和输出插件。
第 5 章，描述了 ELK 技术栈中的 Elasticsearch 的作用、基本概念和关键特性，比如索引、文档、分片、集群，等等。另外也包含了 Elasticsear 中不同的索引和搜索 API，以及查询 DSL。
第 6 章，描述了如何利用 Kibana 来搜索、查看存储在 Elasticsearch 索引中的数据，以及如何对着写数据进行实时的交互操作。本章探索了各种不同的搜索选项，以及如何使用Kibaba 界面的搜索页功能。
第 7 章，通过一些案例来描述如何使用 Kibana 可视化和仪表盘的细节。同时也对设置页做了一些说明，包括配置索引模式、衍生字段，等等。
第 8 章，演示了如何整合 ELK 技术栈的三个技术组件，来构建完整的数据管道，也再次解释了前面章节中提过的各组件的功能。
第 9 章，解释了在生产环境中使用 ELK 技术栈需要注意的关键点。并且也提供了一些不同生产环境中的 ELK 技术栈实际案例。
第 10 章，描述了通过联合使用 ELK 的周边工具，来扩展技术栈的能力。
阅读本书需要准备什么
? Unix 操作系统（任意喜欢的版本都可以）
? Elasticsearch 1.5.2
? Logstash 1.5.0
? Kibana 4.0.0032
本书面向的读者
本书适合任何希望低成本分析数据的人。读者不一定需要有 ELK 技术栈或者某些组件的背景知识，但熟悉 NoSQL 数据库或者掌握一些编程基础知识会有帮助。

前言 ............................................................................................................. XIII
1 EKL 技术栈介绍 ......................................................................................... 1
日志分析的必要性 ................................................................................................................... 1
问题调试 .................................................................................................................................................. 2
性能分析 .................................................................................................................................................. 2
安全分析 .................................................................................................................................................. 2
预测分析 .................................................................................................................................................. 2
物联网日志 .............................................................................................................................................. 3
日志分析的挑战 ....................................................................................................................... 3
不一致的日志格式 .................................................................................................................................. 3
不同的时间格式 ...................................................................................................................................... 4
专业知识的需求 ...................................................................................................................................... 5
ELK 技术栈 .............................................................................................................................. 5
Elasticsearch ............................................................................................................................................. 5
Logstash .................................................................................................................................................... 6
Kibana ...................................................................................................................................................... 6
ELK 数据管道 .......................................................................................................................... 7
安装 ELK 技术栈 ..................................................................................................................... 8
安装 Elasticsearch .................................................................................................................................... 8
运行 Elasticsearch .................................................................................................................................... 9
配置 Elasticsearch .................................................................................................................................. 10
Elasticsearch 插件 .................................................................................................................................. 11
安装 Logstash ......................................................................................................................................... 11
运行 Logstash ......................................................................................................................................... 12
Logstash 的文件输入插件 ..................................................................................................................... 13
Learning ELK stack（中文版）
【VIII】
Logstash 的 Elasticsearch 输出插件 ..................................................................................................... 13
配置 Logstash ......................................................................................................................................... 14
安装 Logstash forworder ........................................................................................................................ 15
Logstash 插件 ......................................................................................................................................... 15
安装 Kibana ........................................................................................................................................... 17
配置 Kibana ........................................................................................................................................... 18
运行 Kibana ........................................................................................................................................... 18
Kibana 的界面 ....................................................................................................................................... 19
总结 ......................................................................................................................................... 22
2 构建第一条 ELK 数据管道 ........................................................................ 23
输入的数据集 ......................................................................................................................... 23
输入数据集的数据格式 ........................................................................................................................ 23
配置 Logstash 的输入 ............................................................................................................ 25
过滤和处理输入数据 ............................................................................................................. 26
将数据存储到 Elasticsearch ................................................................................................... 29
使用 Kibana 可视化 ............................................................................................................... 32
运行 Kibana ........................................................................................................................................... 32
Kibana 可视化组件 ............................................................................................................................... 34
构建折线图 ............................................................................................................................................ 35
构建柱状图 ............................................................................................................................................ 36
构建度量 ................................................................................................................................................ 37
构建数据表 ............................................................................................................................................ 38
总结 ......................................................................................................................................... 40
3 使用 Logstash 采集、解析和转换数据 ..................................................... 41
配置 Logstash ......................................................................................................................... 41
Logstash 插件 ........................................................................................................................ 42
列出 Logstash 的所有插件 .................................................................................................................... 42
插件属性的数据类型 ............................................................................................................................ 43
Logstash 条件语句 ................................................................................................................................. 44
Logstash 插件的类型 ............................................................................................................................. 46
总结 ......................................................................................................................................... 72
目录
【IX】
4 创建自定义 Logstash 插件 ....................................................................... 73
Logstash 插件管理 ................................................................................................................. 73
插件生命周期管理 ................................................................................................................. 74
安装插件 ................................................................................................................................................ 74
更新插件 ................................................................................................................................................ 75
卸载插件 ................................................................................................................................................ 75
Logstash 插件的结构 ............................................................................................................. 76
需要的依赖 ............................................................................................................................................ 77
类定义 .................................................................................................................................................... 78
配置插件名字 ........................................................................................................................................ 78
配置选项设置 ........................................................................................................................................ 78
插件方法 ................................................................................................................................................ 79
实现一个 Logstash 过滤器插件 ............................................................................................................ 81
构建插件 ................................................................................................................................................ 83
总结 ......................................................................................................................................... 86
5 为什么需要 ELK 中的 Elasticsearch ......................................................... 87
为什么是 Elasticsearch ........................................................................................................... 87
Elasticsearch 的基本概念 ....................................................................................................... 88
索引 ........................................................................................................................................................ 88
文档 ........................................................................................................................................................ 88
字段 ........................................................................................................................................................ 89
类型 ........................................................................................................................................................ 89
映射 ........................................................................................................................................................ 89
分片 ........................................................................................................................................................ 89
主分片和副本分片 ................................................................................................................................ 89
集群 ........................................................................................................................................................ 90
节点 ........................................................................................................................................................ 90
探索 Elasticsearch API ........................................................................................................... 91
列出所有可用索引 ................................................................................................................................ 92
列出集群中的所有节点 ........................................................................................................................ 93
检查集群的健康状态 ............................................................................................................................ 93
Learning ELK stack（中文版）
【X】
创建索引 ................................................................................................................................................ 94
检索文档 ................................................................................................................................................ 95
删除文档 ................................................................................................................................................ 96
Elasticsearch Query DSL ........................................................................................................ 97
Elasticsearch 插件 ................................................................................................................ 104
Bigdesk 插件 ........................................................................................................................................ 104
Elastic-Hammer 插件 .......................................................................................................................... 105
Head 插件 ............................................................................................................................................. 105
总结 ....................................................................................................................................... 106
6 使用 Kibana 理解数据 ............................................................................ 107
Kibana 4 的功能 ................................................................................................................... 107
搜索词高亮显示 .................................................................................................................................. 107
Elasticsearch 聚合 ................................................................................................................................ 108
衍生字段 .............................................................................................................................................. 108
动态仪表盘 .......................................................................................................................................... 108
Kibana 界面 .......................................................................................................................... 109
搜索页面 .............................................................................................................................................. 109
查询和检索数据 .................................................................................................................................. 111
总结 ....................................................................................................................................... 116
7 Kibana 可视化和仪表盘 .......................................................................... 117
可视化页面 ........................................................................................................................... 117
创建可视化 .......................................................................................................................................... 118
可视化的类型 ...................................................................................................................................... 118
度量和桶聚合 ...................................................................................................................................... 119
可视化 .................................................................................................................................................. 124
仪表盘页面 ........................................................................................................................... 129
创建新的仪表盘 .................................................................................................................................. 130
保存和加载仪表盘 .............................................................................................................................. 131
分享仪表盘 .......................................................................................................................................... 131
总结 ....................................................................................................................................... 132
目录
【XI】
8 构建完整的 ELK 技术栈 ......................................................................... 133
输入数据集 ........................................................................................................................... 133
配置 Logstash 输入 .............................................................................................................. 134
访问日志的 Grok 表达式 .................................................................................................................... 134
Kibana 可视化 ...................................................................................................................... 137
运行 Kibana ......................................................................................................................................... 137
在搜索页进行搜索 .............................................................................................................................. 139
可视化—图表 ...................................................................................................................................... 141
创建折线图 .......................................................................................................................................... 142
创建区域图 .......................................................................................................................................... 143
创建柱状图 .......................................................................................................................................... 144
创建 Markdown ................................................................................................................................... 145
仪表盘页面 .......................................................................................................................................... 146
总结 ....................................................................................................................................... 147
9 生产环境的 ELK 技术栈 ......................................................................... 149
防止数据丢失 ....................................................................................................................... 149
数据保护 ............................................................................................................................... 150
系统可扩展性 ....................................................................................................................... 152
数据保留 ............................................................................................................................... 153
ELK 技术栈实施案例 .......................................................................................................... 153
LinkedIn 的 ELK 技术栈 ..................................................................................................................... 153
SCA 使用 ELK 的案例 ........................................................................................................ 156
SCA 如何使用 ELK ............................................................................................................................ 157
如何帮助分析 ...................................................................................................................................... 157
SCA 使用 ELK 做监控 ....................................................................................................................... 158
Cliffhanger Solutions 使用 ELK 的案例 .............................................................................. 158
Kibana 示例——Packetbeat 仪表盘 .................................................................................... 160
总结 ....................................................................................................................................... 163
10 扩展 ELK .............................................................................................. 165
Elasticsearch 插件和工具 ..................................................................................................... 165
Learning ELK stack（中文版）
【XII】
用于索引管理的 Curator ..................................................................................................................... 165
用于安全的 Shield ............................................................................................................................... 167
用于监控的 Marvel ............................................................................................................................. 169
ELK 的路线图 ...................................................................................................................... 172
Elasticsearch 路线图 ............................................................................................................................ 172
Logstash 路线图 ................................................................................................................................... 172
Kibana 路线图 ..................................................................................................................................... 173
总结 ....................................................................................................................................... 174