搜索
ELKPacketbeat网络数据监控提纲ELK基础知识Packetbeat知识介绍Watcher知识介绍业内大数据分析系统调研ElasticSearch特点ElasticSearch是一个基于ApacheLucene的开源数据搜索引擎，它的特点有：实时：可以进行实时的数据搜索和分析分布式：分布式文件存储，并将每个字段都编入索引RESTfulAPI：对外提供一系列基于JAVA和HTTP的API，用于索引、查询、修改大多数配置JSON：输入输出格式为JSON，快捷方便多租户：可根据不同用途分索引，同时操作多个索引ElasticSearch使用案例维基百科使用Elasticsearch来进行全文搜索并高亮显示关键词，以及提供search-as-you-type、did-you-mean等搜索建议功能。英国卫报使用Elasticsearch来处理访客日志，以便能将公众对不同文章的反应实时地反馈给各位编辑。StackOverflow将全文搜索与地理位置和相关信息进行结合，以提供more-like-this相关问题的展现。GitHub使用Elasticsearch来检索超过1300亿行代码。每天，GoldmanSachs使用它来处理5TB数据的索引，还有很多投行使用它来分析股票市场的变动。ElasticSearch安装ES的安装很简单，可参考官网服务启动后测试下是否运行正常：head插件：elasticsearch/bin#./plugininstallmobz/elasticsearch-headKopf插件：elasticsearch/bin#./plugininstalllmenezes/elasticsearch-kopfElasticSearch插件安装ES插件，来查看集群状态、查看数据信息等。Logstrash简介Logstash是一个接收，处理，转发日志的工具，由Jruby语言编写，并运行在Java虚拟机上。在Logstrash的生态系统中主要分为4大组件：Shipper：日志收集者。负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，输出到Redis暂存。BrokerandIndexer：接受并索引化事件SearchandStorage：允许对时间进行搜索和存储WebInterface：基于WEB的展示页面Logstrash简介Logstash使用管道方式进行日志的搜集处理和输出。主要做3件事：Collect：数据输入Enrich：数据加工，如过滤，改写等Transport：数据输出Kibana介绍Kibana是一个使用Apache开源协议，基于浏览器的Elasticsearch分析和搜索仪表板。Kibana安装配置Kibana安装比较简单，可参考官网默认情况下，Kibana会连接运行在localhost的Elasticsearch。要连接其他Elasticsearch实例，修改kibana.yml里的ElasticsearchURL，然后重启Kibana。从Kibana访问Elasticsearch索引的配置方法1.配置包含时间戳的索引：可以用来做基于时间的处理2.索引定期生成且索引名中包含时间戳：提高搜索性能，Kibana会至搜索你指定的时间范围内的索引。Kibana-Discover在Discover页交互式探索数据。你可以访问到所匹配的索引模式的每个索引的每条记录。你可以提交过滤搜索请求，然后查看文档数据。你还可以看到匹配搜索请求的文档总数，获取字段值的统计情况。如果索引模式配置了时间字段，文档的时序分布情况会在页面顶部以柱状图的形式展示出来。Kibana-Discover在Discover页提交一个搜索，你就可以搜索匹配当前索引模式的索引数据了。可以直接输入简单的请求字符串，也就是用Lucenequerysyntax，也可以用完整的基于JSON的ElasticsearchQueryDSL。简单文本搜索：直接输入文本字符串搜索特定字段中的值：格式：字段名:值搜索值的范围：格式：字段名:【start_valueTOend_value】指定复杂搜索标准：使用布尔操作符AND，OR，NOTkibana-Visualize你可以用Visualize页来设计可视化。可以保存可视化或者合并到dashboard里。创建一个新的可视化：第一步：选择一个可视化的类型：区块图、折线图等第二步：选择数据源：可以选择新建或者读取一个已保存的搜索，作为你可视化的数据源。第三步：可视化编辑器kibana-Visualize-区块图Y轴是数值维度，有以下聚合可用Count:返回元素的计数Average：返回一个数值字段的平均值Sum：返回一个数值字段的总和Median：返回一个数值字段的中间值Min：返回一个数值字段的最小值Max：返回一个数值字段的最大值UniqueCount：返回一个数值字段的去重数值Percentiles：返回一个数值字段的百分比分布图形的X轴是buckets维度，指明从你的数据集中将要检索什么信息，支持以下聚合DateHistogram:基于时间的展示Histogram：基于数值字段创建，指定数值间隔Range：基于数值字段创建，指定一系列区间DateRange：基于时间创建，指定时间区间IPv4Range：基于IPv4创建，指定IPv4区间Terms：展示一个字段的元素值Filters：添加过滤器SignificantTerms：展示实验性聚合结果kibana-Visualize-区块图kibana-Visualize-区块图kibana-Visualize-折线图kibana-Visualize-表格数据定义metrics表格列，定义buckets来切割表格成行kibana-Visualize-Metric为你选择的聚合显示一个单独的数字kibana-Visualize-饼图饼图的分片大小通过metrics聚合定义。这个维度可以支持以下聚合：Count:返回元素的计数Sum：返回一个数值字段的总和UniqueCount：返回一个数值字段的去重数值buckets聚合指明从你的数据集中将要检索什么信息。kibana-Visualize-饼图kibana-Visualize-竖条图kibana-Visualize-地图地图显示一个由圆圈覆盖着的地理区域。这些圆圈则是由你指定的buckets控制地图使用Geohash聚合作为他们的初始化聚合。从下拉菜单中选择一个坐标字段。Precision滑动条设置圆圈在地图上显示的颗粒度大小。一旦你定义好了一个X轴聚合。你可以继续定义子聚合来完善可视化效果。kibana-Dashboard一个Kibanadashboard能让你自由排列一组已保存的可视化。然后你可以保存这个仪表板，用来分享或者重载。简单的仪表板：用户可以对仪表板做多样化操作：1.添加可视化到仪表板2.保存仪表板3.加载已保存的仪表板4.定义仪表板元素5.移动容器6.改变容器大小7.删除容器8.修改可视化9.分享仪表板并嵌入到其他用户的仪表板中ELK套装logstashagent监控并过滤日志，将过滤后的日志内容发给redis(只处理队列不做存储)，logstashindex将日志收集在一起交给全文搜索服务ElasticSearch，通过Kibana结合自定义搜索进行页面展示提纲ELK基础知识Packetbeat知识介绍Watcher知识介绍业内大数据分析系统调研几种beats在生产环境中，数据搜索需求会更复杂一些，通过logstash写正则，实在是个费时费劲的事。而beats就比较简单高效。beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat：用来收集日志Topbeat：用来收集系统基础设置数据，如cpu、内存、每个进程的统计信息Winlogbeat：监控windows下面的日志信息Packetbeat：是一个网络包分析工具，统计收集网络信息。Packetbeat是网络协议抓包和处理的一个框架，用来嗅探和分析网络流量，关联他们到事物，并且使用Elasticsearch来分析，然后进行点对点查询。Packetbeat介绍Packetbeat的安装很简单，可参考官网配置文件：/etc/packetbeat/packetbeat.yml在ES中加载Packetbeat索引模板，执行命令curl-XPUT'@/etc/packetbeat/packetbeat.template.json启动Packetbeat：sudo/etc/init.d/packetbeatstartPacketbeat协议目前支持了常见的一些协议：ICMP、DNS、HTTP、MySQL、PostgreSQLRedis、Thrift-RPC、MongoDB、Memcache，也可进行协议的扩展。协议扩展开发可参考：://elasticsearch.cn/article/54在文件/etc/packetbeat/packetbeat.yml中可以注释某协议以禁用该协议，如果使用任何非标准的端口，也可进行添加。否则，为默认端口。Packetbeat介绍Packetbeat在kibana中的视图展示：基于Packetbeat创建TCP等协议可视化图表Packetbeat安装好后界面展示的是基于HTTP的应用层数据分析展示，在discover页面，可以看到Packetbeat提供的解析字段：transport和type可以获取到udp、tcp、icmp、dns协议数据，因此在创建绘图时可根据这两个字段帅选出并展示基础协议。具体方法可查看kibana章节基于Packetbeat创建TCP等协议可视化图表小结：由于目前Packetbeat中可添加的字段有限，绘制可视化图标展示也较粗糙，没有延迟、重传、地图、链接分析等相关统计提纲ELK基础知识Packetbeat知识介绍Watcher知识介绍业内大数据分析系统调研Watcher介绍Watcher是Elasticsearch的一个插件，提供警报和通知，并可定义基于数据的变化简单地定义一个条件，触发指定条件后Watcher会执行相关的警报和通知。几大功能特点：1.根据ES数据的变化自动触发通知如异常登录失败、应用程序响应时间高于平均值，或者发生意外错误时发送通知。2.主动监控Elasticsearch集群对接Watcher与Marvel服务。可以监控集群状态，如节点加入或离开集群，查询高峰，内存使用率太高时候可以发送通知。3.自定义通知可以轻松设置电子邮件通知，也可以既集成到第三方的监控服务，如通过Watcher发送警报给Nagios，PagerDuty等4.分析历史记录可以在Kibana服务中查询Watcher的历史触发记录,支持嵌套或者多级的通知5.高可用支持Watcher作为ElasticSearch集群的一部分运行，能够很好的应对部分硬件和网络故障。Watcher案例介绍配置流程：1.设置定时器和输入源