亿级 ELK 日志平台构建实践( 三 ) _日志平台

启动通过 -d 来后台启动
$ ./bin/elasticsearch -d打开网页 http://192.168.0.1:9200/, 如果出现下面信息说明配置成功
{name: "es-node1",cluster_name: "es",cluster_uuid: "XvoyA_NYTSSV8pJg0Xb23A",version: {number: "6.2.4",build_hash: "ccec39f",build_date: "2018-04-12T20:37:28.497551Z",build_snapshot: false,lucene_version: "7.2.1",minimum_wire_compatibility_version: "5.6.0",minimum_index_compatibility_version: "5.0.0"},tagline: "You Know, for Search"}控制台Cerebro 这个名字大家可能觉得很陌生，其实过去它的名字叫 kopf ！因为 Elasticsearch 5.0 不再支持 site plugin，所以 kopf 作者放弃了原项目，另起炉灶搞了 cerebro，以独立的单页应用形式，继续支持新版本下 Elasticsearch 的管理工作。

文章插图

注意点

Master 与 Data 节点分离，当 Data 节点大于 3 个的时候，建议责任分离，减轻压力
Data Node 内存不超过 32G，建议设置成 31 G，具体原因可以看上一篇文章
discovery.zen.minimum_master_nodes 设置成（ total / 2 + 1 ），避免脑裂情况
最重要的一点，不要将 ES 暴露在公网中，建议都安装 X-PACK，来加强其安全性

kibana下载$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-darwin-x86_64.tar.gz解压$ tar -zxvf kibana-6.2.4-darwin-x86_64.tar.gz$ mv kibana-6.2.4-darwin-x86_64.tar.gz kibana修改配置$ vim config/kibana.ymlserver.port: 5601server.host: "192.168.0.1"elasticsearch.url: "http://192.168.0.1:9200"启动 Kibana$ nohup ./bin/kibana &界面展示创建索引页面需要到 Management -> Index Patterns 中通过前缀来指定

文章插图

最终效果展示

文章插图

总结综上，通过上面部署命令来实现 ELK 的整套组件，包含了日志收集、过滤、索引和可视化的全部流程，基于这套系统实现分析日志功能。同时，通过水平扩展 Kafka、Elasticsearch 集群，可以实现日均亿级的日志实时处理。
来源：https://blog.51cto.com/13527416/2117141