搜索
芒果TVELK日志系统实践关于我刘波涛芒果TV研发工程师日志文件重要性Linux哲学:万物皆文件运维哲学:日志管理是保障高质量服务的基础日志架构演变日志系统架构ELK系统架构RsyslogNginx：通过syslog模块转发应用程序:通过调用syslog函数写入规范统一格式v8版本以上(原生支持Kafka)Rsyslog-Avoid-Block关闭HUPIsRestart配置选项(低版本)监控rsyslog服务,一旦crashes能够马上重启传输方式由TCP改为UDP(恶性循环)Kafka强大消息堆积能力日志领域高度成熟支持Hadoop数据并行加载高性能(顺序写单机写入TPS约在百万秒/s)KafkavsRedisKafka-OptionsPartitionNumber(数量必须大于消费者数量)BrokerNumber(配置和内核数相同)num.network.threadsnum.io.threadsLogstashLogstash性能问题,大量消耗CPU和内存容易僵死自定义JAVA程序替代Logstash(支持kafka,syslog输入,ES输出)启动多个进程进行消费配置Elasticsearch以写为主,读为辅助(随机写磁盘瓶颈使用SSD替代传统硬盘)增加Index.refresh_interval时间(默认为一秒),降低压力设置filedldata:format:doc_value避免Heapcrash减少副本数量(副本数为0)合理使用TCP,UDP索引模式(我们使用Http模式)关闭系统swap内核配置修改对数据聚合进行处理string2int定时删除旧索引(保存2个星期)服务器参数调整net.ipv4.tcp_fin_timeout=30net.ipv4.tcp_keepalive_time=1200net.ipv4.tcp_syncookies=1net.ipv4.tcp_tw_reuse=1net.ipv4.tcp_tw_recycle=1net.ipv4.ip_local_port_range=102465000net.ipv4.tcp_max_syn_baklog=8192net.ipv4.tcp_max_tw_bukets=5000TCP参数调整Linux的最大文件数ulimit-SHn65535磁盘如果util接近100%则说明产生的I/O请求太多,I/O系统已经满负载磁盘可能存在瓶颈如果idle小于70%,I/O的压力比较大,说明读取进程中有较多的waitiostatvmstat2查看b堵塞进程情况vmstat磁盘#fio-filename=/dev/sda3-direct=1-iodepth1-thread-rw=randrw-ioengine=psync-bs=1k–size=1G-numjobs=10-runtime=120-group_reporting-name=mytest检查磁盘性能Elasticsearch自定义分词:尽量不使用标准分词使用ikMapping:压缩_source(compress:true)Mapping:禁用all(include_in_all:false)ES_HEAP_SIZE:-Xms=-Xmx不超过内存50%index.cache.field.type=softindex.cache.field.max_size:50000index.cache.field.expire:10mindex.fielddata.cache:softElasticsearchSSD优化参数mmap索引文件格式(index.store.type:mmapfs)indices.store.throttle.type:noneindices.memory.index_buffer_size:30%index.translog.flush_threshold_size:5gbindex.translog.flush_threshold_ops:500000index.gateway.local.sync:30sindex.merge.scheduler.max_thread_count:3index.merge.scheduler.max_merge_count:6关闭文件系统ATIME（atimeoff）磁盘RAID0KibanaK3VSK4原生VS自定义可视化监控报警Nginx5xx/sMysql慢日志、错误日志Redis慢日志、错误日志程序错误日志DNS劫持统计报表Nginx响应时间Nginx正常响应占比NginxQPS统计CDN视频流加载时间搜索引擎生成热门搜索统计搜索转化率调整搜索权重感谢关注和支持