搜索
OneAPM智能运维平台解决方案——用人工智能点亮您的IT数据议题1从人工到人工智能3迈出AIOps的第一步2用人工智能点亮您的IT数据议题从人工到人工智能3迈出AIOps的第一步2用人工智能点亮您的IT数据当前运维和业务团队面临的困境不是没有数据，而是数据太多不是不想分析，而是无从下手从人工到人工智能•挖掘海量数据的业务价值•统一大数据分布式处理技术•智能算法与机器学习•业务系统将要发生什么？•主动响应的预防预测性管理•降低系统低效对业务的影响•多种分散独立监控工具•专业化专家型人才•业务系统已经发生了什么？•被动响应的故障恢复性管理人工运维AIOps什么是AIOpsAIOps，即基于人工智能的IT运维（ArtificialIntelligenceforITOperations），是由Gartner定义的IT运维管理新类别。AIOps将服务管理、性能监测、自动化结合在一起，以实现持续洞察和改进的目标，并由大数据和机器学习技术进行支撑。机器学习大数据平台AIOps商业价值监测（观察）服务管理（交互）自动化（行动）持续察洞持续洞察持续洞察FromGartner’sReportAIOps的四个核心能力对海量数据进行存储通过智能算法在数据提取时和存储后进行分析从不同的数据源中获取数据对海量数据进行高效访问AIOps的技术栈可视化机器学习算法分析计算大数据数据源事件日志监控工单任务•全量，海量，多样性，复杂性IT数据•集中统一管理，历史数据存储，实时数据存储•数据建模，模式识别，趋势识别，故障隔离•智能化选择，异常检测，异常定位，根因分析•算法自我修改演进，新算法创建•多维度，个性化，角色化，场景化展示•数据清洗，去重，过滤，关联，生成新数据AIOps的核心价值故障发现故障规避故障止损故障修复AIOps将在5-10年内成为ITOM的主流技术FromGartner’sReport议题1从人工到人工智能3迈出AIOps的第一步用人工智能点亮您的IT数据OneAPM智能运维平台解决方案服务器数据存储数据网络数据应用数据用户体验数据流量数据日志数据交易数据任意IT数据OneAPMAIOps大数据实时多维分析机器学习大规模事务处理海量数据实时接入服务分析深度挖掘场景可视化多维指标告警数据建模OneAPM智能运维平台的五个能力层次发现接入存储整合梳理关联智能分析多维展示从哪里来到哪里去IT数据全栈IT数据发现与接入篇全栈IT数据的采集范围监控对象采集数据IT系统客户端数据库虚拟化中间件SaaS传统架构业务层应用软件层基础设施层业务系统云架构硬件设备PaaSIaaS交易业务流程浏览器移动APP应用/微服务应用代码数据库服务中间件服务网络流量包日志虚拟化网络主机机房环境•交易量•交易金额•交易成功率•页面加载时间•浏览器类型•用户IP•页面加载错误率•CDN质量•应用响应时间•应用吞吐量•应用错误率•单个服务响应时间•单个服务吞吐量•单个服务错误率•交易错误率•交易处理时间•……•APP页面响应时间•APP崩溃率•APP网络请求时间•APPH5页面性能•JVM内存利用率•服务器时延•SQL语句执行时间•连接池数量•缓冲区命中率•告警•……•虚拟机数量•主机数量•CPU利用率•内存利用率•丢包率•平均建链时间•网络流量•磁盘可用容量•电源•处理器•配置项•……业务逻辑IT资产库CMDB全栈IT数据的采集方式IT数据SNMP、IPMI、WMI、SMI-S、JMX、GlassFish、JDBC、SSH、Telnet等Java、.Net、PHP、Python、Ruby、Node.js、Andriod、iOS等Rsyslog、NXlog、Kafka、SDK、RestfulAPI等SFLOW、NETFLOW、IPFIX、SPAN、RSPAN、ERSPAN等StatsD、WebService、JSON等URL、Host、Port、HTTP、RTSP、RTMP等IT数据采集方式的选择采集方式适用场景基础监控协议IaaS、PaaS层，服务器、网络、存储、操作系统、中间件、数据库、应用进程，物联网传感器等网络及协议可达的IT资源状态和可用性指标数据采集网络流量采集提取网络包中携带的网络性能、用户体验、应用性能、交易等数据日志采集收集系统、应用、业务等日志，进行事件、告警、交易等任意可标识信息的采集分析字节码探针浏览器、移动APP用户体验数据采集，探针兼容的（Java、.Net、PHP等解释型语言开发）应用系统的代码性能数据采集，应用调用链路追踪数据采集模拟拨测通过定时任务模拟用户访问和系统调用，主动探测应用服务的可用性指标采集SDK/API可根据数据采集（任意数据、任意格式）需要，在应用开发过程中调用SDK和接口采集数据与已有ITOM工具的对接JDBC，SNMPTRAP，WebService，……OneAPMAIOps海量数据处理与存储篇海量IT数据处理的挑战数据规模•高并发总量大•种类多样•格式各异•毫秒级延时•秒级处理响应•逻辑复杂实效海量IT数据处理平台指标、交易、详情指标、事件历史大数据服务API网关搜索服务消息服务交易关联/拼接服务/异常检测服务等历史数据处理实时数据处理数据采集器数据采集器数据采集器指标、事件、日志、交易、详情、流量业务交易、指标、告警、详情时间序列实时数据服务指标、事件、日志、交易、详情、流量业务交易、指标、告警、详情数据接入数据处理数据存储AgentSNMPECHOIPMISDKFLOWLOG开发运维业务海量IT数据处理平台的能力OneAPMAIOps实时数据管理Streamingdatamanagement历史数据管理Historicaldatamanagement指标数据管理Metricdataingestion文本数据管理Documenttextingestion日志数据管理Logdataingestion流量数据管理Wiredataingestion•通过NLP（自然语言处理）技术，对人类可读文档进行解析•从网络上直接捕获的数据包，兼容多种网络协议•任何软硬件设备生成的日志数据，并为访问分析建立索引•对实时数据进行标准化和索引化，以时间尺度实时展示数据•吸纳海量多样化历史数据，并进行索引和持久存储•直接捕获和使用数值型数据，例如时间序列数据IT数据梳理与关联篇通过数据模型（DataModule）梳理IT数据CPU利用率%数据库服务错误数数据库服务请求数数据库平均响应时间数据库死锁率内存空闲率%存储空闲率%数据库连接池利用率%数据库服务健康指数JDBCSNMP数据库实例操作系统主机应用指标及阈值接口/协议依赖关系/拓扑数据模型DataModule开箱即用的数据模型和自定义扩展应用服务器关系型数据库存储操作系统Web服务器虚拟化应用性能管理用户体验管理开箱即用扩展自定义新增指标及阈值新增接口/协议修改依赖关系/拓扑自定义指标及阈值自定义接口/协议自定义依赖关系/拓扑数据模型DataModule深度挖掘多个指标对于服务质量的影响数据库服务数据库服务的KPI数据库服务错误数存储空闲率%数据库平均响应时间服务健康指数数据库服务请求数内存空闲率%CPU利用率%开启深度挖掘分析严重严重严重重大正常正常正常服务分析深度挖掘%%如何从IT数据中获得洞察？人工智能算法与分析篇结合领域知识的人工智能算法人工智能算法聚类、决策树、随机森林、卷积神经网络运维领域知识异常检测、多维分析、根因分析、故障预测行业运维经验金融、运营商、互联网、政府、大型企业AIOpsOneAPM人工智能算法与分析平台基础数据层机器学习算法层RMDB事件指标日志工单作业监控MQNoSQLTSDBHDFSMPPDBARIMA卡尔曼时序数据分解Holt-Winters奇异谱变换（SST）DiDDBSCANPearson关联分析J-MeasureTwo-sampletestAprioriFP-Growth分类聚类决策树逻辑回归DNNCNNLSTM/RNNNLPAIOps算法层指标分布预测指标聚类KPI联动分析KPI事件关联日志事件序列提取日志事件模板提取技术能力层数据源异常标记单指标异常检测多指标异常检测关联分析故障拓扑图故障树根因分析调用链告警压缩单故障止损灰度版本止损配置优化成本分析容量规划资源调度发现问题定位问题解决问题其他应用层自适应异常检测多维异常问题定位故障根因分析异常预测什么是KPI异常检测KPI（KeyPerformanceIndicator）：用于反映服务的健康程度。•如：服务请求数、拒绝数、响应时间、流、订单等•如：服务CPU、内存、络、磁盘等KPI异常行为：潜在的风险、故障、bugs、攻击......KPI异常检测：用于识别KPI时序曲线上的异常行为。•及早发现风险，防止其发展为故障•及时发现故障，进行止损、诊断和修复•运维的重要基础OneAPM自适应KPI异常检测的特点普适性检测算法动态基带算法，适用更多不同特点曲线基于迁移算法学习，自动适配场景变化依据反馈，对算法和参数进行优选，减少人工干预对比14种常用检测算法，准确度排名第一算法自我容错场景动态适配异常精准检测OneAPM自适应KPI异常检测结果展示某大型互联网公司的KPI检测效果什么是多维分析关键指标属性1属性2……属性n交易时间、失败率、闪退率、销售额、订单数、PV、转化率、用户数、用户增速、留存率、投诉率......运营商、省份、城市、移动设备类型、软件版本号、移动端模块、浏览器版本、无线网络参数、服务器端模块、后台负载、用户年龄、用户性别......发现业务“关键指标KPI”瓶颈，为正确决策提供依据。例:“响应时间”在什么条件下会慢？OneAPM多维异常问题分析的特点自动识别瓶颈条件基于决策树分析，从大量多维度数据中，自动确定影响属性基于历史数据的AB测试，在历史数据中对比实验组和对照组的性能差别，预测可能的优化方案效果预测优化效果便捷的可视化系统，人员可对过程和结果进行核对，排除可能的干扰数据，重新分析，得到正确结果过程和结果可视化OneAPM多维异常问题分析结果展示如何从IT数据中获得洞察？多维数据场景展示篇面向场景的多维数据分析和可视化场景化和可视化封装什么人什么时间什么问题如何处理面向不同场景的多维仪表盘面向不同场景的多维指标告警选择KPI所属和影响的服务服务所选服务包含的KPI选择的KPI组合得分：范围：严重0-20，重大20-40，次要40-60，低等60-80，正常80-100正常多KPI告警设置当多指标组合得分超过告警触发条件时，关联搜索将被执行面向不同人员的场景可视化示例OneAPM智能运维平台解决方案的特点10亿+条事件分析，单服务器处理时间小于10秒快85%数据存储压缩比，每秒处理十万条记录，仅需一台4核普通配置虚拟机低多指标联动分析，针对不同人员的场景可视化展现炫全栈、全量数据采集，覆盖所有IT数据全无需外部专用数据库，数据存储没有时间限制无TCO，行业中最低总体拥有成本廉10分钟辅助根因分析，提升排障效率准自研大数据分布式计算框架、机器学习算法智AllITData，OneAnalyticsPlatform，MoreIntelligence议题1从人工到人工智能迈出AIOps的第一步2用人工智能点亮您的IT数据如果您认同以下问题，那么AIOps将非常适合您您已在使用一些运维工具，但它们分散独立，您总是需要在不同工具间来回操作您期望在更短的时间（如，30分钟）内定位故障发生根因您期望拥有自己的工作台，将职责范围内的信息聚焦在一个界面您总被不准确的告警信息所干扰，急切希望提升告警的准确度您觉得您的应用系统存在优化空间，却找不到优化的切入点您期望在故障发生前尽早发现系统潜在问题您期望能灵活的生成工作报表，并通过炫酷的大屏幕展示IT运维成果您期望通过更加智能便捷的工具，代替日常繁琐重复的基础工作自上而下的方法解决自下而上的问题要监控的服务是什么？有什么问题需要解决？服务由哪些组件组成？如何评价这个服务（KPI是什么）？明确每个KPI的数据来源展现平台价值通