采集共享平台技术交流V2.1

采集共享平台技术交流2012-04行业解决方案部ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.目录系统特性与功能2成功案例介绍4现状分析及解决方案31系统运行平台33亿阳优势35数据消费情况没有有效管理手段，不支持按需采集；各专业分别建设采集平台，容易造成对网元的重复采集；原有专业采集机普遍采集小型机硬件架构，资源利用率低，且对硬件和机房要求高。集团对上报数据的时延要求在不断提升，同时省端用户对生成及时报表的速度也不满意。需要从采集速度、接入速度两个方面提升现有采集系统的效率。各专业分别开发采集程序，造成采集程序、数据、设备分散，网元访问频繁，网元安全无法保障，管理维护岗位重复设置，缺乏集中的维护监控手段。缺少采集数据质量监控的手段，当采集数据不及时、不准确时，无法及时自动发现，采集问题难以定位，采集过程、算法不透明。采集任务为静态负载分配，当某采集机出现故障，没有自动恢复能力。OSS采集系统现状及问题综合监控数据库数据库数据库MQESBMQ+FTPODBC/JDBCWebService综合网分无线网优综合资源数据库数据性能采集话音性能采集传输性能采集话音资源采集传输资源采集数据资源采集数据业务采集数据采集所面临的突出问题采集处理能力无法平滑扩展，新增的采集机需要手工部署相应的采集程序及调试。升级割接过程存在影响现网业务的风险。系统扩展能力不强系统可靠性低采集资源浪费采集效率有待提高采集管理维护困难采集质量无法保障用户对采集层数据的开放管控要求越来越高，需要采集系统具有统一的北向数据服务接口，面向各应用系统提供灵活的数据采集定制功能。数据开放共享问题采集共享平台定位在集团公司CMOSS2.0规划中的位置与其它系统间的关系联机指令平台综合监控综合资源综合分析无线网优无线、交换、数据、传输网元、动环。。。Telnet/sshsocketFTPDB。。。POP3SMTP采集共享平台数据管控平台ESB数据服务总线安全管控平台Telnet/sshTelnet数据质量监控指标管理实现话务、网优、传输网等网元资源、性能的统一采集、统一管控、统一共享。采集共享平台解决方案采集共享平台统一共享统一采集统一管控接入各种接口设备，灵活的扩展性全专业数据接入，全面的数据集合支持第三方适配器插件，提高开放性更合理的采集策略和并行度，采集执行效率提升支持云计算技术，突破硬件采集瓶颈管理采集能力伸缩动态负载均衡指标算法可视化采集流程透明化数据质量监控按需采集统一的北向接口一次采集多处复用（数据开放性）网元采集能力提升质量保障能力提升数据共享能力提升共享性：采集共享平台不针对特定的应用进行采集，而是具备数据开放共享能力，同一个采集机可以同时支撑不同应用的数据需求。支持超大规模数据采集：多服务器并行处理，实现海量数据的并行采集，提升采集效率。高扩展性：采集机可以平滑伸缩，通过采集机管理功能，满足应用和用户规模伸缩的需要。高可靠性：通过采集机同构、互换能力及任务转移等措施来保障采集服务的高可靠性和容错能力。按需服务：采集共享平台可实现按需采集，采集平台处理能力可根据负载进行调整，克服采集资源浪费的问题。低成本：由于采集共享平台特殊容错措施可以采用廉价的服务器来构成采集平台，采集机的自动化集中式管理降低整体采集维护成本，采集机的共用性使利用率较之传统分散采集系统大幅提升。管理功能：实现采集处理资源统一的管理与配置，提供平台的可管理性。采集共享平台特性ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.本期建议的管理范围本期管理范围建议：话务网管现网2G/TD设备数据采集配置数据采集性能数据采集无线网优现网2G/TD无线设备数据采集配置数据采集性能数据采集参数数据采集MR数据采集传输网管现网SDH/WDH/PTN/OTN/PON设备数据采集配置数据采集性能数据采集告警数据采集数据网现网业务数据业务数据采集ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.目录系统特性与功能2成功案例介绍4现状分析及解决方案31系统运行平台33亿阳优势35采集共享平台功能架构采集适配•采用协议适配完成和各设备接口的协议转换•通过采集适配完成对数据的格式化、不发生时间、空间粒度变化的处理•支持采集机分布部署接入管理、策略管理•配置策略从而控制生成采集任务•适配器管理和采集源接入任务管理采集适配器•将通过多种共享接口一起，实现对综合分析、综合资源、综合监控等上层应用的数据支撑数据共享系统自身管理•对适配器、采集源信息的管理•对系统运行情况监控、维护•数据质量监控对外接口•采集监控状态信息、自身告警•获取指标算法的元数据信息•获取访问设备的认证信息采集适配器1适配器北向接口数据解析数据获取采集适配器2采集适配层CORBA接口适配适配器北向接口数据解析检测FTP接口适配数据获取采集适配器3（被动接收）适配器北向接口数据解析数据获取SNMPTRAP接口适配采集适配器N适配器北向接口数据解析…………应用功能层指标算法管理导入导出指标核查指标算法设置指标算法分析负载均衡管理采集机管理采集任务管理采集状态监控系统自身管理对外接口系统运行监控系统运行维护字典数据管理用户管理日志管理元数据接口数据质量接口自身告警接口安全管理平台接口算法修改历史查询备份和还原采集策略管理策略设置策略查询策略存储补采策略设置采集接入管理适配器管理采集单元设置适配器装载数据共享管理数据消费者管理数据消费者授权数据订阅保存数据分发数据消费查询数据重传数据质量管理数据质量监控数据质量分析数据质量报表数据补采问题辅助定位告警转发设置设备割接处理指标检索数据质量阀值设置北向接口适配负载均衡管理•实现对采集机的管理•实现负载均衡的任务分配应用功能层•实现指标算法管理•实现数据质量管理ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.采集共享平台特性－扩展能力综合监控综合资源综合分析无线网优无线、交换、网优、数据、传输网元。。。Telnet/sshsocketFTPDB。。。POP3SMTP采集共享平台ESB数据服务总线Telnet硬件基础架构实现采集处理能力的灵活伸缩通过适配器管理实现采集范围的扩展通过采集机管理实现采集处理性能的扩展集中管理采集源和策略管理机采集机1采集机2采集机n通过适配器管理实现采集范围的扩展适配器适配器适配器适配器适配器管理ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.采集共享平台特性－扩展能力综合监控综合资源综合分析无线网优无线、交换、网优、数据、传输网元。。。Telnet/sshsocketFTPDB。。。POP3SMTP采集共享平台ESB数据服务总线Telnet共享的硬件基础架构实现采集处理能力的动态伸缩通过适配器管理实现采集范围的扩展通过采集机管理实现采集处理性能的扩展集中管理采集源和任务策略管理机采集机1采集机2适配器适配器适配器适配器适配器适配器适配器适配器适配器添加采集机扩展采集性能采集机n适配器适配器适配器实现采集能力的扩展采集机管理ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.采集共享平台特性－扩展能力可通过灵活配置方式，添加采集机，避免手工静态部署，实现采集处理能力的平滑扩展；可通过采集源、适配器的灵活配置，实现采集范围的灵活扩展；通过集中方式管理采集源和任务策略；扩展后的采集机具有对等性和可互换能力。采集源管理采集策略管理ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.采集共享平台特性－高性能监测调度部署策略数据、策略、脚本自身管理界面网优采集机传输网管采集机投入运行的采集服务器服务器资源采集平台管理传统模式多采集机并行模式应用1应用2应用3话务网管采集机•动态负载均衡•灵活配置采集策略，充分利用采集机•平滑扩展，突破性能瓶颈并行模式•静态的任务分配模式，设备负载不均衡。•由于扩展能力的限制，添加采集机部署工作复杂。•由于采集数据周期性的特点，采集设备性能不能充分发挥。•提高性能的代价很高传统采集系统采取烟囱式的模式独立建设基础平台以多采集机并行处理模式实现采集处理高性能话务采集/传输采集/网优采集ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.采集共享平台特性－高性能负载均衡根据均衡策略分配任务，以保证系统资源的最大利用率；根据采集机能力、采集机负荷、正在运行任务量、待分发任务量进行计算，进行任务分发（后续考虑任务权重）；支持任务定向、非定向分发；213414243321561任务分发任务队列我忙碌，我快乐我忙碌，我快乐我忙碌，我快乐我忙碌，我快乐NODE_3NODE_2NODE_1NODE_4负载监控自身监控ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.采集共享平台特性－高性能采集平台系统采集能力测试结果测试1：相同硬件环境下，采集平台（Gcp6.1版本）采用单进程模式部署与原采集系统比较：性能提升：28.05%；负荷降低：27.48%；采集吞吐量：多处理4套Corba接口采集（18个RNC，6301小区）。测试结论：在相同部署环境和部署方式下，采集平台软件的采集性能、采集吞吐量明显提升，但对硬件处理能力的消耗明显下降。测试2：相同硬件环境的条件下，采集平台（Gcp6.1版本）采用2个进程模式部署与原采集系统比较：性能提升：73.32%;负荷上升：30.01%;采集吞吐量：达到原采集系统的两倍。测试结论：在相同部署环境下，采用并行处理的部署方式，可提高设备的利用率。即在负荷小幅提升的情况下，采集平台软件的采集性能、采集吞吐量将大幅提升。优化采集机计算能力采用进程内内存计算技术，提升处理效率；优化了数据装载机制，只装载有用字段，降低内存占用量，提高装载速度；自动分析关联条件创建索引，提高计算速度；采集效率大幅提升ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.采集共享平台特性－高可靠性故障监控：可实现运行负荷监控可实现自身状态监控可实现任务负载均衡心跳机制故障恢复：采集机功能对等采集机平滑伸缩失败任务的恢复任务缓存容错能力：采集补采策略北向重传策略运行负载监控自身状态监控任务负载均衡ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.采集共享平台特性－高可靠性失败任务的恢复实时监听采集机心跳信息，监控采集机负荷，判断采集机状态。采集机宕机后，未执行完任务重新分发；•采集机失败任务转移采集机发生故障时，未分发的任务不再向本节点进行分配采集机死亡后，已分配到该采集机上的任务将自动转移到正常采集机上重新运行。•采集机故障通知采集机发生故障时，可配置采集机故障发送，以消息的形式发送给第三方系统，及时通知运维人员干预。24315665111任务分发任务队列我忙碌，我快乐我忙碌，我快乐我忙碌，我快乐我忙碌，我快乐我出故障了NODE_3NODE_2NODE_1NODE_4NODE_1出现了故障，不再向这个节点分配任务NODE_1出现了故障，已分配到上上面的任务1将会重新进入队列，重新选择正常节点执行故障恢复：采集机功能对等采集机平滑伸缩失败任务的恢复任务缓存ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.采集共享平台特性－高可靠性容错能力：采集补采策略北向重传策略采集补采策略北向重传策略Confident