搜索
东东东东2019/8/301北京东方国信电子有限公司联通统一经营信息服务平台东东东东2019/8/302交流内容介绍•东方国信简介•系统建设背景•系统的建设方案•数据仓库的建设•信息服务平台组成•数据挖掘•交流与探讨东东东东2019/8/303一、公司介绍-基本情况北京中关村科技园区高新技术企业信息产业部软件企业认定证书主要客户群：电信运营商人员结构：博士研究生：4%硕士研究生：16%本科生：70%其他人员：10%技术状况CRM/WorkFlowCallCenter/IVR/ACD/CTIOS:UNIX/WindowsDB:ORACLE/SYBASE/INFORMIX/SQLServerC++/DELPHI/JAVA/J2EE客户市场客户关系管理经营分析与决策支持计费帐务系统呼叫中心综合语音平台合作伙伴SAS/COGNOSSAP/SPSSIBM/MICROSOFT售前支持市场开拓产品营销产品开发产品测试质量管理服务体系工程实施客户保障辅助部门东东东东2019/8/304东方国信-市场情况客户关系管理经营分析与决策支持呼叫中心系统综合帐务系统综合语音平台长春办事处西安办事处内蒙办事处上海办事处办事处广州办事处办事处020406080100第一季度第三季度东部西部北部东东东东2019/8/305东方国信-质量保证软件设计及质量保证：严格、详细的需求调研采用标准化软件设计方案详细的文档要求版本控制软件测试（综合性/模块性）阶段性评定东东东东2019/8/306东方国信-服务体系公司的生存：产品-客户-服务工程实施前期现场勘测，取得客户的现场情况工程界面的细分多工程组的并行实施，核心技术人员综合支持工程文件的交换与认定现场培训售后服务培训计划支持电话/现场服务承诺产品升级与更新硬件-主机产品硬件-外设产品硬件-网络产品软件-数据库软件-中间件软件-统计分析东方国信客户服务中心客户关系管理系统综合计费帐务系统客户服务中心系统综合语音平台系统客户经营分析与决策支持东东东东2019/8/3071.联通公司面临的挑战2.联通对统一经营信息的基本需求3.统一经营信息服务平台建设的必要性二、系统建设背景东东东东2019/8/308WTO国外电信巨头行业背景—挑战市场东东东东2019/8/309三、系统建设方案•硬件组网方案图•主要服务器列表•系统实际的物理主机•系统外购软件物理承载•服务器处理性能指标–主机性能分析的一些知识–ODS/ETL服务器性能分析–DW/OLAP/WEB服务器性能分析•系统存贮容量要求–ODS存储容量要求数据仓库存储容量估算–整个数据仓库的容量东东东东2019/8/3010硬件组网方案图东东东东2019/8/3011主要服务器列表•按照完整的经营分析系统的建设，从逻辑上讲应用服务应包括：•ETL服务•ODS服务•DW服务•报表服务•OLAP服务•WEB服务•元数据信息服务•数据挖掘服务•元数据信息和数据挖掘服务功能可以考虑在二期建设完成，其它服务功能在一期开始建设。东东东东2019/8/3012系统实际的物理主机磁盘阵列磁带库DW服务器ETL服务器ODS服务器SwitchWEB/OLAP/报表服务器互为备份心跳线互为备份心跳线东东东东2019/8/3013系统外购软件物理承载•系统外购软件物理承载分布–DW/ODS/ETL服务器承载软件–数据库软件：如Oracle9i、SybaseASE+SybaseIQ–ETL软件：如CAAdvantageDataTransformer、InformaticaPowerMart–元数据管理软件：如CAAdvantageRepository•OLAP/WEB/报表服务器承载软件–OLAP软件：如CognosPowerPlayEnterpriseServer–WEB/报表软件：CognosImpromptuWebReport东东东东2019/8/3014服务器处理性能指标•服务器处理性能指标•服务器处理能力应以未来3-5年考虑，•到2003年底，全部业务的用户数估计达到250万，•以此计算ETL/ODS/DW服务器的TPMC值接近4万，•采用类似IBMM85或HPrp7410档次的小型机，比较符合未来发展的需要；•从功能上分析，报表/OLAP/WEB服务的处理能力应大于或等于ETL/ODS/DW服务器的TPMC值，•所以系统采用两台小型机来完成全部服务功能。东东东东2019/8/3015主机性能分析的一些知识•TPMC–衡量服务器处理处理能力（每秒钟处理事务的能力）–配置的操作系统–处理的数据–估算应用的事务要求，来反推主机的要求–主机TPMC值是通过实验手段取得的；•特定配置的主机硬件•特定配置的操作系统•特定配置的数据库系统•其配置中任何一项的变化都可能会对TPMC值有很大的影响•TPC-H–针对决策支持系统中的即席查询，应当采用TPC－H（每小时处理的性能）作为衡量主机处理能力的指标。这种指标处理是面向大量的即席查询和并发的数据修改操作。这种处理用户往往不知道要查询什么数据，不能对预见的数据进行优化工作。•TPC-R–它也是以每小时处理能力为计量单位的。这种指标是在用户知道要查询什么数据，并可以对可相应的数据表进行优化。东东东东2019/8/3016ODS/DW/ETL服务器性能分析•以详细话单汇总和分析为例来分析主机的性能。•估算条件：(可以根据实际情况进行修改)–总用户数按250万计算–每天每用户按5个话单•分析过程：–每分钟处理：（用户数）250万*5/24/60≈8681–峰值处理：8681*2=17362–需执行约8个SQL语句，则估算一个话单汇总处理业务相当的TPC-C值为：•8*0.45/4=0.9TPC-C–话单汇总和分析，的TPC-C值要求满足：•17362*0.9≈15626–假设其他经营分析的TPC-C总和与话单分析的TPC-C相等。•15626*2=31252–考虑25%的冗余（系统其它开销）：•主机性能=31252*1.25=39065•支持到2003年底的主机性能的TPC-C值约为39065ODS/ETL服务器完成的功能：1.从源数据到ODS地抽取、清洁、转换和装载2.从ODS到DW地抽取、清洁、转换和装载3.在ODS中保存接近当前业务的数据根据TPC-C的标准：tpmC值是根据标准模型中New-Order事务的处理数目来计算的一个New-Order事务由平均4-5个SQL语句处理完成整个测试的执行过程中，New-Order处理占45%。东东东东2019/8/3017报表/OLAP/WEB服务器性能分析•DW/OLAP/WEB服务器主要完成的功能：–1．数据仓库的数据存储–2．对数据进行OLAP分析–3．提供用户的连接–4．提供WEB展现功能•从功能上分析，该服务器既有OLAP处理，又有OLTP的处理。是两种应用的结合，因此，在性能的分析上，我们要进行了综合考虑。OLAP分析的时长是与数据量有一定的关系的，也就是数据量的增加，相应的分析时长也会增加。OLAP数据模型的生成要对数据库进行OLTP处理，所以该服务器的性能应大于或等于ODS/ETL服务器的TPC-C值。东东东东2019/8/3018系统存储容量要求•系统存储容量•系统目前建设的存储容量应先考虑到2003年底，到2003年底，联通全部业务的用户数估计达到250万，以此计算ODS/DW数据库的存储容量为2.837TB•系统使用两台小型机采用双机群集方式运行，充分利用公司现有营帐的EMC8430，相应扩展其存储容量。东东东东2019/8/3019ODS存储容量的估算估算条件：用户数(万)：250万存储时间（月）：6月调整因子：0.25注：该用户数为联通全部业务（GSM,CDMA,193,165,固定网等）以GSM为准折合的用户数。序号项目存储单位（字节）存储期限（月）平均使用次数（天）平均包含子项计算公式结果(G)A话单存储20065存储单位*平均使用次数*30*存储期限419.10B增值业务话单存储6064存储单位*平均使用次数*30*存储期限100.58C月帐单存储426每月一次6存储单位*平均包含子项*存储期限3.52D用户资料存储105存储单位*用户数0.24E用户资料变更存储6用户资料存储*10%*60.15F用户服务使用存储419存储单位*平均包含子项*用户数0.86G用户服务变更存储6用户服务使用存储*10%*60.52总计(A+B+C+D+E+F+G)*(1+调整因子)656.21东东东东2019/8/3020数据仓库存储容量估算二、数据仓库存储容量估算：计算公式：(XY)Z*(Z*ZB+XYB)*T*WZ*S*SE公式因子解释平均取值X是平均维数：4Y是平均层次数：3Z是平均分类：4T是存储期限（年）：2XYB是维度量字节数30ZB是层次及分类度量字节数5W是维的有效压缩比0.4S是主题个数15SE是业务个数6数据仓库容量(G)=1314东东东东2019/8/3021整个数据仓库的容量三、整个数据仓库的容量：ODS容量+数据仓库容量(G)=656.21+1314=1970.21G系统因子系数：操作系统和数据库本身工作空间（需要考虑系统缓冲区、工作空间、索引、临时表等因素）0.2RAID5因子系数1.2系统的存储容量(G)=整个数据仓库容量*（1+系统因子系数）*RAID5因子数=2.837T系统的物理磁盘存储容量：东东东东2019/8/3022系统总体处理流程数据格式检查数据系统管理数据装载至收集层收集层数据抽取、转换数据抽取、清洁、转换数据仓库数据装载标准报表数据文件/报表生成数据仓库接口OLTP查询OLAP统计报表综合型EIS报表总部标准数据文件/报表传输总部统一经营信息服务子系统生产系统数据ERP系统OA系统数据采集数据加载数据分析信息展现东东东东2019/8/3023外购软件分布CAAdvantageRepositoryExchangeforDB(Oracle,DB2,Informix….)CAAdvantageRepositoryExchangeforApplication(SQL,PowerBuilder,C++….)CAAdvantageRepositoryDataShopperOptionCAAdvantageRepositoryEngineforDistributedSystem元数据管理CAAdvantageDataTransformerETL工具Oracle9iDatabaseEnterpriseEdition数据仓库存储工具SybaseASE+SybaseIQInformatica东东东东2019/8/3024外购软件分布ImpromptuWebReportPowerPlayEnterpriseServerForUnix6.6ImpromptuAdministrator6.0ImpromptuUser6.0TransformationServerforUnix6.6PowerPlayUser6.6前端分析展现工具东东东东2019/8/3025ETL工具的比较产品名称MicrosoftDTSDatastageSagentCAADTInformaticaOracleWarehouseBuilder东方国信ETL速度与吞吐能力低中中高高中中支持的数据格式：流行数据库、ODBC支持支持支持支持支持支持支持元数据支持//支持好支持支持/增量抽取能力不好中中好中中不好脚本支持能力支持支持支持支持支持支持支持计划任务支持支持支持支持支持支持支持支持告警提醒支持实时监控窗口支持支持支持支持支持运行平台WindowsWindowsUnixWindowsSolarisWindowsUnixWindowsunixWindowsWindows适用场合简单应用中等应用中等应用复杂应用复杂应用中等应用中等应用东东东东2019/8/3026前端工具软件介绍数据仓库前端展现工具的比较：主要是3个厂家的产品：BusinessObject,Brio,CognosPow