A5-上海电信BSS项目数据整合和迁移经验交流

上海电信BSS项目数据整合和迁移经验交流上海电信企业信息化部2005年9月16日目录项目整体情况介绍1.CRM数据导入工作2.ODS数据整理工作3.面临的问题和困难4.项目整体情况介绍上海电信MBOSS目标系统总体架构图业务流程的衔接和闭环F实现A保障B计费管理支撑EAI企业应用集成平台（IBMWBI）OSS-业务实现（IBP综合业务处理）元数据WF施工调度路由设计资源指派RM网络资源管理资源创建资源维护本地数据内容长途/无线资源调配数据管理资源调配数据管理资源调配数据管理资源调配数据管理采集本地数据内容长途无线融合计费融合帐务综合结算帐单打印发放产品目录（从）帐单核销财务数据批价处理开帐处理帐单定制欠费和催缴BSS计费帐务网元管理FCAPSOSS-服务保障TEST测试TT用户故障处理MR网络维护与恢复MM综合网络管理出错告警分析综合网络配置用量数据采集运行性能监测网络安全管理SM服务管理CN用户网络管理本地网管数据网管无线网管长途网管内容网管投诉管理故障受理与跟踪信用审核定单受理与跟踪CRMBSS客户关系管理客户客户数据产品数据交互记录Mail&Fax&SMS10000号CTI/IVR代理商门户CSP客户自助门户市场营销产品销售忠诚度管理客户SLA管理客户信息查询营销知识库产品目录(主)代理商信息管理帐户变更帐单征收客户合同管理帐单查询财务管理(FI)单点登录身份认证自助服务URL重定向内容管理个性化界面ICE集成协作环境OAEL…KMMSS-管理支撑ERPEIP员工信息门户人力资源工程管理财务管理OSS-业务实现(IBP）OP订单处理（本地、数据、内容、长途、无线）NA网络激活（本地、数据、内容、无线、长途）工单分解指令分解处理流程订单分解工单管理BP业务开通CRMBILLINGETL数据整合平台ODS运营数据仓储•统一客户视图•数据同步综合报表平台EDW企业数据仓库CUBEIBP其它…SAP/R3SAP/SEM战略管理绩效管理预算管理（数据存储24＋1)内部客户数据查询BASOAS数据挖掘CUBEEDA-企业数据架构……CRM数据BILLING数据IBP数据其他系统数据收入摊分CQD对外客户数据库外部客户数据查询SAP/BW预处理预付费GL总帐模块AR应收模块AP应付模块AM固定资产LM贷款管理JM岗位管理CEA成本要素会计SPL特殊分类帐CCA成本中心会计CO-PA获利能力分析PCA利润中心会计FM基金管理EC-CS合并报表OM组织管理PA人员管理PY薪资管理IM投资管理PS项目管理MM物料/库存管理TEM培训管理PD人员发展ESS员工自助CM现金管理PM资产实物管理SD销售管理SAP/R3代理商MetaSolvBOXISiebelCSGKenan/BPInformaticaAIS审计模块BSS项目总体思路目标应用系统架构以EAI总线为信息流转的基础,以松耦合的方式建置，支撑上海电信的需求通过采用国际一流的成熟的商业软件包，引进行业最佳实践和先进的管理经验，提升上海电信总体竞争能力目标应用架构突出统一面向客户的CRM系统,提供现有业务和新业务的统一受理界面，实现市区和郊县范围内部的统一计费、统一优惠折扣，规范客户、产品、计费和资源数据模型，有效共享订单、计费、客户数据，减少业务受理时间，提供灵活的优惠折扣，固化BPR需求，实现端到端的运营流程97系统改造应分成5个模块进行97系统号线资源管理系统CRM系统订单管理业务开通系统运营数据存储（ODS）企业应用整合平台（EAI）重点松耦合，同步实施每个模块的实施必须遵循CTG-MBOSS制定的基本规范BSS项目建设目标客户信息整合，建立全公司统一的客户信息视图，实现上海电信的客户管理模型，从系统上支撑从面向产品向面向客户的转变。提供全公司统一的产品目录管理，提供灵活的产品配置，捆绑，组合。业务流程优化，全程状态掌控；渠道全面整合，信息集中共享；兼顾现有业务，面向未来发展BSS项目管理办公室上海电信BSS项目总监、项目经理IBMBSS项目总监、项目经理架构、业务、培训IBP组行政支持ODS组EAI组CRM组项目指导委员会电信公司领导、相关部门领导IBM公司领导BSS项目组织图Billing组质量风险控制CRM数据导入工作全部导入增量导入分两个步骤实施CRM数据导入的工作（全部导入）从97系统获得全部生产数据表备份；导入Siebel数据库中的97数据表（在Siebel数据库中建立了与97数据表完全相同的表，便于统计比较）；在Siebel数据表中按照产品统计资产数量；在97数据表中按照产品统计资产数量；两边比对资产数量；将97中遗漏的未处理数据导入Siebel数据库；CRM数据导入的工作（增量导入）97数据导入预处理表97数据导出检查方晟程序的日志检查数据Load的日志97数据转换处理脚本检查数据处理的结果转换后数据导入EIM表检查数据导入的日志EIM表导入Base表脚本检查数据处理的结果人工最终检查所有数据处理步骤的结果日志步骤一：从97数据表中获得每天的增量数据，通过Oracle工具导出到文件。这步有数据导出的应用程序日志供检查步骤二：通过Oracle工具将97数据导入Siebel预处理表，通过检查Load数据的日志文件，检查数据导入的正确性步骤三：对97数据进行转换处理，将97的数据处理成Siebel的数据格式。这步工作可以通过检查脚步检查处理结果。步骤四：将转换后的数据导入Siebel的EIM数据表。通过检查Load数据的日志文件，检查数据导入的正确性。步骤五：将数据导入Siebel的基本表。通过检查脚本检查导入的结果在每天增量数据同步完后，通过对以上几步操作的结果检查，保证每天增量数据的正确性。对于出现错误的情况，通过单独处理将遗漏的数据补充入Siebel数据库。CRM数据导入的工作量600多万客户6700多万资产（设备）100多个产品几千种营销活动和2000多万的营销活动ODS数据整理工作ODS/EDW实现了在BSS架构中最重要的客户信息整合；ODS/EDW整合了客户树(客户层级),客户与客户经理的关系等其他非常重要的客户数据ODS/EDW统一了收入类指标的定义，整合了产品分类和收入分类，提供了上海电信在最准确和完整的收入类数据，这部分数据将提供给各个系统作进一步的统计和分析ODS/EDW在整个BSS项目数据迁移中扮演了至关重要的角色企业三户数据模型客户B客户A客户C资产1资产2拥有拥有使用客户付费付费客户帐户2帐户客户D使用客户帐户1集团客户1上级客户上级客户对一个客户而言，可能拥有几个账户，几个资产；而对某一个资产而言，存在着2个角色，使用客户角色和付费客户角色，这些角色可以是同一客户，也可以是不同的客户。整合客户与账户、资产这三者关系，对于电信企业来说有着非常重要的意义：-能够形成对电信客户最完整的视图-能够从各个角度分析客户对电信的价值和贡献（目前只能从付费者的角度统计客户对电信的贡献）-能够对不同性质的客户展开针对性的营销BSS建设的客户数据结构－客户与资产的关系客户所购买的所有的上海电信的产品，在Siebel中以资产的形式存放客户的三种属性并不直接体现在树状结构中，而是体现在客户与资产的关系中任何一个资产，都分别有产权客户，使用客户，和付费客户与之对应，可能是同一客户，也可能是不同的客户一个客户在一项资产上，可能是产权客户，可能是使用客户，可能付费客户，也可能是其中的两项或三项都是付费关系使用关系产权关系客户产品资产产权客户域使用客户域付费客户域1：MM：M联系人使用，产权，付费CRM97老计费CRM终端老计费终端97终端产权与付费付费者信息变更资产与付费者资产与产权,付费者资产与产权信息老计费有最准确的资产与付费者信息CRM有最准确的资产与产权信息但是没有一个地方有完整的三户视图？客户的付费信息的变更也没有及时地反映到CRM在ODS整合三户之前的上海电信客户现状使用，产权，付费CRM97老计费CRM终端老计费终端97终端产权与付费付费者信息变更资产与付费者资产与产权,付费者ODS资产与产权,使用者资产与付费ODS整合了资产与产权者，付费者，使用者的完整信息，形成了完整的三户视图ODS最后将完整的三户信息返回给CRM在ODS如何整合客户数据付费者丙:客户B=付费者甲客户ACRMBilling客户A客户B客户C付费者甲付费者乙付费者丙客户C=付费者乙ODS整合以后仅存在CRM的客户CRM和老计费都存在的客户仅存在老计费中的客户ODS客户整合结果示意CRM97ExistingBillingODSCSS1.从CSS获得客户（大客商客）、客户经理和客户（大商）的关系、客户经理和分帐要求的关系（公客）、分帐要求、分帐要求和客户的关系2.TMP从CRM获得客户3.TMP整合客户后返还给CRM1.整合后增加的CSS的大商客2.客户（大商客）的层级关系3.分帐要求和客户的关系（大商客相关的）4.合并成功的大商客和客户经理的关系、客户经理和分帐要求的关系（公客）4.CRM给ODS所有客户、客户经理和客户的关系（大商）、资产、分帐要求（大商客）和客户的关系5.从老计费获得所有分帐要求、设备业务细节、帐单、详单6.从97获得历史的一次性费用7.将资产和设备业务细节整合，97一次性费用整合，全部的付费客户、全部的分帐要求（req_id）、匹配上的资产及其之间的关系返还给CRM，CRM根据分帐要求创建帐户，一些需要CRM手工增加的资产。8.CRM修改后给ODS，给ODS公客客户和客户经理的关系，所有的帐户给ODS，帐户和资产的关系ODSinitialload（整合步骤1）TMP11234758612345678客户CSS的大客商客CRM客户需要新增的客户大客商客CRM的公客需要新增的客户全部分帐要求全部全部资产CRM初始资产需要新增的资产客户经理全部客户和分帐要求CSS的大客商客大客商客的大客商客的现有的客户全部客户和资产产权付费分帐要求和资产全部客户和客户经理客户经理和分帐要求的关系（公客）客户经理和客户的关系（大商）全部CRM97ExistingBillingODS3541.CRM将每天受理的定单传到97系统用于开通2.97每天将完工信息通过接口批量传送给老计费3.老计费每天将分帐要求（帐户）和设备业务细节传给ODS，每月将帐单和详单传给ODS4.每天CRM将客户、定单和资产批量送到ODS，部分一次性费用5.每天ODS将帐户和资产关联后，将资产和帐户的关联关系、帐户、需要新生成的客户传给CRM6.97每天将CRM没有覆盖的局向的客户、定单、资产（已经配置了产品的资产，且删除拆机的资产）传送给CRM7.每月老计费将分帐要求、帐单传给BAS/CSS8.从CRM获得所有的客户、资产、帐户数据用于测试9.从老计费获得所有需要的信息进行测试10.每月的一次性费用11.每天同步客户和客户经理的关系NewBillingAfterODSongoingBeforeCRMHaveallAsset（整合步骤2）21689BAS/CSS71011CRM97ExistingBillingODSBAS3541.CRM将每天受理的定单传到97系统用于开通2.97每天将完工信息通过接口批量传送给老计费3.老计费每天将分帐要求（帐户）和设备业务细节传给ODS，每月将帐单和详单传给ODS4.每天CRM将客户、定单和资产批量送到ODS（所有产品的资产）5.每天ODS将帐户和资产关联后，将资产和帐户的关联关系、帐户、需要新生成的客户传给CRM6.不需要再反馈数据给CRM7.每月老计费将分帐要求、帐单只传给BAS，CSS被全面替代8.设备与金卡银卡客户对应关系变更细节，用于摊分9.从CRM获得所有的客户、资产、帐户数据用于测试10.从老计费获得所有需要的信息进行测试11.开始从新计费倒测试数据，以保证将来从新计费过来的数据和现在从老计费过来的数据一致NewBillingAfterODSongoingAfterCRMHaveallAsset（整合步骤3