搜索
软件工程项目招投标书____________数据仓库项目建议____技术部分____软件有限公司____年__月__日目录1项目目标.............................................................32技术解决方案.........................................................32.1系统总体架构...................................................32.1.1逻辑架构..................................................32.1.2设计层面..................................................42.1.3物理架构..................................................52.1.4数据架构..................................................62.2系统技术实现方案...............................................72.2.1总体技术实现方案..........................................72.2.2高效的ETL处理............................................82.2.3数据质量管理.............................................102.2.4报表平台设计.............................................112.2.5认证管理.................................................122.2.6系统可靠性及可扩展性.....................................132.2.7非功能性设计.............................................133项目管理............................................................173.1沟通管理......................................................173.1.1项目会议制度.............................................173.1.2项目状态周报制度.........................................183.1.3沟通手段.................................................193.2配置管理......................................................193.2.1配置管理原则.............................................193.2.2配置库管理...............................................193.3变更管理......................................................193.3.1发起变更.................................................203.3.2评估变更.................................................203.3.3审批变更.................................................203.3.4执行变更.................................................203.3.5变更执行评估.............................................203.4质量管理......................................................203.4.1质量规划.................................................203.4.2质量保证.................................................213.4.3质量检查.................................................224工期进度............................................................22____技术部分1项目目标___希望通过数据仓库系统的建设，可以有效地整合各市场业务数据，统一对信息进行利用和管理，对外提供统一的数据视图和综合决策分析支撑环境，为___各部门所需的报表应用、统计分析及信息挖掘提供基础支持平台。具体建设目标如下：（1）技术目标建立数据仓库基础架构建立自动数据抽取／转换／加载（ETL）机制建立多维分析和数据查询工具和界面已经分析报表生成和展示框架（2）业务目标实现一期经营分析的多维分析、查询和报表，提供___各部门所需报表提供下游系统所需要的统计数据提供____内部用户以___方式查询所需数据将业务系统的历史和增量数据加载进入数据仓库，并转换为数据仓库的存储格式实现用户访问的门户界面并建立相应的访问安全和权限机制进行老系统统计报表的移植工作，保证数据仓库系统中的报表统计结果与原报表统计结果的一致性基于上述需求，____软件___有限公司提出如下技术解决方案来实现本项目的技术目标和业务目标。2技术解决方案2.1系统总体架构2.1.1逻辑架构总体逻辑架构如下：2.1.1.1功能层面（上侧面）根据___对应的功能需求，对应的功能层面上需要建立如下功能：数据的ETL数据存储固定统计报表统一用户界面及___认证管理2.1.1.2非功能层面（右侧面）易用性响应性可靠性扩展性安全性2.1.2设计层面2.1.2.1ETL数据抽取通过成熟的ETL工具，实现从不同的数据源中抽取出所需要的信息，同时通过数据的加工和格式化，对外提供给其他系统使用。2.1.2.2报表设计当形成好统一的数据仓库后，基于该仓库模型，可进行对应的报表设计和管理，技术人员设计好基本的报表后，可提供给业务人员使用。2.1.2.3报表展现技术人员设计好报表模板后，通过发布到对应的服务器据，实现对报表的展现。2.1.2.4报表应用业务人员通过终端界面，可以使用由开发人员开发和设计的报表，同时，业务人员也能同报表进行交互，检索出自己需要的数据。2.1.3物理架构对于本，外币不同的数据源，以及不同的物理子系统，基本的物理架构如下：物理架构说明：A.本外币数据库向仓库提供对应的数据B.仓库为对应的报表服务器提供统一的视图。C.权限报表服务器部署到同一机器上。2.1.4数据架构ETL环境抽取数据模型数据仓库本币交易DB本币交易数据模块经费管理资产管理总账管理数据加工模块统计司报表给仓库的数据ETL加工后标准数据报表平台访问的数据源ETl拆分前的数据文件进行差分、标准化形成对应的数据文件ETL加工环境内部数据流向加工后数据存储ETL对数据进行加工加工后的数据进行标准化统一的数据视图加工后数据模型化数据视图sql接口金融快报本币市场央行固定报表下游系统本币报表平台报表展现交易明细表交易统计表做市商交易报表数据流说明：A.首先从本外币或者其他系统获得对应的数据.B.经过ETL对数据进行加工，清洗和标准化。C.将已经标准化和模型化的数据进入到数据仓库，或者提供需要的数据文件。D.数据仓库对外暴露数据模型和数据视图以及sql接口。E.数据仓库为报表管理系统和下游系统提供所需要的数据F.报表管理系统展现对应数据的报表。2.2系统技术实现方案2.2.1总体技术实现方案充分考虑到___系统存在在本外币等多种数据源，且数据源分散，多分散子系统的情况，同时各个子系统中存在统计口径不一致，影响统一的决策和各个部门信息的一致性。在使用的过程中，会员信息维护复杂，且各个系统各自维护一套对应的会员信息，导致会员维护工作量加大。数据仓库一期需求大致可以分成数据库架构的建立、ETL机制的建立、以及报表分析架构的建立和报表实施。系统可以分成数据仓库和报表系统两大部分。以下是我们建议的系统架构概念图：系统包含一个双机组成的数据仓库，和一个双机组成的报表服务平台。数据仓库和报表服务器分别带有自己的外存磁盘阵列。架构中的每个功能节点设计都含冗余度，保证系统不存在单一失败点，满足提供7_24不间断服务的要求。在系统架构不变的前提下，系统的每部分可以用不同的技术实现。比如，数据库管理系统可以使用Oracle的技术，也可以使用IBM的技术。报表技术建议使用Actuate9。使用我们建议的应用软件，这样的系统架构会有很强的可扩展性，用户可以通过增加硬件的方式扩容，以支持越来越多的用户和应用。总体方案通过以下步骤实现数据到可用信息的转换：1.通过ETL手段对不同的数据源数据进行抽取，转换，清洗，数据格式化。2.通过ETL转化后的数据统一进入数据仓库，形成统一的数据视图。3.进入数据仓库的数据模型可以为报表平台提供对应的数据来源。4.通过认证的用户可以登陆报表平台消费和设计对应的报表。2.2.2高效的ETL处理2.2.2.1ETL总体处理流程ETL处理流程：1.从本币数据源或其他数据源中抽取需要的数据。2.ETL对抽取到的数据进行必要的增量处理，生成一天的增量数据。3.ETL对增量数据进行技术性检核、标准化、转换。4.产生LDM落地数据文件。5.落地数据文件下发到下游系统，同时进行数据入库。6.整个ETL处理过程进行异常处理及监控。ETL实施我们建议采用成熟的ETL工具，所选ETL工具需要满足如下基本要求：（1）技术架构1)支持所有的主流平台2)模块化的架构设计，可按需进行模块添加和扩展3)具有错误恢复逻辑的功能4)支持并行处理（2）核心功能1)支持本地数据访问模式2)支持星型模式3)支持打包应用（例如SAP）4)支持基本处理（例如SQL）5)具有数据自动转换和清洗功能6)支持实时ETL和按需ETL7)具有自动错误预警功能（3）开发环境1)图形化界面2)支持命令行3)便于调试和维护4)具有代码版本控制功能（4）ETL管理1)支持集中管理2)自动产生每日ETL运行报表3)具有ETL自动和手工调度功能我们相信商业ETL工具中INFORMATICA会是一个很好的选择，开源ETL产品Kettle则是INFORMATICA之外一个很好的备选。2.2.2.2数据仓库模型设计数据建模建模过程：（以常用会计报表为例）1.用户需要查看基于时间、机构和科目的报表。2.建立以数据事实表为____，需要时间、机构和度量作为其维度。3.建立好如上的星型模型后，可发现模型具有如下优点。4.灵活的数据查询，可基于时间查询对应的日报，月报和季报。5.效率最优化，需要查询机构信息，则通过机构和事实表关联即可完成。2.2.3数据质量管理2.2.3.1数据仓库对数据质量的要求数据仓库对数据质量的要求总体上归纳为：数据完整性，包括数据源是否完整、数据取值是否完整、维度取值是否完整等。数据准确性，包括数据源是否准确、编码映射关系是否准确、处理逻辑是否准确等。数据核对准确的判断是要么结果一致，要么不一致但原因是可解释的。数据一致性，包括源系统之间同一数据是否一致，源数据与抽取的数据是否一致，数据仓库内部各处理环节数据是否一致等。数据逻辑合理性，主要从业务逻辑的角