提高信息系统数据质量的方法

13-2-22提高信息系统数据质量的方法_中国金融电脑_ZCOM.COM杂志门户首页学术期刊在线杂志杂志订阅ZCOM首页财经类杂志文章提高信息系统数据质量的方法中国金融电脑电子杂志|文章ZCOM杂志门户杂志：中国金融电脑作者:刘向民出处:中国金融电脑12年2月刊打印收藏RSS简介|字号：提高信息系统数据质量的方法点击查看原图随着银行系统集中化程度的提高，银行信息系统虽然能够获取庞大的数据量，但是由于数据基础质量不高，无法进行有效集中融合，导致数据分散、不完整甚至出现冲突，从而无法给业务部门提供准确丰富的信息，无法有效支持业务部门开展业务。笔者将从数据质量的现象及原因、如何提高银行系统数据质量等方面对此问题进行深入分析。一、存在的现象及原因分析1.数据源头不能保障数据质量不少数据在进入银行业务系统时不能保障数据质量。对单个系统来讲，存在人工输入错误、数据项缺失、编码不一致、抽取数据的时间点错误等现象；对于多个相关系统，则存在相同含义的数据实体在不同系统中的名称不一致、不同含义的数据实体在不同系统中的名称相同、数据项重复不能合并、对一个系统没有完整性要求的数据项在其他业务系统中必须保障数据的完整性等现象。数据源头的错误导致即使消耗大量的人力物力进行后续查找、分析和修改也不能改善数据质量。2.注重数据的片面性导致信息孤岛“数据丰富，信息贫乏”，这是很多银行IT系统需要解决的问题：对业务部门相当重要的业务数据散落在各个系统中，形成多个“信息孤岛”，无法形成统一的数据视图。其原因就是系统建设初期没有从更高的角度看待系统建设，只从部分业务人员的视角提出对系统的数据视图要求，最终得到的也只是完整信息的一部分。（1）没有统一的数据集中机制各个信息系统在实施过程中，大多只注重自身的数据处理能力，很少考虑与其他系统的数据12年2月刊智能手机的金融安全手机二维码在移动支付领域的应商业银行金融市场信息系统建设第三方支付：在规范中日渐成熟中国金融电脑详细信息财经杂志品牌排行最新上架文章来自:中国金融电脑12年2月刊类别：财经周期：未定日期：未定杂志查看职场查看InMart查看英才查看开啦职场查看亚太地产资讯查看中证内参查看IT经理世界查看全球商业经典查看数字商业时代查看商业财经杂志订阅排行杂志全年优惠价创业邦180.00元钱经163.00元中国经济周刊659.60元第一财经周刊340.00元环球慈善188.00元女性|汽车|旅游|新闻|音乐娱乐|今日导读油脂一季度稳中有升目前适宜多金空银的套利模式外围市场存在隐忧股指套保头寸大增分享13-2-22提高信息系统数据质量的方法_中国金融电脑_ZCOM.COM杂志门户兼容性。系统在设计时往往只在业务流程中倾注过多的精力，更关心这些数据的流向，应该由谁来处理，而不是考虑这些数据以后该怎么集中。从思想上就对数据质量不够重视，数据只不过是业务过程中产生的“副产品”。当与其他系统发生联系，需要进行数据集中时，才发现无法对数据的集中机制达成一致。（2）数据处理环节的增加致使数据质量成反比下降因为银行业务的分散性以及系统设计灵活性的考虑，整个信息系统一般会被分为若干层或若干个集中处理平台，比如渠道平台、应用集中平台、数据仓库平台等。因此当源头数据进入银行系统后会增加很多处理数据的环节，最常见的处理环节是：数据通过各种渠道（柜面、网上银行、手机银行、ATM等）进入银行系统，再通过渠道整合平台进入后台应用系统，还可能通过应用集中平台与其他系统进行数据交互，最后集中到数据仓库平台。通过数据仓库的处理，数据最终产生报表或者通过数据转发中心发往相关联的外部机构。由此可见，数据处理的路径日益变长，但是数据质量则会随数据处理环节的增加成反比下降，一旦数据在某个环节出现问题，就会出现“失之毫厘、谬以千里”的现象。（3）对数据提供高质量信息的期望值大大增加随着计算机应用处理在银行业中的快速发展，大部分银行业务系统已经从简单的记账功能发展到全方面的业务处理，涵盖某个业务领域的方方面面；报表及查询也从简单报表和复合查询发展到基于数据关联以及相似规律的模糊查询，更有基于抽象概括以及基于知识检索的系统的应用出现。这些大大拓展了业务人员的思维想象空间，同时也导致部分业务人员认为不管出现什么情况系统都能够提供给业务人员含有最大价值的数据，这种期望值的增加与系统提供的数据质量现状产生矛盾，导致业务人员的抱怨增加。二、提高数据质量的方法银行系统建设提高数据质量必须通盘考虑，建立一个全面的数据质量管理体系（如图1所示），从数据本身的质量以及数据生命周期的过程考虑数据质量问题。从图1可以看出，数据质量问题可以归纳为“2+1”问题。“2”指的是数据质量的两个方面，即数据内在质量和数据过程质量；1指的是一个整体的数据管理体系，从整体对数据质量进行规划、评估、控制。1.提高数据内在质量数据内在质量就是指数据自身属性的质量。数据内在质量可以反映在以下几个方面。（1）数据真实性数据真实性是指数据是否真实的反应了现实存在，数据代表的是在业务处理过程中真实存在的客观事物或者属性。（2）数据完整性数据完整性是指一组相关数据代表的是一个完整的事物，缺少某一项数据对这个事物来说是错误的或者与现实相违背的。（3）数据精确性数据精确性是指数据应该达到业务要求的精度，比如时间戳的毫秒精确位数，或者double数据类型的小数点位数，如果达不到要求则对业务来说毫无意义，只能是“废”数据。（4）数据时效性数据时效性是指数据必须在规定的时间内提供，或者在一定的时间段内是有效的，这样及时的数据对业务来说才是有帮助的，如果超过这个时间假定，则是无用的，甚至是有害的。（5）数据可用性数据可用性是指每项数据是清晰的代表具体业务含义的，能被业务人员方便使用，或者可以被系统方便的进行提取和分析的。比如某个数据项包含大量的组合意义的信息，业务人员无法清晰地了解数据含义，软件系统也无法方便的进行解析，则可以说这个数据项可用性差甚至没有可用性。年终奖理财因人而异四类家庭如何做好新白嫩美人换季肌肤警联想FM365：寄范冰冰财富圈370.00元职场111.00元中国企业家370.00元人力资源225.00元商界110.00元财经文章排行年终奖理财因人而异四类家庭如何做好新年财富规划“突击花钱”真相被遗忘的真实走出怪圈财政的无奈错位五大黑电巨头急漂白2013年资本市场前景预测中非合作：殖民抑或共荣？2013中国经济奇幻漂流之十大预测编辑推荐精彩专题热门标签13-2-22提高信息系统数据质量的方法_中国金融电脑_ZCOM.COM杂志门户（6）数据可信性数据可信性是指数据的来源是可靠的，数据的整个流动环节也是可处理的，比如通过加密手段进行传输加密，防止中间环节被窃取修改。（7）数据逻辑一致性数据逻辑一致性是指某项数据对于很多业务实体都是有意义的或者必不可少的，如果一处发生了变更，则要同时发生变更，否则会造成系统的其他地方出现错误。2.从全行范围内考虑从全行范围内在数据生命周期的每个环节提高数据质量，主要包括以下几个方面。（1）数据分析质量在进行需求分析时，一定要对业务人员描述的业务流程进行深入分析，反复确认业务人员眼中的数据究竟是什么样子，屏蔽业务人员口中常用的非标准术语，取之以公共的、带有明确含义的业务词汇定义并与业务人员达成共识，只有这样，才能消除因为理解偏差而造成的数据源头不准确的现象。（2）数据设计质量系统设计之初，必须首先建立数据标准，明确数据定义。通过清晰的定义系统中使用的数据编码和数据的含义，避免不同系统甚至同一系统的不同模块中使用不同的数据编码来表示相同的数据，或者相同的数据编码表示不同的数据。最好设立全行级的数据定义控制小组，对增加、修改、删除数据定义进行全面评估，谨慎对待系统每一个要变更的元数据，只有这样，才能避免后续系统无法有效进行数据集中的问题。（3）数据采集质量数据采集一般会通过两种方式，一种是由人工输入，这需要系统必须考虑采用严格的界面校验的方式屏蔽人为有意或无意的录入错误，比如某项数据的长度，日期字段的合法性等；另一种是文件导入，这需要在进行文件导入时验证文件包含数据的完整性，比如导入的数据条数是否正确，还要验证每条数据中的数据项是否合法，如同界面验证一样，最后还要根据系统对数据的要求对文件中的数据进行清洗和转换，同时对数据清洗和转换过程进行监测，根据监测结果对数据进行拒绝或者最终导入的操作。（4）数据传输质量数据传输质量一般包含两个方面：一方面是数据传输的安全性，包括在传输方和接收方进行加密和解密的操作，避免第三方从中截取传输包，并对其中的数据进行修改；另一方面则是指因为系统异构或交互而导致系统包含多种形式的报文格式，比如8583报文，SOAP报文，以及各种各样的自定义报文。这就要求系统做好报文接收器的转换工作，一般来说要对每种报文都配置一个解析器，对报文进行解析、验证，并最终转换为系统统一的数据形式。（5）数据使用质量数据使用质量主要指系统使用人员是否正确使用数据的问题，一方面确保每个系统使用人员按照既定的权限访问和修改数据，杜绝无权限的人员修改系统的关键数据，必要的时候可以采用授权的方式进行数据修改；另一方面要确保数据和应用之间正确的对应关系，杜绝用户将数据用于不支持的应用或者与不兼容的数据一起使用。（6）数据集成质量数据集成一般是指各个系统的运行库集中组成数据仓库的问题，这牵扯系统集中归类信息的问题，如看似相同的数据是否确定是同一类数据？同一类数据的业务主键是否一致，是否能够合并？系统使用用户的编码是否一致？各个运行库中的系统参数是否一致，是否是统一编码？时间字段是否采用统一的格式规则？时间戳的精确位数是否一致？数据库相同字段的默认值是否一13-2-22提高信息系统数据质量的方法_中国金融电脑_ZCOM.COM杂志门户相关文章:跑步真的越跑越健康吗？“突击花钱”真相从数据看IT业大趋势卫视，拼了！质量和宣发缺一不可摇号一年你伤了吗？致？如果解决不了这些问题，将直接导致基于数据仓库的查询是否有效准确，管理人员进行决策的基础是否正确的问题。（7）数据存储质量数据存储质量一般是指数据存储编码的问题，同时还要兼顾系统访问的可用性以及效率问题。数据存储可以有文件存储和数据库存储两种方式，每种方式都存在数据编码的问题，如果编码问题解决不了就会出现一些汉字的生僻字不能存储或者丢失的现象。同时还要考虑数据是集中存储，还是按使用频率或者在数据库中分区存储，还要考虑运行库与历史库是否分开的问题。这些问题的出现将直接导致系统访问这些数据的效率，以及是否可以访问的问题。3.建立全过程控制与质量管理体系一是从思想上高度重视数据质量。只有认识到数据对于银行业务的重要性，才会在系统建设的时候重视数据质量。要让每一位系统参与者从开始就认识到数据是银行重要的战略资源，是用来进行银行分析及决策的重要依据，没有高质量的数据就没有正确的业务内涵及管理层决策，只有这样才能从根本上杜绝低质量数据带来的危害。二是制定数据质量保障计划。结合银行系统建设的整个生命周期，包括分析设计、开发、测试、维护等过程，根据各个过程的主要特点制定对应的数据质量保障计划，保障系统相关人员在进入系统建设的每个阶段前都了解和数据质量保障相关的计划和措施，从源头上保障系统提供可靠的数据来源。久而久之，就会制定出成熟度高、通用性强的数据质量保障计划，确保每个系统按照既定的数据质量保障原则进行建设，为后续工作提供强有力的基础和保障。三是建立数据质量评估标准。数据质量的评估指标一般指信息系统表达的数据视图与客观世界同一数据的距离，但是从不同部门或者不同角度来看数据质量都是不同的，所以与数据生命周期有关的各个部门必须从自己的专业领域或者使用数据的角度，结合实际情况，分别定义自己的评估标准。