搜索
2017.04了解总公司数据质量工作开展的思路、方法；数据质量保障体系了解总公司数据核查工作的依据（数据检查校验规则库）；了解总公司后续巡查、抽查工作的具体内容。培训交流目标数据质量保障体系介绍——构建企业自查、总公司核查相结合的数据质量保障体系支撑行业设备管理工作的唯一一套法定的权威的统计数据举行业之力来源行业用于行业专用于设备管理业务行业唯一企业唯一……有法可依行业发布随着系统应用的逐步开展，数据上报不及时、不完整、不准确的问题逐步显露，制定完善的数据校验规则与检查办法显得日益迫切。10001000为了更科学、全面、便捷的分析、查找、评估和解决系统各环节的数据质量问题，保证数据上报的及时性、准确性和完整性，需要构建一套相对系统、高效、完备的数据质量保障体系，加强数据质量管理，提高系统统计分析的准确性，是充分发挥系统功能与作用的重要辅助支撑。数据质量问题是什么？数据质量的衡量标准是什么？解决数据质量问题的切入点和抓手有哪些？如何保障数据上报过程中，尽可能不出现数据质量问题？如何发现数据质量问题？如何保证数据质量问题能够被处理？是什么解决数据质量问题为什么这么难？为什么怎么办台账：设备名称、型号、能力等属性是否准确；运行：8张运行报表数据上报是否准确。台账：设备数量、设备信息属性等是否完整；运行：是否漏报部分设备，是否漏报指标；月报：次月15日中午12点之前上报至总公司；年报：次年3月1日中午12点之前上报至总公司。数据质量问题的评判依据如何评判数据质量情况？及时性完整性准确性数据质量属性指标数量补报当月不报失真失误数据上报的及时性判定数据质量问题的评判依据：及时性月报：次月15日中午12点之前上报至总公司；年报：次年3月1日中午12点之前上报至总公司。数据上报的完整性判定横向比较数据质量问题的评判依据：完整性1、系统内部数据间比较2、与外部数据源比较台账数据1、与实物是否符合？3、与其他信息系统中台账数据、固定资产数据是否一致？[现场核查]4、与购置合同数据是否一致？与调拨、报废等审批数据是否一致……运行数据1、与台账比，是否所有设备都上报？2、报表间数据比：有消耗为何没产量？有产量为何没运行时间……2、该有的信息是否为空？3、与企业其他系统数据是否一致？[现场核查]4、与行业其他系统的数据是否一致？存在的差异是否处于合理范围？5、……数据准确性判定数据质量问题的评判依据：准确性260多个校验规则原始属性直接校验绩效指标间接校验多数据源横向校验时间变化异常纵向校验根据实际适当调整，提高准确度，如SD检验合格率。《烟草行业（卷烟工业企业）设备管理信息系统数据校验规则库》生产产成品规格互斥检查检查项单位产量设备维持费用单位产量设备维持费用=30;规则编号检查每台设备生产的卷烟规格是否同时生产细支烟和非细支烟。校验规则（合理范围）209307卷接机组有产成品量无运行时间卷接机组有产量，查找对应的年月的卷接设备运行月报是否有该设备的运行时间308卷接机组有产成品数量无消耗310卷接机组有产量，查找对应的年月的卷接设备运行月报是否有该设备的盘纸和滤棒的消耗数据。卷接机组有产量无SD值312卷接设备产能贡献率〉=30%318100%卷接设备运行效率〉=60%100%烟叶单耗331324〉=59盘纸耗损率335〉03%《烟草行业（卷烟工业企业）设备管理信息系统数据校验规则库》制丝线主要设备（烘丝机）故障停机率检查项规则编号校验规则（合理范围）1224当月指标与上月比，波动不超出之前连续五个月波动平均值的30%；滤棒耗损率当月指标与同中烟其他各企业的差异，上下波动不超过30%以上；（即与本中烟其他卷烟厂中最高最低比，高或者低30%以上）1288硬盒包装设备运行效率1220当月指标与同中烟其他各企业的差异，上下波动不超过30%以上；（即与本中烟其他卷烟厂中最高最低比，高或者低30%以上）解决数据质量问题为什么这么难？为什么持续A变化B点多C量大D导致数据质量问题产生的原因多样，业务变化、人员调整、工作失误等都有可能导致数据质量问题，这些问题具有随机性和偶发性，不会随时间发展而消失，因此数据质量工作也需要严密的制度、持续的关注和高度的责任心。数据质量问题的变化性较强、差异性大，不同时期体现出的数据质量问题不一样，不同企业的数据质量问题也不同。同一数据在单个企业的不同时期、机台和不同企业之间的差别也很大。系统的来源分散，涉及面广。主要涉及到卷烟厂、中烟、总公司多个层级，企业内部涉及到车间、设备管理、生产管理、质量工艺、财务、备件等不同部门，管理环节较多，出现数据质量问题后，问题的排查、定位与沟通解决的难度较大。设备采集粒度到天、班次、机台，涵盖了生产、设备、质量、财务、消耗等多方面数据，采集量较大，数据出现问题概率高，问题排查工作量大，相互之间的逻辑校验规则也很多。解决数据质量问题的切入点和抓手有哪些？如何发现数据质量问题？如何保证数据质量问题能够被处理？怎么办如何保障数据上报过程中，尽可能不出现数据质量问题？数据质量技术形成三级组织1、卷烟厂2、中烟3、总公司企业自查总公司核查不定期巡查通报等制度系统运行管理办法短信平台数据集成数据自动校验CA技术自动化智能化解决数据质量问题的切入点和抓手有哪些？从业务出发，在业务各环节各节点均设置具体数据质量保障方案，环环相扣，最终形成“一条主线”和“一个闭环”相结合的数据质量保障体系，实现数据质量问题在事前、事中、事后的全覆盖。一条主线指数据从卷烟厂填报到总公司审核的这条数据生成主线，涉及到这条数据流主线的每一个环节，均环环相扣、层层把关，每个环节都有对应的质量手段以确保尽可能不出现数据质量问题。一个闭环对数据质量问题要有充分的发现与处理机制，并从问题检查发现、问题反馈、问题核实整改、问题跟踪等各方面着手，构建一个闭环的问题跟踪处理流程，以确保数据质量问题得到有效整改。行业设备管理信息系统数据采集流程卷烟厂国家局中烟ETL数据抽取EXCEL数据导入手工填报系统自动校验业务人员检查核对业务主管审核分管领导审批数据接收处理系统自动校验上报业务主管审核业务人员检查核对分管领导审批上报项目办审批项目组检查核对数据接收处理系统自动校验完成开始数字签名数字签名一条主线卷烟厂自查中烟审查总公司核查卷烟厂作为数据上报工作的起点，是数据流产生的源头，对数据质量起着至关重要的作用。规范解读数据接口数据填报数据校验数据分析卷烟厂自查：怎么做？从根本上降低数据上报工作量、提升数据上报质量。按照企业生产经营的实际情况报送真实数据。数据上报时点击“数据校验”按钮，对填报数据进行校验检查。数据上报完成后，刷新统计数据，查看所填数据的统计结果。数据校验卷烟厂自查：怎么做？数据上报时点击“数据校验”按钮，对填报数据进行校验检查。卷烟厂自查：怎么做？数据分析数据上报完成后，刷新统计数据，查看所填数据的统计结果。中烟作为数据上报工作的主要负责者，对数据质量起着重要的把关作用。规范解读数据接口数据审核数据校验数据分析中烟审查：怎么做？从根本上降低数据上报工作量、提升数据上报质量。对数据质量严格把关，确保上报数据准确可靠。数据上报时点击“校验”按钮，对审核数据的准确性进行校验检查。刷新统计数据，查看中烟数据的统计结果。规则库完善数据核查数据报告总公司核查：怎么做？总公司作为数据使用者、行业数据发布者，对数据质量进行最终核查。1、持续丰富并完善数据校验规则库；2、不断完善数据质量管理平台的功能。1、对各单位上报数据进行逻辑性检查；2、不定期对各单位数据进行现场核实。1、对各单位每月上报数据发布月度检查报告；2、对各单位数据上报情况进行行业通报（半年、季度）。逻辑检查抽查巡查总公司核查：逻辑检查上报及时性检查使用数据质量管理平台的上报情况统计、重报情况统计，对于未及时上报的报表和重报后未及时上报的报表检查出来，及时通过短信平台等方式提醒相关企业进行报表补报和重报工作。检查目的检查手段检查结果企业是否及时上报报表？通过上报情况统计功能，检查未及时上报数据的企业，通过短信平台提醒相关企业关系人。提醒后依然未上报的在《数据质量报告》中提醒。企业已上报报表是否正常处理？检查服务器上是否存在中烟已上报但是未正常入库的文件。如果存在，需将该文件入库。发现问题，直接解决总公司核查：逻辑检查数据准确性检查依据《数据校验规则库》进行检查，对上报数据偏高、偏低、为负等异常或逻辑性错误体现在《质量检查报告》中，并及时将质量检查报告发放到各中烟；同时借助系统外数据，检查数据的准确性，如设备原值变化与大项修维改系统的对比、产成品数量与消耗数据的比对等。检查目的检查手段检查结果通过数据校验规则库检验数据，查找异常数据。确保数据逻辑上合理。通过数据质量检查平台[数据质量报告生成]功能，自动生成企业的数据质量报告；并进行核实。问题数据在《数据质量报告》中体现，并在《数据质量问题跟踪处理记录表》中登记。利用系统外数据校验上报数据的准确性是否存在问题。人工检查系统内数据与系统外数据的一致性。将问题数据在《数据质量报告》中体现。总公司核查：逻辑检查数据完整性检查总公司通过系统外能获得的资料作为数据完整性检查对照数据源，如台账报废、调拨等状态检查可结合国家局相关文件进行系统内变更情况检查，新购设备可结合新机购置计划相关文件进行系统内新增台账检查等。数据源头检查目的检查手段检查结果报废、调拨等国家局相关文件确定报废、调拨设备是否及时在行业设备管理系统内进行了变更。1.查询行业设备系统中的相关设备的状态；2.核实是否及时在系统内进行变更。问题或者疑问记入到《数据质量报告》,提请企业反馈。新机购置计划等国家局相关文件确定新购设备是否及时在行业设备管理系统内进行了上报。1.检查系统内是否有新机上报。2.核实与行业文件的情况是否一致。总公司核查：抽查和巡查总公司将根据《信息系统运行管理办法》及各级企业数据上报情况，不定期进行现场抽查或组织行业互查、巡查。总公司抽查、巡查前：撰写工作计划，确定抽查/巡查企业、抽查/巡查方式、参与人员、检查项、检查时间；总公司抽查、巡查后：形成《数据质量抽查/巡查报告》。检查项将会依据企业实际上报情况来进行设置总公司核查：抽查和巡查检查项（1）口径核实（2）设备台账检查（3）卷烟产成品数量、残次品数量检查（4）设备运行时间检查（5）卷接机组SD值检查（6）原料消耗、制丝产量检查（7）辅料消耗检查（8）成本、费用数据检查总公司核查：抽查和巡查检查项（1）口径核实核实指标核实问题设备台账额定能力卷接包机组上报的额定能力是否是设备铭牌上的能力？烘梗/丝机的额定能力是如何确定的？设备台账改造后设备能力卷接包机组上报的改造后设备能力是否都有大项修改造合同？行业固定资产编号现在是否采用了22位的企业固定资产编号的编码方式？都什么设备采用了此编码方式？原行业固定资产编号原行业固定资产编号（16位）是否存在？是否还继续应用此编码方式编号？企业信息系统设备编号此编号来源于哪个企业系统？总公司核查：抽查和巡查检查项（2）设备台账检查设备类型检查项检查目的检查内容卷接机组台账检查设备数量、企业设备型号、原行业固定资产编号、行业固定资产编号、企业设备型号、国产/进口属性、设备状态、额定能力、改造后设备能力、设备资产原值、转固日期、投入使用日期、制造商、出厂编号确保设备数量、型号、状态、能力等属性完整和准确。1）查询企业设备台账；2）查看企业车间现场设备；3）查询行业设备管理信息系统设备台账；4）核实台账数量、台账属性是否一致、是否正确。总公司核查：抽查和巡查检查项（3）卷烟产成品数量、残次品数量检查设备类型检查项检查目的检查内容卷接机组产成品规格、产成品数量确保上报的产成品规格和数量无误。1）企业阐明《产成品月报》各卷接机组的产成品规格的数量口径；2）查询行业设备管理系统《产成品月报》；核实对应生产的卷烟规格的烟支周长、烟支长度、滤嘴长度是否正确；3）查询企业生产系统产量数据；4）核实行业设备系统与企业生产系统数据是否有差异。残次品数量确保残次品数量无误1）查询企业