搜索
1.数据清洗规则数据清洗规则包括：非空检核、主键重复、非法代码清洗、非法值清洗、数据格式检核、记录数检核。非空检核：要求字段为非空的情况下，需要对该字段数据进行检核。主键重复：多个业务系统中同类数据经过清洗后，在统一保存时，为保证主键唯一性，需进行检核工作。非法代码、非法值清洗：非法代码问题包括非法代码、代码与数据标准不一致等，非法值问题包括取值错误、格式错误、多余字符、乱码等,需根据具体情况进行校核及修正。数据格式检核：通过检查表中属性值的格式是否正确来衡量其准确性，如时间格式、币种格式、多余字符、乱码。记录数检核：指各个系统相关数据之间的数据总数检核。2.缺失值清洗按照以下四个步骤进行：2.1确定缺失值范围：按照缺失比例和字段重要性，分别制定策略：（a）重要性高，缺失率低：通过计算进行填充；通过经验或业务知识估计；（b）重要性高，缺失率高：尝试从其他渠道取数补全；使用其他字段通过计算获取；（c）重要性低，缺失率低：不做处理或简单填充；（d）重要性低，缺失率高：去掉该字段；2.2去除不需要的字段：直接删掉即可2.3填充缺失内容，某些缺失值可以进行填充，方法有以下三种：▪以业务知识或经验推测填充缺失值；▪以同一指标的计算结果（均值、中位数、众数等）填充缺失值；▪以不同指标的计算结果填充缺失值。3格式内容清洗简单来说，格式内容问题有以下几类：1、时间、日期、数值、全半角等显示格式不一致在整合多来源数据时也有可能遇到，将其处理成一致的某种格式即可。2、内容中有不该存在的字符某些内容可能只包括一部分字符，比如身份证号是数字+字母，中国人姓名是汉字。最典型的就是头、尾、中间的空格，也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符。3、内容与该字段应有内容不符4.逻辑错误清洗，主要包含以下几个步骤：1、去重2、去除不合理值3、修正矛盾内容5.非需求数据清洗原则：把不要的字段删了。如果数据量没有大到不删字段就没办法处理的程度，那么能不删的字段尽量不删。6.关联性验证如果数据有多个来源，那么有必要进行关联性验证。