数据清洗是什么意思(数据分析中的数据清洗怎么做?)
数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。
数据分析整个框架里面比较关键除了模型本身以外,更多依赖的是丰富高质量的数据源。在数据收集时需要捕获有关源的关键元数据,如来源、大小、时效性和相关内容的额外知识。迭代地识别当前数据资产基础和这些数据源的差距,使用分析、可视化、 挖掘或其他数据科学方法探索这些数据源,以定义模型算法输入或模型假设。
由于原始数据中或多或少存在一些缺失、损坏的脏数据。如果不处理会导致模型失效。就好比,一个水平很高的厨师,给到的原材料如果不卫生不干净,那也很难做出一道让人满意的菜品。因此在整合数据建立模型之前, 应先评估数据的质量。对数据进行清洗。
当然,数据清洗除了能保障高质量的数据输出之外。也能够同步对数据探索。数据清洗和数据探索的作用是相辅相成的,通过数据探索,检阅数据的特征描述、分布推断以及结构上的优化,能更好的为数据清洗选择合适的清洗方法。而数据清洗后的数据则可以更有效的进行数据探索。本文重点讲解数据清洗的一些方法和注意事项。接下来,介绍数据清洗的两个重要部分:异常值判别和缺失值处理。
01 异常值判别
数据清洗的第一步是识别会影响分析结果的“异常”数据,然后判断是否剔除。异常值通常有以下几个表现:
(1)缺乏完整性
完整性即记录数量名称是否完整,内部数据由于属于企业内部自己生产的数据,相对而言比较好掌控检查。而如果是采购的外部数据,例如:城市土地人口宏观数据或者某城的二手房交易数据,则完整性需要外部数据供应商提出相应保障。
(2)缺乏准确性
收集的数据必须要能够正确反映业务需求,否则分析结论会对业务造成误导。这方面的检查,需要首先理解业务背景,第二需要判断收集的此类数据以及数据项是否可以转换为分析项目所需数据。如果部分数据不符合业务逻辑,或者数据准确性很差,则对数据分析造成很大的影响。
(3)缺乏唯一性
数据的唯一性应该从两个角度检查,常见的错误是多个数据一个编码,例如产品住宅,产品商铺都是同一编码,或者同时一个实物对应多个编码。如果导入系统,系统需要能够识别,否则将会影响分析主体的唯一性。
目前常用的识别异常数据的方法有物理判别法和统计判别法:
物理判别法:根据人们对客观事物、业务等已有的认识,判别由于外界干扰、人为误差等原因造成实测数据偏离正常结果,判断异常值。例如常见的年月日基本信息,显示值为:1900年1月1日。这种判别方式需要人工干预,检查的工作量较大,如果没有找到数据之间的关联关系容易出错漏处理。
统计判别法:通过系统设定一个置信概率,并确定一个置信上下限,凡超过此限的误差,就认为它不属于随机误差范围,自动判定为异常值。这种方法高效明确,且不会遗漏错误脏数据。常用的方法有:拉依达准则、肖维勒准则、格拉布斯准则、狄克逊准则、t检验等。(具体描述查看下图)
这种系统判别并进行删除异常值的方式虽然高效,但也存在风险。因为每个方法不尽相同,得出的异常值也有可能存在偏差。为了减少这种误删的概率,可以将多种统计判别方法结合使用,并且要找出异常值出现的原因。是手工录入错误还是数据接收过程中出错。同时,如果发现有多个异常值,建议逐个删除,即删除一个后再进行检验。
02 缺失值处理
在数据缺失严重的情况下,分析结果会失真。因此需要将缺失值进行填补,传统方式检查出来的空值有人工进行补充,但是需要补充人员找到相关资料检验无误后再进行填补。当然如果对于结果要求并不是特别大,且我们能通过数据找到规律的情况下,可以采用合理的方法自动填补空缺值。例如:可以根据身份证号码,自动判断人员的性别。常见的方法有平均值填充、K最近距离法、回归法、极大似线估计法等。(具体描述查看下图)
值得注意的是,数据收集的过程中,如果对于某个字段要求必输,则可以通过系统导入时自动判断是否为null,如果为null则导入不成功,从源头控制数据质量。
当然,我们在做数据分析的过程中,也要看数据量的大小。一般情况下数据量越大,异常值和缺失值对整体分析结果的影响会逐渐变小。所以,在“大数据”模式下,如果异常值和缺失值较小的情况下,可以忽略减轻部分工作量,而侧重对数据结构合理性进行分析。
03 格式内容清洗
如果数据是由系统日志而来,那么通常在格式和内容方面,会与元数据的描述一致。而如果数据是由人工收集或用户填写而来,则有很大可能性在格式和内容上存在一些问题,简单来说,格式内容问题有以下几类:
1、字段显示格式不一致
这种问题通常与输入端有关,在整合多来源数据时也有可能遇到,将其处理成一致的某种格式即可。
2、内容中有不该存在的字符
某些内容可能只包括一部分字符,比如身份证号是数字+字母,中国人姓名是汉字(赵C这种情况还是少数)。最典型的就是头、尾、中间的空格,也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下,需要以半自动校验半人工方式来找出可能存在的问题,并去除不需要的字符。
3、内容与该字段应有内容不符
姓名写了性别,身份证号写了手机号等等,均属这种问题。但该问题特殊性在于:并不能简单的以删除来处理,因为成因有可能是人工填写错误,也有可能是前端没有校验,还有可能是导入数据时部分或全部存在列没有对齐的问题,因此要详细识别问题类型。
-
在生态学中,生物和非生物因素包括生态系统中所有的生物和非生物部分。生物因素是指生物体及其相互关系。非生物因素是指生态系统中的非生物成分,包括阳光、水、温度、风和营养物质。生态学家使用生物和非生物因素来预测种群变化和生态事件。通过调查这些因素是如何相互作用的,生态学家可以估算出生态系统在一段时间内发生[详细]
-
近年来,中国在许多领域取得了令人瞩目的成就。以下是一些具体实例:1. 经济增长:中国是全球第二大经济体,在过去几十年里取得了惊人的经济增长。改革开放以来,中国实施了一系列的市场化改革措施,促进了国内外投资、贸易自由化和产业升级,推动了经济的快速发展。2. 科技创新:中国在科技创新方面取得了巨大的进步[详细]
-
财富是人生的一道明亮灯塔,引领我们走向繁荣富裕的彼岸。如同四大生肖中镇楼的‘财’字一般,在这个世界上闪耀着璀璨的光芒。它代表着财运滚滚,无尽的财富源源不断地涌现。它是我们追求福祉的象征,为我们带来了幸福和快乐。‘财’字所带来的不仅仅是物质上的富足,更是精神上的满足和自由。它能够让我们品味生活的美好,[详细]
-
1. 乐不可言:高兴得无法用言语来表达。形容极为快乐。2. 乐不可支:快乐到不能自持的地步。形容快乐到极点。3. 乐不思蜀:比喻乐而忘返或乐而忘本。4. 乐此不疲:指对某事物特别有兴趣,因而沉浸于其中,不知疲倦。5. 乐而忘返:因高兴而忘记返回。6. 乐极生悲:高兴得过了头,将转而招致悲伤的事出现。[详细]
-
大熊猫是我国特有的野生动物,同时也是个国际巨星。全世界的动物园都抢着来租借中国的大熊猫 ,甚至不惜开出数百万美元的高价,只为能租借10年。外国民众也喜欢来观赏大熊猫,只要有大熊猫的展览,门票往往一抢而空。全世界人民喜欢大熊猫的原因很简单,那就是因为它很可爱。然而,很多人不知道的是,表面上蠢萌的大熊猫[详细]