数据清理实验

心已赠人 2023-10-04 20:31 126阅读 0赞

## **Part****1****字符串清洗** ##

### **实验****背景****：** ###

主要介绍转换目录下的三个字符串清洗步骤：

![27281ee7713f4a3eba1e938d8a4d4824.png][]

![467e9883d6fe4eb597d91bcafece1a93.png][]

### **实验****步骤****：** ###

1.  #### 转换图 ####

![658dcd1cc98349469b3aa7f40db88873.png][]

#### 2.步骤的配置 ####

输入。新建一个转换，取名为string\_op，

使用“输入自定义常量数据（Data Grid）”步骤作为输入：在“元数据（Meta）”选项页，创建三个字段，类型都设为“String”

在“数据（Data）”选项页输入前面的示例数据

![7a1afebd60d14842b75885cabc8b8d22.png][]

添加“字符串操作”步骤，从“Data Grid”步骤创建一个跳到该步骤，对“字符串操作”步骤做如下设置:

输入字段里添加ID字段，设置“Trim Type”为“both”状态，以去除首尾的空白字符；输入字段添加CITY字段，设置“Lower/Upper”为“upper”状态，将其全部转换成大写状态 ；输入字段添加CODE字段，设置“Digits”为“only”状态以过滤掉无效的字母。

![cbda85eed97149a3ba6c29143185f905.png][]

添加“字符串替换

”步骤，从“String operations”步骤创建一个跳到该步骤。

这时我们需要一个正则表达式来匹配CODE字段的开始部分，可以写成 “^(\[0\]\*)” 形式。

该正则表达式表示一个字符串的开始部分，该部分由任意个数字0组成。

另外 ，需要使用到正则表达式做替换的时候，需要将“use RegEx”设置成“Y”状态，以表示我们查找的是一个正则匹配。

![4894bc99c4bb42d9a26987dbd1326981.png][]

![73dc3cf3cb5143a5a6a4c1795d4258d7.png][]

在使用该步骤进行清理时，这里有个假设，那就是城市名前面的缩写以及连接符刚好为3个字符，并且城市名长度不会超过100

”Cut from”设为”3“，表示从第3个字符开始剪切，

”Cut from”设为”100“，表示最多剪切至第99个字符。

这里注意，这里描述的第几个字符是以0开始计数的。

![296c9d0313f64046a4d9da7ec2ca5bf4.png][]

#### 3.转换结果 ####

![c97ffc23ba8848bf85a04fa0aa9a5d76.png][]

## **Part 2 字段清洗** ##

### **实验****背景****：** ###

![4d5453f47755478880c92edfee228925.png][]

![dbbc17e7da97448ea23e21be46ae78a5.png][]

### **实验步骤：** ###

1.  步骤的配置和转换图

#### **转换1：用拆分字段成多行步骤将城市字段拆分成多行** ####

新建一个转换field\_op，添加一个输入步骤Data Grid，输入如下数据：为该步骤添加三个字段：编号、省份、城市，类型都选择为”String“，并添加如图所示的示例数据。

![e53b8567cea54f2c819d1d193ec38907.png][]

新字段设置成“城市NEW”

示例中的数据以“，”分隔，这是一个中文逗号，分隔符可以设置成“，”

但是如果既有中文逗号，又有英文逗号, 甚至还有中英文分号，或者顿号，这时怎么办？由于该步骤的分隔符支持正则表达式，不妨将分隔符设成正则形式\[,，；;、\]，将可能的分隔符用一个方括号括起来，同时选中”Dlimiter is a Regular Expression“这个选项就可以了。

![bb72f3588fa44021aad731d384720199.png][]

#### **转换2：用拆分字段步骤和合并字段步骤进行数据的拆分和合并** ####

新建一个转换field\_op\_1,该步骤的输入可以复制前面的Data Grid步骤。

添加一个”拆分字段（Split Fields）“步骤，拆分字段步骤设置：

拆分字段设为城市，分隔符设为“，”

设置四个新的字段，分别为城市1、城市2、城市3、城市4，类型都为String

![c0641b716f544936a5a174029685ed7d.png][]

合并字段选择这四个字段：城市1、城市2、城市3、城市4

输出字段设为城市, 将其长度设为100

分隔符设为”;”

![60bd2b6b88f74677a8de19bf602d5a56.png][]

![ae054e36c4264304846bd6296df81ca9.png][]

#### **转换3：使用字段选择步骤清洗数据** ####

新建一个转换field\_op\_2，添加一个输入步骤Data Grid，输入如下数据：为该输入步骤添加五个字段， 并设置好相应的数据类型。

然后输入一组数据用于示例演示。

![bd925ab65a9546afbe09301c5bf0677d.png][]

添加一个”字段选择（Select Values）“步骤，命名为”Select Values-remove“。

第一步，删除“Age”字段。

在“移除”选项页里添加“Age”字段，将“Age”字段删除。此时可以预览一下该步骤，会发现输出记录已经没有”Age“字段。

![92f66a3c0031476da0e844d0c5928bb4.png][]

第二步，添加一个”字段选择（Select Values）“步骤，命名为”Select Values-meta“。

这一步主要针对修改元数据做设置，只需要在“元数据”选项页中修改“Birth”字段的日期格式形式，以及对“Salary”字段的数据类型做更改。

![5aa2acfedd5b4f1db44366c351671b89.png][]

第三步，添加一个”字段选择（Select Values）“步骤，命名为”Select Values-alter“。

在“选择和修改”选项页中将“Sex”字段重命名为“Gender”，并调整“Gender”字段到“Name”字段后面。

![90a97799ac9f46438da992d4f04b9213.png][]

![cf720968a8654e61a910b307c966540c.png][]![1ac37622db4a417e852b980822b33b6c.png][]

## **实验****总结：** ##

一切的美好都是建立在庞大而整洁的数据之上，然而，现实中的数据却是：杂！脏！乱！“错进！错出！”数据的质量可能非常的差，充斥着各种问题，比如数据有重复记录、数据是不完整有缺失的、各个来源的数据不一致，更有甚者，有些数据是错误的。要想利用这些数据，我们必须要对这些数据做数据清理。

数据清理，就是试图检测和去除数据集中的噪声数据和无关数据，处理遗漏数据，去除空白数据域和知识背景下的白噪声，解决数据的一致性、唯一性问题，从而达到提高数据质量的目的。

Kettle 没有单一的清洗步骤清洗工作，需要结合多个步骤来完成。通过本次实验，对字符串和字段的清洗有了一些了解，熟悉了kettle中的一些转换步骤和配置。

[27281ee7713f4a3eba1e938d8a4d4824.png]: https://img-blog.csdnimg.cn/27281ee7713f4a3eba1e938d8a4d4824.png
[467e9883d6fe4eb597d91bcafece1a93.png]: https://img-blog.csdnimg.cn/467e9883d6fe4eb597d91bcafece1a93.png
[658dcd1cc98349469b3aa7f40db88873.png]: https://img-blog.csdnimg.cn/658dcd1cc98349469b3aa7f40db88873.png
[7a1afebd60d14842b75885cabc8b8d22.png]: https://img-blog.csdnimg.cn/7a1afebd60d14842b75885cabc8b8d22.png
[cbda85eed97149a3ba6c29143185f905.png]: https://img-blog.csdnimg.cn/cbda85eed97149a3ba6c29143185f905.png
[4894bc99c4bb42d9a26987dbd1326981.png]: https://img-blog.csdnimg.cn/4894bc99c4bb42d9a26987dbd1326981.png
[73dc3cf3cb5143a5a6a4c1795d4258d7.png]: https://img-blog.csdnimg.cn/73dc3cf3cb5143a5a6a4c1795d4258d7.png
[296c9d0313f64046a4d9da7ec2ca5bf4.png]: https://img-blog.csdnimg.cn/296c9d0313f64046a4d9da7ec2ca5bf4.png
[c97ffc23ba8848bf85a04fa0aa9a5d76.png]: https://img-blog.csdnimg.cn/c97ffc23ba8848bf85a04fa0aa9a5d76.png
[4d5453f47755478880c92edfee228925.png]: https://img-blog.csdnimg.cn/4d5453f47755478880c92edfee228925.png
[dbbc17e7da97448ea23e21be46ae78a5.png]: https://img-blog.csdnimg.cn/dbbc17e7da97448ea23e21be46ae78a5.png
[e53b8567cea54f2c819d1d193ec38907.png]: https://img-blog.csdnimg.cn/e53b8567cea54f2c819d1d193ec38907.png
[bb72f3588fa44021aad731d384720199.png]: https://img-blog.csdnimg.cn/bb72f3588fa44021aad731d384720199.png
[c0641b716f544936a5a174029685ed7d.png]: https://img-blog.csdnimg.cn/c0641b716f544936a5a174029685ed7d.png
[60bd2b6b88f74677a8de19bf602d5a56.png]: https://img-blog.csdnimg.cn/60bd2b6b88f74677a8de19bf602d5a56.png
[ae054e36c4264304846bd6296df81ca9.png]: https://img-blog.csdnimg.cn/ae054e36c4264304846bd6296df81ca9.png
[bd925ab65a9546afbe09301c5bf0677d.png]: https://img-blog.csdnimg.cn/bd925ab65a9546afbe09301c5bf0677d.png
[92f66a3c0031476da0e844d0c5928bb4.png]: https://img-blog.csdnimg.cn/92f66a3c0031476da0e844d0c5928bb4.png
[5aa2acfedd5b4f1db44366c351671b89.png]: https://img-blog.csdnimg.cn/5aa2acfedd5b4f1db44366c351671b89.png
[90a97799ac9f46438da992d4f04b9213.png]: https://img-blog.csdnimg.cn/90a97799ac9f46438da992d4f04b9213.png
[cf720968a8654e61a910b307c966540c.png]: https://img-blog.csdnimg.cn/cf720968a8654e61a910b307c966540c.png
[1ac37622db4a417e852b980822b33b6c.png]: https://img-blog.csdnimg.cn/1ac37622db4a417e852b980822b33b6c.png