python利用pandas读取.data文件并对nan进行处理

心已赠人 2023-03-04 06:37 8阅读 0赞

在数据挖掘的很多领域，数据内容往往以.data形式给出，因此**读取data文件到矩阵中并对异常值进行处理**就变得很重要了。  
  一个data文件的截图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70]  
该data文件为一个1567 X 590的矩阵，每一行代表一个样本。  
操作步骤：

## 读取数据到矩阵中 ##

1.  先直接pd.read\_csv()，然后通过输出了解到数据一共有多少列。

data = pd.read_csv('manifold/secom.data', sep=' ')
    print(data.shape[1])

输出590，于是我们知道了一共590列。**但是这种读法默认会把第一行当成列索引。**

1.  完整读取数据

data = pd.read_csv('manifold/secom.data', sep=' ', names=[i for i in range(590)])
    data = np.array(data)

这样数据就变成了一个矩阵。

## 处理异常值nan ##

1.  思路：**求得每一列除nan以外数据的平均值**，填充到这一列中是nan的地方。
2.  求取除nan以外数据的平均值，我的思路是先把这一列转成list，然后利用np.nanmean(list)函数，跳过nan求平均值。

temp = np.array(data)[:, i].tolist()  #第i列转成list
    mean = np.nanmean(temp)  #跳过nan求mean

1.  填充

data[np.argwhere(np.isnan(data[:, i].T)), i] = mean
    #argwhere用于查找满足nan的位置

完整代码：

def load_file():
       data = pd.read_csv('manifold/secom.data', sep=' ', names=[i for i in range(590)])
       data = np.array(data)
    
       for i in range(data.shape[1]):
           temp = np.array(data)[:, i].tolist()
           mean = np.nanmean(temp)
           data[np.argwhere(np.isnan(data[:, i].T)), i] = mean
    
       return data

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70]: /images/20230208/7524f67f81604f66b87fddcfe3b6d022.png