Apply函数进行数据预处理

墨蓝 2022-03-22 09:12 348阅读 0赞

# Apply函数进行数据预处理 #

**测试数据集：**  
包含两列：时间戳和字符串，大小为近8000行  
![20190127161901.png][]

**在df中添加一列，使其全部都是a**  
![20190127162026.png][]

**将A列改的值为大写**

df['A'] = df['A'].apply(str.upper)

**使用apply进行预处理**  
将data数据拆分为三列

Apply接收一个函数作为参数，apply将会把指定列中的每一个值送给函数参数进行处理。

根据观察，data列的值其实是三个部分组成：  
Symbol、Seqno、Price。  
现在想把这一列变成三列。  
就单个一个data的数据来说，可以用split方法进行拆分：

l1 = df['data'][0].strip().split(' ')
    l1[1], l1[3],l1[5]  
    >>>('APPL', '0', '1623')

**定义一个用于处理所有数据的函数：**

def foo(line):
        items = line.strip().split(' ')
        return Series([items[1], items[3], items[5]])
        
    df_tmp = df['data'].apply(foo)  # 调用foo函数
    df_tmp = df_tmp.rename(columns={0:"Symbol", 1:"Seqno", 2:"Price"}) # 给新的一行重命名

![20190127162638.png][]

df_new = df.combine_first(df_tmp)  # 将新表和原表链接

删除多余的列并将文件写出csv：  
![20190127162903.png][]

[20190127161901.png]: /images/20220322/3e06d181ca0b474f8f8c62696f5d6736.png
[20190127162026.png]: /images/20220322/cf707b6198be43c2897e584bec7383aa.png
[20190127162638.png]: /images/20220322/50e9b93b1e804e2a9846f64fe56cbe3c.png
[20190127162903.png]: /images/20220322/422465746e484f3e9bf160c046b60109.png

发表评论取消回复

表情：

评论列表（有 0 条评论，348人围观）

还没有评论，来说两句吧...

相关阅读

相关数据清洗瓶颈解析：使用Pandas进行数据预处理

在数据分析过程中，数据清洗是一个关键步骤。数据清洗是指通过一系列操作，找出并修正数据集中的错误、不一致或缺失值等问题。以下是使用Pandas进行数据预处理的一些常见瓶颈解析：

冷不防/ 2025年03月19日 00:09/ 0 赞/ 64 阅读

相关使用Python进行数据清洗和预处理

在Python中，数据清洗和预处理是一个非常常见的任务，可以使用pandas库来实现。以下是一些基本步骤： 1. 导入所需库： ```python import pand

阳光穿透心脏的1/2处/ 2025年02月02日 21:48/ 0 赞/ 101 阅读

相关如何对minist数据进行预处理

1 问题深度学习中，数据很多，不能一次性把数据全都放到模型中进校训练，所以利用数据加载，进行顺序打乱，分批，预处理之类的操作 2 方法使用pytorch提供的 Da

曾经终败给现在/ 2024年03月31日 11:18/ 0 赞/ 180 阅读

相关 Pandas数据预处理——drop_duplicates()函数

Pandas是一个强大的数据分析工具，可以用于数据预处理、数据清洗、数据分析和可视化等多个领域。在数据预处理中，数据去重是非常重要的一个步骤。Pandas提供了drop\_du

心已赠人/ 2024年03月22日 08:34/ 0 赞/ 117 阅读

相关 R语言使用caret包的preProcess函数进行数据预处理：指数变换

R语言使用caret包的preProcess函数进行数据预处理：指数变换在数据分析和机器学习中，对数据进行适当的预处理是非常重要的一步。R语言中的caret包提供了一系列方

桃扇骨/ 2023年10月14日 18:08/ 0 赞/ 144 阅读

相关 Elasticsearch使用Ingest Pipeline进行数据预处理

> 本文基于Elasticsearch7.x Elasticsearch可以使用自身的Ingest Pipeline功能进行数据预处理, 无须借助Logstash. In

矫情吗；*/ 2023年06月30日 08:42/ 0 赞/ 51 阅读

相关 matlab主要数据预处理函数,Matlab 神经网数据预处理的函数

Matlab 神经网数据预处理的函数 poststd 后处理由 PRESTD 预处理的数据在 R2006a NNET 5.0 中已经过时最后用于 R2005b NNET

「爱情、让人受尽委屈。」/ 2023年01月16日 03:24/ 0 赞/ 232 阅读

相关 pipeline 和 painless对文档数据进行预处理

在es中每个节点默认都是ingest节点，可以对即将索引的文档数据进行预处理，比如修改文档字段的默认值、添加新的字段、字符串转数组等，es可以通过pipeline或者painl

女爷i/ 2022年11月05日 00:54/ 0 赞/ 248 阅读

相关 Apply函数进行数据预处理

Apply函数进行数据预处理测试数据集：包含两列：时间戳和字符串，大小为近8000行 ![20190127161901.png][] 在df中添加一列，使其

墨蓝/ 2022年03月22日 09:12/ 0 赞/ 349 阅读

相关 Python apply函数

Python apply函数 1、介绍 apply函数是pandas里面所有函数中自由度最高的函数。该函数如下： DataFrame.apply(func,

蔚落/ 2021年11月16日 08:54/ 0 赞/ 297 阅读