pandas使用函数批量处理数据(map、apply、applymap)
前言
在我们对DataFrame对象进行处理时候，下意识的会想到对DataFrame进行遍历，然后将处理后的值再填入DataFrame中，这样做比较繁琐，且处理大量数据时耗时较长。Pandas内置了一个可以对DataFrame批量进行函数处理的工具：map、apply和applymap。
提示：为方便快捷地解决问题，本文仅介绍函数的主要用法，并非全面介绍
一、pandas.Series.map()是什么？
把Series中的值进行逐一映射，带入进函数、字典或Series中得出的另一个值。
Series.map(arg,na_action=None)
参数：
- arg:函数、字典类数据、Series；映射对应关系
- na_action{None,‘ignore'}:默认为None；处理NaN变量，如果为None则不处理NaN对象，如果为‘ignore'则将NaN对象当做普通对象带入规则。
返回Series
二、pandas.Series.map()用法和优点
本节主要讲述map()函数的主要用法和相比于方法的优点
1、map()用法
创建案例DataFrame
importpandasaspd
importnumpyasnp
importtime
data=pd.DataFrame({'name':['VerneRaymond','ChapmanBecher','PatrickGeorge','SaxonMacArthur',
'JoshuaMarjory','LutherPigou','FannyAgnes','KarenBush','ElaineWhitman'],
'gender':[0,1,0,0,1,1,1,0,1],'first_name':np.nan,'last_name':np.nan})
print(data)
name gender first_name last_name
0 VerneRaymond 0 NaN NaN
1 ChapmanBecher 1 NaN NaN
2 PatrickGeorge 0 NaN NaN
3 SaxonMacArthur 0 NaN NaN
4 JoshuaMarjory 1 NaN NaN
5 LutherPigou 1 NaN NaN
6 FannyAgnes 1 NaN NaN
7 KarenBush 0 NaN NaN
8 ElaineWhitman 1 NaN NaN
现在需要将name列的姓和名拆分开来分别放入first_name和last_name里面，使用map()函数实现，并计算所用时间
deffirst_name_map(x):
returnx.split('')[0]
deflast_name_map(x):
returnx.split('')[1]
data['first_name']=data['name'].map(first_name_map)
data['last_name']=data['name'].map(last_name_map)
print('usetime:'+str(end-start))
print(data)
usetime:0.0009970664978027344
name genderfirst_name last_name
0 VerneRaymond 0 Verne Raymond
1 ChapmanBecher 1 Chapman Becher
2 PatrickGeorge 0 Patrick George
3 SaxonMacArthur 0 Saxon MacArthur
4 JoshuaMarjory 1 Joshua Marjory
5 LutherPigou 1 Luther Pigou
6 FannyAgnes 1 Fanny Agnes
7 KarenBush 0 Karen Bush
8 ElaineWhitman 1 Elaine Whitman
如果要将性别代号的0、1替换为中文Male和Female，可以使用字典映射功能，如下
data['gender']=data['gender'].map({0:'Female',1:'Male'})
print(data)
name genderfirst_name last_name
0 VerneRaymond Female Verne Raymond
1 ChapmanBecher Male Chapman Becher
2 PatrickGeorge Female Patrick George
3 SaxonMacArthur Female Saxon MacArthur
4 JoshuaMarjory Male Joshua Marjory
5 LutherPigou Male Luther Pigou
6 FannyAgnes Male Fanny Agnes
7 KarenBush Female Karen Bush
8 ElaineWhitman Male Elaine Whitman
2、map()相比其他方式的优点
较普通的方法主要是方便和速度快，下面例子进行对比，上面已经计算过使用map()方法处理的速度为：0.0009970664978027344
传统遍历
start=time.time()
forindex,rowsindata.iterrows():
data['first_name'][index]=rows['name'].split('')[0]
data['last_name'][index]=rows['name'].split('')[1]
end=time.time()
print('usetime:'+str(end-start))
usetime:0.5146446228027344
可以看到使用map()方法比使用直接遍历的方式快了500多倍
list暂存的方法
start=time.time()
first_name=[]
last_name=[]
forindex,rowsindata.iterrows():
first_name.append(rows['name'].split('')[0])
last_name.append(rows['name'].split('')[1])
data['first_name']=first_name
data['last_name']=last_name
end=time.time()
print('usetime:'+str(end-start))
usetime:0.001994609832763672
可以看出来使用list暂存的方法比遍历方法快了250多倍，但是比map方法还是慢了一半
二、apply()函数
apply()的使用方法与map()的使用方法类似，只是apply()除了传入Series参数外还可以多传入额外的参数。
Series.apply（func，convert_dtype=True，args=（），**kwds）
参数：
func:函数名称
convert_dtype:bool类值,默认为True；尝试自己寻找最适合的数据类型。如果为False则dtype=object。
args:元组；在Series之后传递位置参数信息
**kwds：给函数传递其他参数（以字典的形式）
返回Series或DataFrame
下面是案例（参考官方文档案例）
s=pd.Series([20,21,12],index=['London','NewYork','Helsinki']) print(s)
London 20
NewYork 21
Helsinki 12
dtype:int64
处理数据
defsubtract_custom_value(x,custom_value): returnx-custom_value s.apply(subtract_custom_value,args=(5,))
London 15
NewYork 16
Helsinki 7
dtype:int64
使用**kwds参数
defsubtract_custom_value(x,**kwds): forkeyinkwds: x-=kwds[key] returnx s.apply(subtract_custom_value,num=5)
London 15
NewYork 16
Helsinki 7
dtype:int64
三、applymap()函数用法
applymap()函数处理的对象是DataFrame，并非Series，它没有前面两个函数用得多，但在某些情况也很有用。
DataFrame.applymap(func)
参数：
func:函数；要调用的Python函数，输入输出都为单个值
返回DataFrame
下面是简单的案例：
importpandasaspd
importnumpyasnp
data=pd.DataFrame(
{
"A":np.random.randn(3),
"B":np.random.randn(3),
"C":np.random.randn(3),
}
)
print(data)
A B C
0 2.128483-1.701311-1.362955
1-1.149937 1.108856-0.259637
2-0.076621-0.379672-2.636464
计算所有值的平方：
data.applymap(lambdax:x**2)
A B C
0 4.530439 2.894459 1.857645
1 1.322356 1.229561 0.067411
2 0.005871 0.144151 6.950940
总结
本文展示了Pandas将数据映射到函数里批量快速处理的方法，主要使用的了Pandas自带的map、apply和applymap工具，实验结果是比普通循环快500倍，后续还将介绍更多数据处理实用的技巧。
到此这篇关于pandas使用函数批量处理数据(map、apply、applymap)的文章就介绍到这了,更多相关pandas函数批量内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！