11个Python Pandas小技巧让你的工作更高效(附代码实例)

2023-08-24 01:14:04 70

本文为你介绍Pandas隐藏的炫酷小技巧，我相信这些会对你有所帮助。

或许本文中的某些命令你早已知晓，只是没意识到它还有这种打开方式。

Pandas是一个在Python中广泛应用的数据分析包。市面上有很多关于Pandas的经典教程，但本文介绍几个隐藏的炫酷小技巧，我相信这些会对你有所帮助。

1.read_csv

这是读取数据的入门级命令。当要你所读取的数据量特别大时，试着加上这个参数nrows=5，就可以在载入全部数据前先读取一小部分数据。如此一来，就可以避免选错分隔符这样的错误啦(数据不一定都是用逗号来分隔)。

(或者在linux系统中，你可以使用‘head'来展示任意文本文件的前五行：head-c5data.txt)

接下来，用df.columns.tolist()可以提取每一列并转换成list。还可以加上usecols=[‘c1',‘c2',…]来载入所需要的指定列。另外，如果你知道某些列的类型，你可以加上dtype={‘c1':str,‘c2':int,…}，这样会加快载入的速度。加入这些参数的另一大好处是，如果这一列中同时含有字符串和数值类型，而你提前声明把这一列看作是字符串，那么这一列作为主键来融合多个表时，就不会报错了。

2.select_dtypes

如果已经在Python中完成了数据的预处理，这个命令可以帮你节省一定的时间。在读取了表格之后，每一列的默认数据类型将会是bool，int64，float64，object，category，timedelta64，或者datetime64。首先你可以观察一下大致情况，使用：

df.dtypes.value_counts()

来了解你的dataframe的每项数据类型，然后再使用：

df.select_dtypes(include=['float64','int64'])

获取一个仅由数值类型组成的sub-dataframe。

3.copy

如果你没听说过它的话，我不得强调它的重要性。输入下面的命令：

importpandasaspd
df1=pd.DataFrame({'a':[0,0,0],'b':[1,1,1]})
df2=df1
df2['a']=df2['a']+1
df1.head()

你会发现df1已经发生了改变。这是因为df2=df1并不是生成一个df1的复制品并把它赋值给df2，而是设定一个指向df1的指针。所以只要是针对df2的改变，也会相应地作用在df1上。为了解决这个问题，你既可以这样做：

df2=df1.copy()

也可以这样做：

fromcopyimportdeepcopy
df2=deepcopy(df1)

4.map

这个炫酷的命令让你的数据转换变得轻松。首先定义一个

dictionary，“key”是转换前的旧值，而“values”是转换后的新值。

level_map={1:'high',2:'medium',3:'low'}
df['c_level']=df['c'].map(level_map)

几个适用情景：把True、False，转换成1、0(为了建模);定义级别;使用字典编码。

5.用不用apply?

如果我们想在现有几列的基础上生成一个新列，并一同作为输入，那么有时apply函数会相当有帮助。

defrule(x,y):
ifx=='high'andy>10:
return1
else:
return0
df=pd.DataFrame({'c1':['high','high','low','low'],'c2':[0,23,17,4]})
df['new']=df.apply(lambdax:rule(x['c1'],x['c2']),axis=1)
df.head()

在上面的代码中，我们定义了一个有两个输入变量的函数，并依靠apply函数使其作用到列“c1”和“c2”上。

但是apply函数在有些情况下实在是太慢了。如果你是想计算“c1”和“c2”列的最大值，你当然可以这样去做：

df['maximum']=df.apply(lambdax:max(x['c1'],x['c2']),axis=1)

但你会发现相比于以下命令，apply实在是慢太多了：

df['maximum']=df[['c1','c2']].max(axis=1)

结论：如果你可以采用其他内置函数(他们一般速度更快)，请不要使用apply。比如说，如果你想把“c”列的值近似取整，那么请用round(df[‘c'],0)或df['c'],round(0)而不是上文的apply函数。

7.valuecounts

这个命令用于检查值的分布。你想要检查下“c”列中出现的值以及每个值所出现的频率，可以使用：

df['c'].value_counts(

下面是一些有用的小技巧/参数：

normalize=True:查看每个值出现的频率而不是频次数。
dropna=False:把缺失值也保留在这次统计中。
sort=False:将数据按照值来排序而不是按照出现次数排序。
df[‘c].value_counts().reset_index():将这个统计表转换成pandas的dataframe并且进行处理。

8.缺失值的数量

当构建模型时，我们可能会去除包含过多缺失值或是全部是缺失值的行。这时可以使用.isnull()和.sum()来计算指定列缺失值的数量。

importpandasaspd
importnumpyasnp
df=pd.DataFrame({'id':[1,2,3],'c1':[0,0,np.nan],'c2':[np.nan,1,1]})
df=df[['id','c1','c2']]
df['num_nulls']=df[['c1','c2']].isnull().sum(axis=1)
df.head()

在SQL中我们可以使用SELECT*FROM…WHEREIDin(‘A001',‘C022',…)来获取含有指定ID的记录。如果你也想在Pandas中做类似的事情，你可以使用：

df_filter=df['ID'].isin(['A001','C022',...])
df[df_filter]

10.基于分位数分组

面对一列数值，你想将这一列的值进行分组，比如说最前面的5%放入组别一，5-20%放入组别二，20%-50%放入组别三，最后的50%放入组别四。当然，你可以使用pandas.cut，但你也可以使用下面这种选择：

importnumpyasnp
cut_points=[np.percentile(df['c'],i)foriin[50,80,95]]
df['group']=1
foriinrange(3):
df['group']=df['group']+(df['c']
这种方法的运行速度很快(并没有使用到apply函数)。
11.to_csv
这又是一个大家都会用的命令。我想在这里列出两个小技巧。首先是
print(df[:5].to_csv())

你可以使用这个命令打印出将要输出文件中的前五行记录。
另一个技巧是用来处理整数值和缺失值混淆在一起的情况。如果一列含有缺失值和整数值，那么这一列的数据类型会变成float而不是int。当导出表格时，你可以加上float_format=‘%.0f'以便将所有的浮点数近似成整数。当你想把所有列的输出值都变成整数格式时，就可以使用这个技巧，这样一来你就会告别所有数值后带“.0”的烦恼。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。

11个Python Pandas小技巧让你的工作更高效(附代码实例)

热门推荐

随机推荐