Python Pandas对缺失值的处理方法

2023-08-13 12:57:04 70

Pandas使用这些函数处理缺失值：

isnull和notnull：检测是否是空值，可用于df和series
dropna：丢弃、删除缺失值
- axis:删除行还是列，{0or‘index',1or‘columns'},default0
- how:如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除
- inplace:如果为True则修改当前df，否则返回新的df
fillna：填充空值
- value：用于填充的值，可以是单个值，或者字典（key是列名，value是值）
- method:等于ffill使用前一个不为空的值填充forwordfill；等于bfill使用后一个不为空的值填充backwordfill
- axis:按行还是列填充，{0or‘index',1or‘columns'}
- inplace:如果为True则修改当前df，否则返回新的df

importpandasaspd

实例：特殊Excel的读取、清洗、处理

步骤1：读取excel的时候，忽略前几个空行

studf=pd.read_excel("./datas/student_excel/student_excel.xlsx",skiprows=2)

studf

Unnamed:0 姓名科目分数 0 NaN 小明语文 85.0 1 NaN NaN 数学 80.0 2 NaN NaN 英语 90.0 3 NaN NaN NaN NaN 4 NaN 小王语文 85.0 5 NaN NaN 数学 NaN 6 NaN NaN 英语 90.0 7 NaN NaN NaN NaN 8 NaN 小刚语文 85.0 9 NaN NaN 数学 80.0 10 NaN NaN 英语 90.0

步骤2：检测空值

studf.isnull()

Unnamed:0 姓名科目分数 0 True False False False 1 True True False False 2 True True False False 3 True True True True 4 True False False False 5 True True False True 6 True True False False 7 True True True True 8 True False False False 9 True True False False 10 True True False False

studf["分数"].isnull()

0False
1False
2False
3True
4False
5True
6False
7True
8False
9False
10False
Name:分数,dtype:bool

studf["分数"].notnull()

0True
1True
2True
3False
4True
5False
6True
7False
8True
9True
10True
Name:分数,dtype:bool

#筛选没有空分数的所有行
studf.loc[studf["分数"].notnull(),:]

Unnamed:0 姓名科目分数 0 NaN 小明语文 85.0 1 NaN NaN 数学 80.0 2 NaN NaN 英语 90.0 4 NaN 小王语文 85.0 6 NaN NaN 英语 90.0 8 NaN 小刚语文 85.0 9 NaN NaN 数学 80.0 10 NaN NaN 英语 90.0

步骤3：删除掉全是空值的列

studf.dropna(axis="columns",how='all',inplace=True)

studf

姓名科目分数 0 小明语文 85.0 1 NaN 数学 80.0 2 NaN 英语 90.0 3 NaN NaN NaN 4 小王语文 85.0 5 NaN 数学 NaN 6 NaN 英语 90.0 7 NaN NaN NaN 8 小刚语文 85.0 9 NaN 数学 80.0 10 NaN 英语 90.0

步骤4：删除掉全是空值的行

studf.dropna(axis="index",how='all',inplace=True)

studf

姓名科目分数 0 小明语文 85.0 1 NaN 数学 80.0 2 NaN 英语 90.0 4 小王语文 85.0 5 NaN 数学 NaN 6 NaN 英语 90.0 8 小刚语文 85.0 9 NaN 数学 80.0 10 NaN 英语 90.0

步骤5：将分数列为空的填充为0分

studf.fillna({"分数":0})

姓名科目分数 0 小明语文 85.0 1 NaN 数学 80.0 2 NaN 英语 90.0 4 小王语文 85.0 5 NaN 数学 0.0 6 NaN 英语 90.0 8 小刚语文 85.0 9 NaN 数学 80.0 10 NaN 英语 90.0

#等同于
studf.loc[:,'分数']=studf['分数'].fillna(0)

studf

姓名科目分数 0 小明语文 85.0 1 NaN 数学 80.0 2 NaN 英语 90.0 4 小王语文 85.0 5 NaN 数学 0.0 6 NaN 英语 90.0 8 小刚语文 85.0 9 NaN 数学 80.0 10 NaN 英语 90.0

步骤6：将姓名的缺失值填充

使用前面的有效值填充，用ffill：forwardfill

studf.loc[:,'姓名']=studf['姓名'].fillna(method="ffill")

studf

姓名科目分数 0 小明语文 85.0 1 小明数学 80.0 2 小明英语 90.0 4 小王语文 85.0 5 小王数学 0.0 6 小王英语 90.0 8 小刚语文 85.0 9 小刚数学 80.0 10 小刚英语 90.0

步骤7：将清洗好的excel保存

studf.to_excel("./datas/student_excel/student_excel_clean.xlsx",index=False)

总结

以上就是我在处理客户端真实IP的方法，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对毛票票的支持。

Python Pandas对缺失值的处理方法

热门推荐

随机推荐