pandas如何处理缺失值
在实际应用中对于数据进行分析的时候，经常能看见缺失值，下面来介绍一下如何利用pandas来处理缺失值。常见的缺失值处理方式有，过滤、填充。
一、缺失值的判断
pandas使用浮点值NaN(NotaNumber)表示浮点数和非浮点数组中的缺失值，同时python内置None值也会被当作是缺失值。
a、Series的缺失值判断
s=Series(["a","b",np.nan,"c",None]) print(s) ''' 0a 1b 2NaN 3c 4None ''' #判断缺失值,如果是则返回True,否则返回False print(s.isnull()) ''' 0False 1False 2True 3False 4True ''' #输出缺失值的索引和值 print(s[s.isnull()]) ''' 2NaN 4None '''
b、DataFrame的缺失值判断
a=[[1,np.nan,2],[3,4,None]] data=DataFrame(a) #DataFrame的None值变成了NaN print(data) ''' 012 01NaN2.0 134.0NaN ''' print(data.isnull()) ''' 012 0FalseTrueFalse 1FalseFalseTrue ''' print(data[data.isnull()]) ''' 012 0NaNNaNNaN 1NaNNaNNaN '''
注意：在使用Series和DataFrame的时候，如果其中有值为None，Series会输出None，而DataFrame会输出NaN，但是对空值判断没有影响。DataFrame使用isnull方法在输出空值的时候全为NaN，因为DataFrame对于False对应的位置，输出值会使用NaN代替，而Series对于Fasel对应的位置是没有输出值的。
二、过滤缺失数据
a、Series的缺失值过滤
s=Series(["a","b",np.nan,"c",None]) #通过使用notnull方法来获取非缺失数据 print(s[s.notnull()]) ''' 0a 1b 3c ''' #使用dropna方法删除缺失数据,返回一个删除后的Series print(s.dropna()) ''' 0a 1b 3c ''' #并没有在原来的Series上进行直接删除 print(s) ''' 0a 1b 2NaN 3c 4None ''' #通过设置inplace参数为True,在原Series上进行删除,不会返回Series print(s.dropna(inplace=True)) #None print(s) ''' 0a 1b 3c '''
b、DataFrame的缺失值过滤
DataFrame删除缺失值相对于Series而言就要复杂一些，也许有的时候你是想删除含有缺失值的行或列，也许有时候你需要删除的是，当整行或整列全为缺失值的时候才删除，好在pandas对于这两种情况都有相对应的处理方法。
1、删除含有缺失值的行和列
a=[[1,np.nan,2],[9,None,np.nan],[3,4,None],[5,6,7]] data=DataFrame(a) print(data) ''' 012 01NaN2.0 19NaNNaN 234.0NaN 356.07.0 ''' #使用dropna方法删除含有缺失值的行，默认是行 print(data.dropna()) ''' 012 356.07.0 ''' #删除含有缺失值的列 print(data.dropna(axis=1)) ''' 0 01 19 23 35 '''
2、删除全为NaN的行和列
a=[[1,np.nan,2],[np.nan,None,np.nan],[3,None,None],[5,None,7]] data=DataFrame(a) print(data) ''' 012 01.0NaN2.0 1NaNNaNNaN 23.0NaNNaN 35.0NaN7.0 ''' #当行全为NaN的时候,才删除,参数how默认是any,含有缺失值就删除 print(data.dropna(how="all")) ''' 012 01.0NaN2.0 23.0NaNNaN 35.0NaN7.0 ''' #当列全为NaN的时候，才删除 print(data.dropna(how="all",axis=1)) ''' 02 01.02.0 1NaNNaN 23.0NaN 35.07.0 '''
dropna方法的inplace的设置与Series一样。
3、指定删除数据后显示部分数据观察
a=[[1,np.nan,2],[np.nan,None,np.nan],[3,None,None],[5,None,7]] data=DataFrame(a) print(data) ''' 012 01.0NaN2.0 1NaNNaNNaN 23.0NaNNaN 35.0NaN7.0 ''' #当行全为NaN的时候,才删除,参数how默认是any,含有缺失值就删除 print(data.dropna(how="all")) ''' 012 01.0NaN2.0 23.0NaNNaN 35.0NaN7.0 ''' #通过thresh参数来控制显示删除数据的条数，删除列的时候thresh参数无效 print(data.dropna(how="all",thresh=2)) ''' 012 01.0NaN2.0 35.0NaN7.0 '''
三、填充缺失值
数据都是宝贵的，也许有时候你的数据不够多，因为数据越多对于模型的训练，数据分析都是有好处的，所以很多的时候我们都不想删除数据。通常情况下，也许你会选择用一些特殊值来填充缺失值。下面介绍使用pandas的fillna方法来填充缺失数据。
1、指定特殊值填充缺失值
a=[[1,2,2],[3,None,6],[3,7,None],[5,None,7]] data=DataFrame(a) print(data) ''' 012 012.02.0 13NaN6.0 237.0NaN 35NaN7.0 ''' #用0填充所有的缺失数据 print(data.fillna(0)) ''' 012 012.02.0 130.06.0 237.00.0 350.07.0 '''
2、不同列使用不同的填充值
a=[[1,2,2],[3,None,6],[3,7,None],[5,None,7]]
data=DataFrame(a)
print(data)
'''
012
012.02.0
13NaN6.0
237.0NaN
35NaN7.0
'''
print(data.fillna({1:1,2:2}))
'''
012
012.02.0
131.06.0
237.02.0
351.07.0
'''
3、前向填充和后向填充
a=[[1,2,2],[3,None,6],[3,7,None],[5,None,7]] data=DataFrame(a) print(data) ''' 012 012.02.0 13NaN6.0 237.0NaN 35NaN7.0 ''' #前向填充，使用默认是上一行的值,设置axis=1可以使用列进行填充 print(data.fillna(method="ffill")) ''' 012 012.02.0 132.06.0 237.06.0 357.07.0 ''' #后向填充，使用下一行的值,不存在的时候就不填充 print(data.fillna(method="bfill")) ''' 012 012.02.0 137.06.0 237.07.0 35NaN7.0 '''
4、使用列的平均值进行填充
a=[[1,2,2],[3,None,6],[3,7,None],[5,None,7]] data=DataFrame(a) print(data) ''' 012 012.02.0 13NaN6.0 237.0NaN 35NaN7.0 ''' print(data.fillna(data.mean())) ''' 012 012.02.0 134.56.0 237.05.0 354.57.0 '''
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。