浅析Python数据处理
Numpy、Pandas是Python数据处理中经常用到的两个框架，都是采用C语言编写，所以运算速度快。Matplotlib是Python的的画图工具，可以把之前处理后的数据通过图像绘制出来。之前只是看过语法，没有系统学习总结过，本博文总结了这三个框架的API。
以下是这三个框架的的简单介绍和区别：
- Numpy：经常用于数据生成和一些运算
- Pandas：基于Numpy构建的，是Numpy的升级版本
- Matplotlib：Python中强大的绘图工具
Numpy
Numpy快速入门教程可参考：Numpytutorial
Numpy属性
ndarray.ndim：维度
ndarray.shape：行数和列数，例如(3,5)
ndarray.size：元素的个数
ndarray.dtype：元素类型
Numpy创建
array(object,dtype=None)：使用Python的list或者tuple创建数据
zeors(shape,dtype=float)：创建全为0的数据
ones(shape,dtype=None)：创建全为1的数据
empty(shape,dtype=float)：创建没有初始化的数据
arange([start,]stop,[step,]dtype=None)：创建固定间隔的数据段
linspace(start,stop,num=50,dtype=None)：在给定的范围，均匀的创建数据
Numpy运算
加、减：a+b、a-b
乘：b*2、10*np.sin(a)
次方：b**2
判断：a<35，输出True或False的数组
矩阵乘：np.dot(A,B)或A.dot(B)
其他：+=、-+、sin、cos、exp
Numpy索引
数组索引方式：A[1,1]
切片：A[1,1:3]
迭代：foriteminA.flat
Numpy其他
reshape(a,newshape)：改变数据形状，不会对原始数据进行修改，返回一组新数据
resize(a,new_shape)：改变数据形状，会对原始数据进行修改，不返回数据
ravel(a)：将成一维返回
vstack(tup)：上下合并
hstack(tup)：左右合并
hsplit(ary,indices_or_sections)：水平分割n份
vsplit(ary,indices_or_sections)：垂直分割n份
copy(a)：深度拷贝
Pandas
Pandas快速入门教程可参考：10Minutestopandas
Pandas数据结构
Pandas的数据结构有两种：Series和DataFrame。
Series：索引在左边，值在右边。创建方式如下：
In[4]:s=pd.Series([1,3,5,np.nan,6,8]) In[5]:s Out[5]: 01.0 13.0 25.0 3NaN 46.0 58.0 dtype:float64
DataFrame：是一个表格型的数据结构，既有行索引也有列索引，它可以被看做由Series组成的大字典。创建方式如下：
In[6]:dates=pd.date_range('20130101',periods=6)
In[7]:dates
Out[7]:
DatetimeIndex(['2013-01-01','2013-01-02','2013-01-03','2013-01-04',
'2013-01-05','2013-01-06'],
dtype='datetime64[ns]',freq='D')
In[8]:df=pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD'))
Pandas查看数据
index：索引
columns：列索引
values：值
head(n=5)：返回前n项数据
tail(n=5)：返回后n项数据
describe()：打印出数据的数量、平均值等各项数据
sort_index(axis=1,ascending=False)：根据索引排序
sort_values(by='B')：根据索引值排序
Pandas选择数据
数组选择方式：df[‘A']
切片选择方式：df[0:3]或df[‘20130102':'20130104']
根据标签选择：df.loc[‘20130102':'20130104',[‘A','B']]
根据位置选择：df.iloc[3:5,0:2]
混合选择：df.ix[:3,[‘A','C']]
条件判断选择：df[df.A>0]
Pandas处理丢失数据
删除丢失数据的行：df.dropna(how='any')
填充丢失数据：df.fillna(value=5)
数据值是否为NaN：pd.isna(df1)
Pandas合并数据
pd.concat([df1,df2,df3],axis=0)：合并df
pd.merge(left,right,on='key')：根据key字段合并
df.append(s,ignore_index=True)：添加数据
Pandas导入导出
df.to_csv(‘foo.csv')：保存到csv文件
pd.read_csv(‘foo.csv')：从csv文件读取
df.to_excel(‘foo.xlsx',sheet_name='Sheet1')：保存到excel文件
pd.read_excel(‘foo.xlsx',‘Sheet1',index_col=None,na_values=[‘NA'])：从excel文件读取
Matplotlib
这里只介绍最简单的出图方式：
importpandasaspd importnumpyasnp importmatplotlib.pyplotasplt #随机生成1000个数据 data=pd.Series(np.random.randn(1000),index=np.arange(1000)) #为了方便观看效果,我们累加这个数据 data.cumsum() #pandas数据可以直接观看其可视化形式 data.plot() plt.show()