Python数据存储之 h5py详解
1、Python数据存储（压缩）
（1）numpy.save,numpy.savez,scipy.io.savemat
numpy和scipy内建的数据存储方式。
（2）cPickle+gzip
cPickle是pickle内建的数据存储方式，gzip是常用的文件压缩模块。
（3）h5py
h5py是对HDF5文件格式进行读写的python包，关于h5py更多介绍与安装，参考官方网站
关于HDF5，参考官方网站。：
一个HDF5文件就是一个由两种基本数据对象（groupsanddatasets）存放多种科学数据的容器：
HDF5dataset:数据元素的一个多维数组以及支持元数据（metadata）；HDF5group:包含0个或多个HDF5对象以及支持元数据（metadata）的一个群组结构；
总之，dataset是类似于数组的数据集，而group是类似文件夹一样的容器，存放dataset和其他group；group和dataset在h5py中的使用有点类似于词典和Numpy中数组的用法。
h5py的优势：速度快、压缩效率高，总之，numpy.savez和cPickle存储work或不work的都可以试一试h5py！
2、h5py读取和存储数据示例
importh5py
X=np.random.rand(100,1000,1000).astype('float32')
y=np.random.rand(1,1000,1000).astype('float32')
#Createanewfile
f=h5py.File('data.h5','w')
f.create_dataset('X_train',data=X)
f.create_dataset('y_train',data=y)
f.close()
#Loadhdf5dataset
f=h5py.File('data.h5','r')
X=f['X_train']
Y=f['y_train']
f.close()
详细使用方法，参考官网。
以上这篇Python数据存储之h5py详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。