好资源导航 » 文章资讯 » Python从数据库读取大量数据批量写入文件的方法

Python从数据库读取大量数据批量写入文件的方法

2023-09-04 12:10:06 69

使用机器学习训练数据时，如果数据量较大可能我们不能够一次性将数据加载进内存，这时我们需要将数据进行预处理，分批次加载进内存。

下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件，方便我们做数据的预处理和训练机器学习模型。

#%%
importpymssqlasMySQLdb#这里是python3如果你是python2.x的话，importMySQLdb
#数据库连接属性
hst='188.10.34.18'
usr='sa'
passwd='p@ssw0rd'
db='HistoryTrace'

#总共多少数据
allData=1674333
#每个批次多少条数据
dataOfEach=20000
#批次
batch=ceil(allData/dataOfEach)

#文件名
globalIDctrl
IDctrl=1
filename=str(IDctrl)+'.txt'

#连接数据库
conn=MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()

whileIDctrl
以上这篇Python从数据库读取大量数据批量写入文件的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。

返回顶部
514930285
czq8825@qq.com

Python从数据库读取大量数据批量写入文件的方法

热门推荐

随机推荐