scrapy数据存储在mysql数据库的两种方式(同步和异步)
方法一:同步操作
1.pipelines.py文件(处理数据的python文件)
importpymysql classLvyouPipeline(object): def__init__(self): #connectiondatabase self.connect=pymysql.connect(host='XXX',user='root',passwd='XXX',db='scrapy_test')#后面三个依次是数据库连接名、数据库密码、数据库名称 #getcursor self.cursor=self.connect.cursor() print("连接数据库成功") defprocess_item(self,item,spider): #sql语句 insert_sql=""" insertintolvyou(name1,address,grade,score,price)VALUES(%s,%s,%s,%s,%s) """ #执行插入数据到数据库操作 self.cursor.execute(insert_sql,(item['Name'],item['Address'],item['Grade'],item['Score'], item['Price'])) #提交,不进行提交无法保存到数据库 self.connect.commit() defclose_spider(self,spider): #关闭游标和连接 self.cursor.close() self.connect.close()
2.配置文件中
方式二异步储存
pipelines.py文件:
通过twisted实现数据库异步插入,twisted模块提供了twisted.enterprise.adbapi
1.导入adbapi
2.生成数据库连接池
3.执行数据数据库插入操作
4.打印错误信息,并排错
importpymysql fromtwisted.enterpriseimportadbapi #异步更新操作 classLvyouPipeline(object): def__init__(self,dbpool): self.dbpool=dbpool @classmethod deffrom_settings(cls,settings):#函数名固定,会被scrapy调用,直接可用settings的值 """ 数据库建立连接 :paramsettings:配置参数 :return:实例化参数 """ adbparams=dict( host=settings['MYSQL_HOST'], db=settings['MYSQL_DBNAME'], user=settings['MYSQL_USER'], password=settings['MYSQL_PASSWORD'], cursorclass=pymysql.cursors.DictCursor#指定cursor类型 ) #连接数据池ConnectionPool,使用pymysql或者Mysqldb连接 dbpool=adbapi.ConnectionPool('pymysql',**adbparams) #返回实例化参数 returncls(dbpool) defprocess_item(self,item,spider): """ 使用twisted将MySQL插入变成异步执行。通过连接池执行具体的sql操作,返回一个对象 """ query=self.dbpool.runInteraction(self.do_insert,item)#指定操作方法和操作数据 #添加异常处理 query.addCallback(self.handle_error)#处理异常 defdo_insert(self,cursor,item): #对数据库进行插入操作,并不需要commit,twisted会自动commit insert_sql=""" insertintolvyou(name1,address,grade,score,price)VALUES(%s,%s,%s,%s,%s) """ self.cursor.execute(insert_sql,(item['Name'],item['Address'],item['Grade'],item['Score'], item['Price'])) defhandle_error(self,failure): iffailure: #打印错误信息 print(failure)
注意:
1、python3.x不再支持MySQLdb,它在py3的替代品是:importpymysql。
2、报错pymysql.err.ProgrammingError:(1064,……
原因:当item['quotes']里面含有引号时,可能会报上述错误
解决办法:使用pymysql.escape_string()方法
例如:
sql="""INSERTINTOvideo_info(video_id,title)VALUES("%s","%s")"""%(video_info["id"],pymysql.escape_string(video_info["title"]))
3、存在中文的时候,连接需要添加charset='utf8',否则中文显示乱码。
4、每执行一次爬虫,就会将数据追加到数据库中,如果多次的测试爬虫,就会导致相同的数据不断累积,怎么实现增量爬取?
- scrapy-deltafetch
- scrapy-crawl-once(与1不同的是存储的数据库不同)
- scrapy-redis
- scrapy-redis-bloomfilter(3的增强版,存储更多的url,查询更快)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。