python爬虫开发之使用Python爬虫库requests多线程抓取猫眼电影TOP100实例

2023-07-29 12:50:04 249

使用Python爬虫库requests多线程抓取猫眼电影TOP100思路：

查看网页源代码
抓取单页内容
正则表达式提取信息
猫眼TOP100所有信息写入文件
多线程抓取

运行平台：windows
Python版本：Python3.7.
IDE:SublimeText
浏览器：Chrome浏览器

1.查看猫眼电影TOP100网页原代码

按F12查看网页源代码发现每一个电影的信息都在“

”标签之中。

点开之后，信息如下：

2.抓取单页内容

在浏览器中打开猫眼电影网站，点击“榜单”，再点击“TOP100榜”如下图：

接下来通过以下代码获取网页源代码：

#-*-coding:utf-8-*-
importrequests
fromrequests.exceptionsimportRequestException

#猫眼电影网站有反爬虫措施，设置headers后可以爬取
headers={
	'Content-Type':'text/plain;charset=UTF-8',
	'Origin':'https://maoyan.com',
	'Referer':'https://maoyan.com/board/4',
	'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/67.0.3396.99Safari/537.36'
	}

#爬取网页源代码
defget_one_page(url,headers):
	try:
		response=requests.get(url,headers=headers)
		ifresponse.status_code==200:
			returnresponse.text
		returnNone
	exceptRequestsException:
		returnNone

defmain():
	url="https://maoyan.com/board/4"
	html=get_one_page(url,headers)
	print(html)

if__name__=='__main__':
	main()

执行结果如下：

3.正则表达式提取信息

上图标示信息即为要提取的信息，代码实现如下：

#-*-coding:utf-8-*-
importrequests
importre
fromrequests.exceptionsimportRequestException

#猫眼电影网站有反爬虫措施，设置headers后可以爬取
headers={
	'Content-Type':'text/plain;charset=UTF-8',
	'Origin':'https://maoyan.com',
	'Referer':'https://maoyan.com/board/4',
	'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/67.0.3396.99Safari/537.36'
	}

#爬取网页源代码
defget_one_page(url,headers):
	try:
		response=requests.get(url,headers=headers)
		ifresponse.status_code==200:
			returnresponse.text
		returnNone
	exceptRequestsException:
		returnNone

#正则表达式提取信息
defparse_one_page(html):
	pattern=re.compile('.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name">(.*?).*?star">(.*?)
.*?releasetime">(.*?)
.*?integer">(.*?).*?fraction">(.*?).*?',re.S)
	items=re.findall(pattern,html)
	foriteminitems:
		yield{
		'index':item[0],
		'image':item[1],
		'title':item[2],
		'actor':item[3].strip()[3:],
		'time':item[4].strip()[5:],
		'score':item[5]+item[6]
		}

defmain():
	url="https://maoyan.com/board/4"
	html=get_one_page(url,headers)
	foriteminparse_one_page(html):
		print(item)

if__name__=='__main__':
	main()

执行结果如下：

4.猫眼TOP100所有信息写入文件

上边代码实现单页的信息抓取，要想爬取100个电影的信息，先观察每一页url的变化，点开每一页我们会发现url进行变化，原url后面多了‘？offset=0',且offset的值变化从0,10,20，变化如下：

代码实现如下：

#-*-coding:utf-8-*-
importrequests
importre
importjson
importos
fromrequests.exceptionsimportRequestException

#猫眼电影网站有反爬虫措施，设置headers后可以爬取
headers={
	'Content-Type':'text/plain;charset=UTF-8',
	'Origin':'https://maoyan.com',
	'Referer':'https://maoyan.com/board/4',
	'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/67.0.3396.99Safari/537.36'
	}

#爬取网页源代码
defget_one_page(url,headers):
	try:
		response=requests.get(url,headers=headers)
		ifresponse.status_code==200:
			returnresponse.text
		returnNone
	exceptRequestsException:
		returnNone

#正则表达式提取信息
defparse_one_page(html):
	pattern=re.compile('.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name">(.*?).*?star">(.*?)
.*?releasetime">(.*?)
.*?integer">(.*?).*?fraction">(.*?).*?',re.S)
	items=re.findall(pattern,html)
	foriteminitems:
		yield{
		'index':item[0],
		'image':item[1],
		'title':item[2],
		'actor':item[3].strip()[3:],
		'time':item[4].strip()[5:],
		'score':item[5]+item[6]
		}
#猫眼TOP100所有信息写入文件
defwrite_to_file(content):
	#encoding='utf-8',ensure_ascii=False,使写入文件的代码显示为中文
	withopen('result.txt','a',encoding='utf-8')asf:
		f.write(json.dumps(content,ensure_ascii=False)+'\n')
		f.close()
#下载电影封面
defsave_image_file(url,path):

	jd=requests.get(url)
	ifjd.status_code==200:
		withopen(path,'wb')asf:
			f.write(jd.content)
			f.close()

defmain(offset):
	url="https://maoyan.com/board/4?offset="+str(offset)
	html=get_one_page(url,headers)
	ifnotos.path.exists('covers'):
		os.mkdir('covers')	
	foriteminparse_one_page(html):
		print(item)
		write_to_file(item)
		save_image_file(item['image'],'covers/'+item['title']+'.jpg')

if__name__=='__main__':
	#对每一页信息进行爬取
	foriinrange(10):
		main(i*10)

爬取结果如下：

5.多线程抓取

进行比较，发现多线程爬取时间明显较快：

多线程：

以下为完整代码：

#-*-coding:utf-8-*-
importrequests
importre
importjson
importos
fromrequests.exceptionsimportRequestException
frommultiprocessingimportPool
#猫眼电影网站有反爬虫措施，设置headers后可以爬取
headers={
	'Content-Type':'text/plain;charset=UTF-8',
	'Origin':'https://maoyan.com',
	'Referer':'https://maoyan.com/board/4',
	'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/67.0.3396.99Safari/537.36'
	}

#爬取网页源代码
defget_one_page(url,headers):
	try:
		response=requests.get(url,headers=headers)
		ifresponse.status_code==200:
			returnresponse.text
		returnNone
	exceptRequestsException:
		returnNone

#正则表达式提取信息
defparse_one_page(html):
	pattern=re.compile('.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name">(.*?).*?star">(.*?)
.*?releasetime">(.*?)
.*?integer">(.*?).*?fraction">(.*?).*?',re.S)
	items=re.findall(pattern,html)
	foriteminitems:
		yield{
		'index':item[0],
		'image':item[1],
		'title':item[2],
		'actor':item[3].strip()[3:],
		'time':item[4].strip()[5:],
		'score':item[5]+item[6]
		}
#猫眼TOP100所有信息写入文件
defwrite_to_file(content):
	#encoding='utf-8',ensure_ascii=False,使写入文件的代码显示为中文
	withopen('result.txt','a',encoding='utf-8')asf:
		f.write(json.dumps(content,ensure_ascii=False)+'\n')
		f.close()
#下载电影封面
defsave_image_file(url,path):

	jd=requests.get(url)
	ifjd.status_code==200:
		withopen(path,'wb')asf:
			f.write(jd.content)
			f.close()

defmain(offset):
	url="https://maoyan.com/board/4?offset="+str(offset)
	html=get_one_page(url,headers)
	ifnotos.path.exists('covers'):
		os.mkdir('covers')	
	foriteminparse_one_page(html):
		print(item)
		write_to_file(item)
		save_image_file(item['image'],'covers/'+item['title']+'.jpg')

if__name__=='__main__':
	#对每一页信息进行爬取
	pool=Pool()
	pool.map(main,[i*10foriinrange(10)])
	pool.close()
	pool.join()

本文主要讲解了使用Python爬虫库requests多线程抓取猫眼电影TOP100数据的实例,更多关于Python爬虫库的知识请查看下面的相关链接

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。