Python爬虫使用bs4方法实现数据解析
聚焦爬虫:
爬取页面中指定的页面内容。
编码流程：
- 1.指定url
- 2.发起请求
- 3.获取响应数据
- 4.数据解析
- 5.持久化存储
数据解析分类：
- 1.bs4
- 2.正则
- 3.xpath(***)
数据解析原理概述：
解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储
1.进行指定标签的定位
2.标签或者标签对应的属性中存储的数据值进行提取（解析）
bs4进行数据解析数据解析的原理：
1.标签定位
2.提取标签、标签属性中存储的数据值
bs4数据解析的原理：
1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
环境安装：
pipinstallbs4-ihttps://pypi.tuna.tsinghua.edu.cn/simple
pipinstalllxml-ihttps://pypi.tuna.tsinghua.edu.cn/simple
实例化BeautifulSoup对象步骤：
frombs4importBeautifulSoup
对象的实例化：
1.将本地的html文档中的数据加载到该对象中
fp=open('./test.html','r',encoding='utf-8')
soup=BeautifulSoup(fp,'lxml')
2.将互联网上获取的页面源码加载到该对象中（常用方法，推荐）
page_text=response.text
soup=BeatifulSoup(page_text,'lxml')
提供的用于数据解析的方法和属性：
soup.tagName:返回的是文档中第一次出现的tagName对应的标签
soup.find():
find('tagName'):等同于soup.div
1.属性定位：
soup.find('div',class_/id/attr='song')
soup.find_all('tagName'):返回符合要求的所有标签（列表）
select：
select('某种选择器（id，class，标签...选择器）'),返回的是一个列表。
2.层级选择器：
soup.select('.tang>ul>li>a')：>表示的是一个层级
soup.select('.tang>ula')：空格表示的多个层级
3.获取标签之间的文本数据：
soup.a.text/string/get_text()
text/get_text():可以获取某一个标签中所有的文本内容
string：只可以获取该标签下面直系的文本内容
4.获取标签中属性值：
soup.a['href']
案例：爬取三国演义小说所有的章节标题和章节内容代码如下：
importrequests
frombs4importBeautifulSoup
if__name__=="__main__":
#对首页的页面数据进行爬取
headers={
'User-Agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_12_0)AppleWebKit/537.36(KHTML,likeGecko)Chrome/72.0.3626.121Safari/537.36'
}
url='http://www.shicimingju.com/book/sanguoyanyi.html'
page_text=requests.get(url=url,headers=headers).text
#在首页中解析出章节的标题和详情页的url
#实例化BeautifulSoup对象，需要将页面源码数据加载到该对象中
soup=BeautifulSoup(page_text,'lxml')
#解析章节标题和详情页的url
li_list=soup.select('.book-mulu>ul>li')
fp=open('./sanguo.txt','w',encoding='utf-8')
forliinli_list:
title=li.a.string
detail_url='http://www.shicimingju.com'+li.a['href']
#对详情页发起请求，解析出章节内容
detail_page_text=requests.get(url=detail_url,headers=headers).text
#解析出详情页中相关的章节内容
detail_soup=BeautifulSoup(detail_page_text,'lxml')
div_tag=detail_soup.find('div',class_='chapter_content')
#解析到了章节的内容
content=div_tag.text
fp.write(title+':'+content+'\n')
print(title,'爬取成功！！！')
运行结果：
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。