好资源导航 » 文章资讯 » Python selenium爬取微信公众号文章代码详解

Python selenium爬取微信公众号文章代码详解

2023-07-18 22:19:03 72

参照资料：seleniumwebdriver添加cookie:https://www.nhooo.com/article/193102.html

需求：

想阅读微信公众号历史文章，但是每次找回看得地方不方便。

思路：

1、使用selenium打开微信公众号历史文章，并滚动刷新到最底部，获取到所有历史文章urls。

2、对urls进行遍历访问，并进行下载到本地。

实现

1、打开微信客户端，点击某个微信公众号->进入公众号->打开历史文章链接（使用浏览器打开），并通过开发者工具获取到cookies，保存为excel。

2、启动webdriver，并添加相应cookies。

browser=webdriver.Chrome()
wait=WebDriverWait(browser,10)
#随便访问一个地址，然后才能设置cookies
browser.get('https://httpbin.org/get')
#添加cookies,df为保存的excelcookies
foriinrange(len(df)):
cookie_dict={
"domain":df.loc[i,'DomaiN'],
'name':df.loc[i,'Name'],
'value':str(df.loc[i,'Value']),
"expires":df.loc[i,"Expires/Max-Age"],
'path':'/',}
browser.add_cookie(cookie_dict)
browser.get(weixin_url)

3、控制浏览器下移动

观察page_source，可以发现，文章到最底部的判断是。



已无更多
关注公众帐号，接收更多消息

使用driver控制JS。

%%time
#通过判断已无更多的style,来判断是否到最底部，最终执行到最底部
no_more_msg_style='display:none;'
whileTrue:
wait.until(EC.presence_of_element_located((By.XPATH,'//span[@class="tipsjs_no_more_msg"andtext()="已无更多"]')))
no_more=browser.find_element_by_xpath('//span[@class="tipsjs_no_more_msg"andtext()="已无更多"]')
now_style=no_more.get_attribute('style')
ifstr(now_style).find(no_more_msg_style)==-1:
#说明已经加载完了
break
else:
#停顿一会，等待浏览器加载
time.sleep(5)
#通过JS，执行到最底部
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')

4、关键信息获取。

根据html,分析得出文章url处在中。


2017年1月13日

承认自己是难民有什么错枷锁已经足够沉重，谢绝道德绑架

2017年1月13日

文章类型主要分为，

有无原创进行划分。

最终实现：

%%time
result=[]
errlist=[]
#先得到其中一个
el_divs=browser.find_elements_by_xpath('//div[@class="weui_msg_card_list"]/div[@class="weui_msg_cardjs_card"]')
i=0
fordivinel_divs:
date=title=url=yuanchuang=''
try:
date=div.find_element_by_xpath('.//div[@class="weui_msg_card_hd"]').get_attribute('innerHTML')
el_content=div.find_element_by_xpath('.//div[@class="weui_media_bdjs_media"]')
ifel_content.get_attribute('data-type')=='APPMSG':
el=el_content.find_element_by_xpath('./h4[@class="weui_media_title"]')
title=el.text
url=el.get_attribute('hrefs')
xb=el_content.find_element_by_xpath('./p[@class="weui_media_extra_info"]').text
yuanchuang='原创'ifxb.find('原创')!=-1else''
elifel_content.get_attribute('data-type')=='TEXT':
title='随文'
url=el_content.find_element_by_xpath('./div').text
yuanchuang='原创'
else:
#其他未能识别的类型
errlist.append([i,div.get_attribute('innerHTML')])
exceptNoSuchElementException:
errlist.append([i,div.get_attribute('innerHTML')])
print(str(i),':',date,title,url,yuanchuang)
result.append([date,title,yuanchuang,url])
i=i+1

5、将得到url保存到excel

dfout=pd.DataFrame(result,columns=['日期','标题','原创','地址'])
withpd.ExcelWriter(savename)aswriter:
dfout.to_excel(writer,index=False,sheet_name='Sheet1')

最终保存形式

6、在遍历最后的链接地址，逐个requets保存，即可得到。组建成菜单形式的文章，可参考

记一次excelvba参考手册爬虫实战，不必要的一次爬虫。：htthttps://www.nhooo.com/article/193107.htm

遇到的坑：

1、find_element_by_xpath需要配上NoSuchElementException使用，否则遇到未找到的节点就会出错，最初find_elements_by_xpath来防止找不到相关节点，结果发现，执行速度异常的慢，需要查找原因。

2、cookies使用的时候是人为获取，如果太长时间不用，需要重新获取。可以考虑结合pyautogui来控制weixin客户端来进行获取。？

3、构建的时候，最后分布试行，最初的文章类型没有做好判断，结果执行时间很久。做好异常捕获，再逐步分析错误的节点问题。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

返回顶部
514930285
czq8825@qq.com

Python selenium爬取微信公众号文章代码详解

热门推荐

随机推荐