Python多进程方式抓取基金网站内容的方法分析
本文实例讲述了Python多进程方式抓取基金网站内容的方法。分享给大家供大家参考,具体如下:
在前面这篇//www.nhooo.com/article/162418.htm我们已经简单了解了”python的多进程”,现在我们需要把抓取基金网站(28页)内容写成多进程的方式。
因为进程也不是越多越好,我们计划分3个进程执行。意思就是:把总共要抓取的28页分成三部分。
怎么分呢?
#初始range r=range(1,29) #步长 step=10 myList=[r[x:x+step]forxinrange(0,len(r),step)] print(myList)#[range(1,11),range(11,21),range(21,29)]
看上面代码,我们就把1~29分成了三部分,list里三个range。
2、还记得我们抓取基金网站内容的getData()函数?
defgetData(start,end): forxinrange(start,end+1): #去第几页输入框 tonum=driver.find_element_by_id("tonum") #去第几页提交按钮 jumpBtn=driver.find_element_by_id("btn_jump") tonum.clear()#第x页输入框 tonum.send_keys(str(x))#去第x页 jumpBtn.click()#点击按钮 WebDriverWait(driver,20).until(lambdadriver:driver.find_element_by_id("pager")\ .find_element_by_xpath("span[@value={0}and@class!='endpage']".format(x))\ .get_attribute("class").find("at")!=-1) #保存抓取到的html内容 #保存到html目录下 withopen("./htmls/{0}.txt".format(x),"wb")asf: f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8")) f.close()
函数是有2个参数:一个开始页码,一个结束页码,也就是从第start页,到第end页。
这2个参数实际上也是range。
改造getData()函数如下(参数不同了):
#循环抓取网页内容的函数 defgetData(myrange): forxinmyrange: #去第几页输入框 tonum=driver.find_element_by_id("tonum") #去第几页提交按钮 jumpBtn=driver.find_element_by_id("btn_jump") tonum.clear()#第x页输入框 tonum.send_keys(str(x))#去第x页 jumpBtn.click()#点击按钮 WebDriverWait(driver,20).until(lambdadriver:driver.find_element_by_id("pager")\ .find_element_by_xpath("span[@value={0}and@class!='endpage']".format(x))\ .get_attribute("class").find("at")!=-1) #保存抓取到的html内容 #保存到html目录下 withopen("./htmls/{0}.txt".format(x),"wb")asf: f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8")) f.close()
3、创建进程,把target设置为上面的getData():
#初始range r=range(1,int(total_page)+1) #步长 step=10 myList=[r[x:x+step]forxinrange(0,len(r),step)]#把页面分段 #创建进程 processList=[] if__name__=="__main__": forrinmyList: p=Process(target=getData,args=(r,)) processList.append(p) #开始执行进程 forpinprocessList: p.start()
这样就有三个进程分别抓取。
4、多进程抓取基金网站多页内容完全代码:
#coding:utf-8 fromseleniumimportwebdriver fromselenium.webdriver.support.uiimportWebDriverWait fromselenium.webdriver.supportimportexpected_conditions frommultiprocessingimportProcess driver=webdriver.PhantomJS(executable_path=r"你phantomjs的可执行文件路径") #请求一个网址 driver.get("http://fund.eastmoney.com/fund.html") page_text=driver.find_element_by_id("pager").find_element_by_xpath("span[@class='nv']").text total_page=''.join(filter(str.isdigit,page_text))#得到总共有多少页 #循环抓取网页内容的函数 defgetData(myrange): forxinmyrange: #去第几页输入框 tonum=driver.find_element_by_id("tonum") #去第几页提交按钮 jumpBtn=driver.find_element_by_id("btn_jump") tonum.clear()#第x页输入框 tonum.send_keys(str(x))#去第x页 jumpBtn.click()#点击按钮 WebDriverWait(driver,20).until(lambdadriver:driver.find_element_by_id("pager")\ .find_element_by_xpath("span[@value={0}and@class!='endpage']".format(x))\ .get_attribute("class").find("at")!=-1) #保存抓取到的html内容 #保存到html目录下 withopen("./htmls/{0}.txt".format(x),"wb")asf: f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8")) f.close() #初始range r=range(1,int(total_page)+1) #步长 step=10 myList=[r[x:x+step]forxinrange(0,len(r),step)]#把页面分段 #创建进程 processList=[] if__name__=="__main__": forrinmyList: p=Process(target=getData,args=(r,)) processList.append(p) #开始执行进程 forpinprocessList: p.start()
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python进程与线程操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》、《Python+MySQL数据库程序设计入门教程》及《Python常见数据库操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。