Python数据分析之获取双色球历史信息的方法示例
本文实例讲述了Python数据分析之获取双色球历史信息的方法。分享给大家供大家参考,具体如下:
每个人都有一颗中双色球大奖的心,对于技术人员来说,通过技术分析,可以增加中奖几率,现使用python语言收集历史双色球中奖信息,之后进行预测分析。
说明:采用2016年5月15日获取的双色球数据为基础进行分析,总抽奖数1940次。
初级代码,有些内容比较繁琐,有更好的代码,大家可以分享。
#!/usr/bin/python #-*-coding:UTF-8-*- #coding:utf-8 #author:levycui #date:20160513 #Description:双色球信息收集 importurllib2 frombs4importBeautifulSoup#采用BeautifulSoup importos importre #伪装成浏览器登陆,获取网页源代码 defgetPage(href): headers={ 'User-Agent':'Mozilla/5.0(Windows;U;WindowsNT6.1;en-US;rv:1.9.1.6)Gecko/20091201Firefox/3.5.6' } req=urllib2.Request( url=href, headers=headers ) try: post=urllib2.urlopen(req) excepturllib2.HTTPError,e: printe.code printe.reason returnpost.read() #初始化url双色球首页 url='http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html' #=============================================================================== #获取url总页数 defgetPageNum(url): num=0 page=getPage(url) soup=BeautifulSoup(page) strong=soup.find('td',colspan='7') #printstrong ifstrong: result=strong.get_text().split('') #printresult list_num=re.findall("[0-9]{1}",result[1]) #printlist_num foriinrange(len(list_num)): num=num*10+int(list_num[i]) returnnum else: return0 #=============================================================================== #获取每页双色球的信息 defgetText(url): forlist_numinrange(1,getPageNum(url)):#从第一页到第getPageNum(url)页 printlist_num#打印下页码 href='http://kaijiang.zhcw.com/zhcw/html/ssq/list_'+str(list_num)+'.html'#调用新url链接 #forlistnuminlen(list_num): page=BeautifulSoup(getPage(href)) em_list=page.find_all('em')#匹配em内容 div_list=page.find_all('td',{'align':'center'})#匹配这样的内容 #初始化n n=0 #将双色球数字信息写入num.txt文件 fp=open("num.txt","w") fordivinem_list: emnum1=div.get_text() #printemnum1 text=div.get_text() text=text.encode('utf-8') #printtitle n=n+1 ifn==7: text=text+"\n" n=0 else: text=text+"," fp.write(str(text)) fp.close() #将日期信息写入date.txt文件 fp=open("date.txt","w") fordivindiv_list: text=div.get_text().strip('') #printtext list_num=re.findall('\d{4}-\d{2}-\d{2}',text) list_num=str(list_num[::1]) list_num=list_num[3:13] iflen(list_num)==0: continue eliflen(list_num)>1: fp.write(str(list_num)+'\n') fp.close() #将num.txt和date.txt文件进行整合写入hun.txt文件中 #格式如下: #('2016-05-03','09,12,24,28,29,30,02') #('2016-05-01','06,08,13,14,22,27,10') #('2016-04-28','03,08,13,14,15,30,04') # fp01=open("date.txt","r") a=[] forline01infp01: a.append(line01.strip('\n')) #printa fp01.close() fp02=open("num.txt","r") b=[] forline02infp02: b.append(line02.strip('\n')) #printb fp02.close() fp=open("hun.txt","a") forccinzip(a,b):#使用zip方法合并 printcc fp.write(str(cc)+'\n') fp.close() #=============================================================================== if__name__=="__main__": pageNum=getPageNum(url) printpageNum getpagetext=getText(url) printgetpagetext
数据样例:
('2015-03-03','09,11,16,18,23,24,10') ('2015-03-01','08,09,10,13,29,30,01') ('2015-02-26','04,07,10,16,23,25,10')
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python数学运算技巧总结》、《Python字符串操作技巧汇总》、《Python编码操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。