Python数据分析之获取双色球历史信息的方法示例


Posted in Python onFebruary 03, 2018

本文实例讲述了Python数据分析之获取双色球历史信息的方法。分享给大家供大家参考,具体如下:

每个人都有一颗中双色球大奖的心,对于技术人员来说,通过技术分析,可以增加中奖几率,现使用python语言收集历史双色球中奖信息,之后进行预测分析。

说明:采用2016年5月15日获取的双色球数据为基础进行分析,总抽奖数1940次。

初级代码,有些内容比较繁琐,有更好的代码,大家可以分享。

#!/usr/bin/python
# -*- coding:UTF-8 -*-
#coding:utf-8
#author:levycui
#date:20160513
#Description:双色球信息收集
import urllib2
from bs4 import BeautifulSoup  #采用BeautifulSoup
import os
import re
#伪装成浏览器登陆,获取网页源代码
def getPage(href):
  headers = {
    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
  }
  req = urllib2.Request(
    url = href ,
    headers = headers
  )
  try:
    post = urllib2.urlopen(req)
  except urllib2.HTTPError,e:
    print e.code
    print e.reason
  return post.read()
#初始化url 双色球首页
url = 'http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html'
#===============================================================================
#获取url总页数
def getPageNum(url):
  num =0
  page = getPage(url)
  soup = BeautifulSoup(page)
  strong = soup.find('td',colspan='7')
  # print strong
  if strong:
    result = strong.get_text().split(' ')
    # print result
    list_num = re.findall("[0-9]{1}",result[1])
    # print list_num
    for i in range(len(list_num)):
      num = num*10 + int(list_num[i])
    return num
  else:
    return 0
#===============================================================================
#获取每页双色球的信息
def getText(url):
  for list_num in range(1,getPageNum(url)):  #从第一页到第getPageNum(url)页
    print list_num #打印下页码
    href = 'http://kaijiang.zhcw.com/zhcw/html/ssq/list_'+str(list_num)+'.html' #调用新url链接
    # for listnum in len(list_num):
    page = BeautifulSoup(getPage(href))
    em_list = page.find_all('em')  #匹配em内容
    div_list = page.find_all('td',{'align':'center'})  #匹配 <td align=center>这样的内容
    #初始化n
    n = 0
    #将双色球数字信息写入num.txt文件
    fp = open("num.txt" ,"w")
    for div in em_list:
      emnum1 = div.get_text()
      # print emnum1
      text = div.get_text()
      text = text.encode('utf-8')
      #print title
      n=n+1
      if n==7:
        text = text + "\n"
        n=0
      else:
        text = text + ","
      fp.write(str(text))
    fp.close()
    #将日期信息写入date.txt文件
    fp = open("date.txt" ,"w")
    for div in div_list:
      text = div.get_text().strip('')
      # print text
      list_num = re.findall('\d{4}-\d{2}-\d{2}',text)
      list_num = str(list_num[::1])
      list_num = list_num[3:13]
      if len(list_num) == 0:
        continue
      elif len(list_num) > 1:
        fp.write(str(list_num)+'\n')
    fp.close()
    #将num.txt和date.txt文件进行整合写入hun.txt文件中
    #格式如下:
    #('2016-05-03', '09,12,24,28,29,30,02')
    #('2016-05-01', '06,08,13,14,22,27,10')
    #('2016-04-28', '03,08,13,14,15,30,04')
    #
    fp01 = open("date.txt","r")
    a=[]
    for line01 in fp01:
      a.append(line01.strip('\n'))
      # print a
    fp01.close()
    fp02 = open("num.txt","r")
    b=[]
    for line02 in fp02:
      b.append(line02.strip('\n'))
      # print b
    fp02.close()
    fp = open("hun.txt" ,"a")
    for cc in zip(a,b): #使用zip方法合并
      print cc
      fp.write(str(cc) + '\n')
    fp.close()
#===============================================================================
if __name__=="__main__":
  pageNum = getPageNum(url)
  print pageNum
  getpagetext = getText(url)
  print getpagetext

数据样例:

('2015-03-03', '09,11,16,18,23,24,10')
('2015-03-01', '08,09,10,13,29,30,01')
('2015-02-26', '04,07,10,16,23,25,10')

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python使用Tkinter显示网络图片的方法
Apr 24 Python
Python中线程编程之threading模块的使用详解
Jun 23 Python
python多进程和多线程究竟谁更快(详解)
May 29 Python
Django 如何获取前端发送的头文件详解(推荐)
Aug 15 Python
Windows下Anaconda的安装和简单使用方法
Jan 04 Python
Numpy中转置transpose、T和swapaxes的实例讲解
Apr 17 Python
Python 3.3实现计算两个日期间隔秒数/天数的方法示例
Jan 07 Python
python Django中models进行模糊查询的示例
Jul 18 Python
pandas 空数据处理方法详解
Nov 02 Python
Python 实现网课实时监控自动签到、打卡功能
Mar 12 Python
matplotlib如何设置坐标轴刻度的个数及标签的方法总结
Jun 11 Python
七个非常实用的Python工具包总结
Jun 15 Python
Python内建模块struct实例详解
Feb 02 #Python
获取python文件扩展名和文件名方法
Feb 02 #Python
Python字符串格式化%s%d%f详解
Feb 02 #Python
教你用一行Python代码实现并行任务(附代码)
Feb 02 #Python
Python实现Pig Latin小游戏实例代码
Feb 02 #Python
python在线编译器的简单原理及简单实现代码
Feb 02 #Python
使用Python进行AES加密和解密的示例代码
Feb 02 #Python
You might like
用php+mysql一个名片库程序
2006/10/09 PHP
探讨:parse url解析URL,返回其组成部分
2013/06/14 PHP
一个好用的PHP验证码类实例分享
2013/12/27 PHP
PHP页面转UTF-8中文编码乱码的解决办法
2015/10/20 PHP
PHP全功能无变形图片裁剪操作类与用法示例
2017/01/10 PHP
PHP实现的多维数组去重操作示例
2018/07/21 PHP
js实现iframe动态调整高度的代码
2008/01/06 Javascript
javascript oop开发滑动(slide)菜单控件
2010/08/25 Javascript
js写一个弹出层并锁屏效果实现代码
2012/12/07 Javascript
jQuery插件Zclip实现完美兼容个浏览器点击复制内容到剪贴板
2015/04/30 Javascript
jQuery实现的文字hover颜色渐变效果实例
2016/02/20 Javascript
JS仿hao123导航页面图片轮播效果
2016/09/01 Javascript
利用原生js和jQuery实现单选框的勾选和取消操作的方法
2016/09/04 Javascript
NODE.JS跨域问题的完美解决方案
2016/10/20 Javascript
JavaScript基础之AJAX简单的小demo
2017/01/29 Javascript
jQuery实现移动端Tab选项卡效果
2017/03/15 Javascript
vue与TypeScript集成配置最简教程(推荐)
2017/10/17 Javascript
使用selenium抓取淘宝的商品信息实例
2018/02/06 Javascript
Material(包括Material Icon)在Angular2中的使用详解
2018/02/11 Javascript
QQ跳转支付宝并自动领红包脚本(最新)
2018/06/22 Javascript
Nuxt.js实现校验访问浏览器类型的中间件
2018/08/24 Javascript
Vue作用域插槽slot-scope实例代码
2018/09/05 Javascript
使用vuepress搭建静态博客的示例代码
2019/02/14 Javascript
Vue中computed、methods与watch的区别总结
2019/04/10 Javascript
vue实现分页栏效果
2019/06/28 Javascript
vue实现购物车选择功能
2020/01/10 Javascript
粗略分析Python中的内存泄漏
2015/04/23 Python
python学习教程之Numpy和Pandas的使用
2017/09/11 Python
浅析使用Python搭建http服务器
2019/10/27 Python
selenium携带cookies模拟登陆CSDN的实现
2021/01/19 Python
python+opencv3.4.0 实现HOG+SVM行人检测的示例代码
2021/01/28 Python
学生会主席事迹材料
2014/01/28 职场文书
英语专业求职信
2014/07/08 职场文书
党员批评与自我批评总结
2014/10/15 职场文书
推荐信范文大全
2015/03/27 职场文书
单机多实例部署 MySQL8.0.20
2022/05/15 MySQL