Python实现爬虫爬取NBA数据功能示例


Posted in Python onMay 28, 2018

本文实例讲述了Python实现爬虫爬取NBA数据功能。分享给大家供大家参考,具体如下:

爬取的网站为:stat-nba.com,这里爬取的是NBA2016-2017赛季常规赛至2017年1月7日的数据

改变url_header和url_tail即可爬取特定的其他数据。

源代码如下:

#coding=utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import requests
import time
import urllib
from bs4 import BeautifulSoup
import re
from pyExcelerator import *
def getURLLists(url_header,url_tail,pages):
  """
  获取所有页面的URL列表
  """
  url_lists = []
  url_0 = url_header+'0'+url_tail
  print url_0
  url_lists.append(url_0)
  for i in range(1,pages+1):
    url_temp = url_header+str(i)+url_tail
    url_lists.append(url_temp)
  return url_lists
def getNBAAllData(url_lists):
  """
  获取所有2017赛季NBA常规赛数据
  """
  datasets = ['']
  for item in url_lists:
    data1 = getNBASingleData(item)
    datasets.extend(data1)
  #去掉数据里的空元素
  for item in datasets[:]:
    if len(item) == 0:
      datasets.remove(item)
  return datasets
def getNBASingleData(url):
  """
  获取1个页面NBA常规赛数据
  """
  # url = 'http://stat-nba.com/query_team.php?QueryType=game&order=1&crtcol=date_out&GameType=season&PageNum=3000&Season0=2016&Season1=2017'
  # html = requests.get(url).text
  html = urllib.urlopen(url).read()
  # print html
  soup = BeautifulSoup(html)
  data = soup.html.body.find('tbody').text
  list_data = data.split('\n')
  # with open('nba_data.txt','a') as fp:
  #   fp.write(data)
  # for item in list_data[:]:
  #   if len(item) == 0:
  #     list_data.remove(item)
  return list_data
def saveDataToExcel(datasets,sheetname,filename):
  book = Workbook()
  sheet = book.add_sheet(sheetname)
  sheet.write(0,0,u'序号')
  sheet.write(0,1,u'球队')
  sheet.write(0,2,u'时间')
  sheet.write(0,3,u'结果')
  sheet.write(0,4,u'主客')
  sheet.write(0,5,u'比赛')
  sheet.write(0,6,u'投篮命中率')
  sheet.write(0,7,u'命中数')
  sheet.write(0,8,u'出手数')
  sheet.write(0,9,u'三分命中率')
  sheet.write(0,10,u'三分命中数')
  sheet.write(0,11,u'三分出手数')
  sheet.write(0,12,u'罚球命中率')
  sheet.write(0,13,u'罚球命中数')
  sheet.write(0,14,u'罚球出手数')
  sheet.write(0,15,u'篮板')
  sheet.write(0,16,u'前场篮板')
  sheet.write(0,17,u'后场篮板')
  sheet.write(0,18,u'助攻')
  sheet.write(0,19,u'抢断')
  sheet.write(0,20,u'盖帽')
  sheet.write(0,21,u'失误')
  sheet.write(0,22,u'犯规')
  sheet.write(0,23,u'得分')
  num = 24
  row_cnt = 0
  data_cnt = 0
  data_len = len(datasets)
  print 'data_len:',data_len
  while(data_cnt< data_len):
    row_cnt += 1
    print '序号:',row_cnt
    for col in range(num):
        # print col
        sheet.write(row_cnt,col,datasets[data_cnt])
        data_cnt += 1
  book.save(filename)
def writeDataToTxt(datasets):
  fp = open('nba_data.txt','w')
  line_cnt = 1
  for i in range(len(datasets)-1):
    #球队名称对齐的操作:如果球队名字过短或者为76人队是 球队名字后面加两个table 否则加1个table
    if line_cnt % 24 == 2 and len(datasets[i]) < 5 or datasets[i] == u'费城76人':
      fp.write(datasets[i]+'\t\t')
    else:
      fp.write(datasets[i]+'\t')
    line_cnt += 1
    if line_cnt % 24 == 1:
      fp.write('\n')
  fp.close()
if __name__ == "__main__":
  pages = int(1132/150)
  url_header = 'http://stat-nba.com/query_team.php?page='
  url_tail = '&QueryType=game&order=1&crtcol=date_out&GameType=season&PageNum=3000&Season0=2016&Season1=2017#label_show_result'
  url_lists = getURLLists(url_header,url_tail,pages)
  datasets = getNBAAllData(url_lists)
  writeDataToTxt(datasets)
  sheetname = 'nba normal data 2016-2017'
  str_time = time.strftime('%Y-%m-%d',time.localtime(time.time()))
  filename = 'nba_normal_data'+str_time+'.xls'
  saveDataToExcel(datasets,sheetname,filename)

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python增量循环删除MySQL表数据的方法
Sep 23 Python
如何使用Python的Requests包实现模拟登陆
Apr 27 Python
利用Python如何实现一个小说网站雏形
Nov 23 Python
浅谈python编译pyc工程--导包问题解决
Mar 20 Python
python 应用之Pycharm 新建模板默认添加编码格式-作者-时间等信息【推荐】
Jun 17 Python
Python3 执行Linux Bash命令的方法
Jul 12 Python
python 调试冷知识(小结)
Nov 11 Python
python3实现从kafka获取数据,并解析为json格式,写入到mysql中
Dec 23 Python
解决Pymongo insert时会自动添加_id的问题
Dec 05 Python
聊聊pytorch测试的时候为何要加上model.eval()
May 23 Python
详解python网络进程
Jun 15 Python
python自动化测试通过日志3分钟定位bug
Nov 20 Python
Django+Ajax+jQuery实现网页动态更新的实例
May 28 #Python
Python实现合并两个列表的方法分析
May 28 #Python
django js实现部分页面刷新的示例代码
May 28 #Python
Django项目中用JS实现加载子页面并传值的方法
May 28 #Python
Python面向对象类继承和组合实例分析
May 28 #Python
django传值给模板, 再用JS接收并进行操作的实例
May 28 #Python
Django处理文件上传File Uploads的实例
May 28 #Python
You might like
使用PHP实现密保卡功能实现代码&amp;lt;打包下载直接运行&amp;gt;
2011/10/09 PHP
php5.3 注意事项说明
2013/07/01 PHP
分享下php5类中三种数据类型的区别
2015/01/26 PHP
PHP 在数组中搜索给定的简单实例 array_search 函数
2016/06/13 PHP
PHP使用递归算法无限遍历数组示例
2017/01/13 PHP
php命令行写shell实例详解
2018/07/19 PHP
arguments对象
2006/11/20 Javascript
解决jquery submit()提交表单提示:f[s] is not a function
2013/01/23 Javascript
JS定时器实例
2013/04/17 Javascript
jQuery lazyLoad图片延迟加载插件的优化改造方法分享
2013/08/13 Javascript
网页右侧悬浮滚动在线qq客服代码示例
2014/04/28 Javascript
js实现回放拖拽轨迹从过程上进行分析
2014/06/26 Javascript
js面向对象之静态方法和静态属性实例分析
2015/01/10 Javascript
EasyUI实现第二层弹出框的方法
2015/03/01 Javascript
超精准的javascript验证身份证号的具体实现方法
2015/11/18 Javascript
Angular.Js的自动化测试详解
2016/12/09 Javascript
详谈js遍历集合(Array,Map,Set)
2017/04/06 Javascript
angular学习之从零搭建一个angular4.0项目
2017/07/10 Javascript
jquery在vue脚手架中的使用方式示例
2017/08/29 jQuery
详解webpack之scss和postcss-loader的配置
2018/01/09 Javascript
微信小程序实现星级评分和展示
2018/07/05 Javascript
Angular-UI Bootstrap组件实现警报功能
2018/07/16 Javascript
Node.js JSON模块用法实例分析
2019/01/04 Javascript
微信小程序实现判断是分享到群还是个人功能示例
2019/05/03 Javascript
vue中v-show和v-if的异同及v-show用法
2019/06/06 Javascript
vue-cli3.X快速创建项目的方法步骤
2019/11/14 Javascript
微信公众号H5之微信分享常见错误和问题(小结)
2019/11/14 Javascript
JavaScript事件冒泡机制原理实例解析
2020/01/14 Javascript
ubuntu安装mysql pycharm sublime
2018/02/20 Python
Python读取本地文件并解析网页元素的方法
2018/05/21 Python
用Python实现最速下降法求极值的方法
2019/07/10 Python
Pytorch 计算误判率,计算准确率,计算召回率的例子
2020/01/18 Python
公证处委托书
2015/01/28 职场文书
2015年结对帮扶工作总结
2015/05/04 职场文书
JS的深浅复制详细
2021/10/16 Javascript
JavaScript流程控制(循环)
2021/12/06 Javascript