Python实现爬虫爬取NBA数据功能示例


Posted in Python onMay 28, 2018

本文实例讲述了Python实现爬虫爬取NBA数据功能。分享给大家供大家参考,具体如下:

爬取的网站为:stat-nba.com,这里爬取的是NBA2016-2017赛季常规赛至2017年1月7日的数据

改变url_header和url_tail即可爬取特定的其他数据。

源代码如下:

#coding=utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import requests
import time
import urllib
from bs4 import BeautifulSoup
import re
from pyExcelerator import *
def getURLLists(url_header,url_tail,pages):
  """
  获取所有页面的URL列表
  """
  url_lists = []
  url_0 = url_header+'0'+url_tail
  print url_0
  url_lists.append(url_0)
  for i in range(1,pages+1):
    url_temp = url_header+str(i)+url_tail
    url_lists.append(url_temp)
  return url_lists
def getNBAAllData(url_lists):
  """
  获取所有2017赛季NBA常规赛数据
  """
  datasets = ['']
  for item in url_lists:
    data1 = getNBASingleData(item)
    datasets.extend(data1)
  #去掉数据里的空元素
  for item in datasets[:]:
    if len(item) == 0:
      datasets.remove(item)
  return datasets
def getNBASingleData(url):
  """
  获取1个页面NBA常规赛数据
  """
  # url = 'http://stat-nba.com/query_team.php?QueryType=game&order=1&crtcol=date_out&GameType=season&PageNum=3000&Season0=2016&Season1=2017'
  # html = requests.get(url).text
  html = urllib.urlopen(url).read()
  # print html
  soup = BeautifulSoup(html)
  data = soup.html.body.find('tbody').text
  list_data = data.split('\n')
  # with open('nba_data.txt','a') as fp:
  #   fp.write(data)
  # for item in list_data[:]:
  #   if len(item) == 0:
  #     list_data.remove(item)
  return list_data
def saveDataToExcel(datasets,sheetname,filename):
  book = Workbook()
  sheet = book.add_sheet(sheetname)
  sheet.write(0,0,u'序号')
  sheet.write(0,1,u'球队')
  sheet.write(0,2,u'时间')
  sheet.write(0,3,u'结果')
  sheet.write(0,4,u'主客')
  sheet.write(0,5,u'比赛')
  sheet.write(0,6,u'投篮命中率')
  sheet.write(0,7,u'命中数')
  sheet.write(0,8,u'出手数')
  sheet.write(0,9,u'三分命中率')
  sheet.write(0,10,u'三分命中数')
  sheet.write(0,11,u'三分出手数')
  sheet.write(0,12,u'罚球命中率')
  sheet.write(0,13,u'罚球命中数')
  sheet.write(0,14,u'罚球出手数')
  sheet.write(0,15,u'篮板')
  sheet.write(0,16,u'前场篮板')
  sheet.write(0,17,u'后场篮板')
  sheet.write(0,18,u'助攻')
  sheet.write(0,19,u'抢断')
  sheet.write(0,20,u'盖帽')
  sheet.write(0,21,u'失误')
  sheet.write(0,22,u'犯规')
  sheet.write(0,23,u'得分')
  num = 24
  row_cnt = 0
  data_cnt = 0
  data_len = len(datasets)
  print 'data_len:',data_len
  while(data_cnt< data_len):
    row_cnt += 1
    print '序号:',row_cnt
    for col in range(num):
        # print col
        sheet.write(row_cnt,col,datasets[data_cnt])
        data_cnt += 1
  book.save(filename)
def writeDataToTxt(datasets):
  fp = open('nba_data.txt','w')
  line_cnt = 1
  for i in range(len(datasets)-1):
    #球队名称对齐的操作:如果球队名字过短或者为76人队是 球队名字后面加两个table 否则加1个table
    if line_cnt % 24 == 2 and len(datasets[i]) < 5 or datasets[i] == u'费城76人':
      fp.write(datasets[i]+'\t\t')
    else:
      fp.write(datasets[i]+'\t')
    line_cnt += 1
    if line_cnt % 24 == 1:
      fp.write('\n')
  fp.close()
if __name__ == "__main__":
  pages = int(1132/150)
  url_header = 'http://stat-nba.com/query_team.php?page='
  url_tail = '&QueryType=game&order=1&crtcol=date_out&GameType=season&PageNum=3000&Season0=2016&Season1=2017#label_show_result'
  url_lists = getURLLists(url_header,url_tail,pages)
  datasets = getNBAAllData(url_lists)
  writeDataToTxt(datasets)
  sheetname = 'nba normal data 2016-2017'
  str_time = time.strftime('%Y-%m-%d',time.localtime(time.time()))
  filename = 'nba_normal_data'+str_time+'.xls'
  saveDataToExcel(datasets,sheetname,filename)

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python中几个比较常见的名词解释
Jul 04 Python
Ubuntu下安装PyV8
Mar 13 Python
详解Python sys.argv使用方法
May 10 Python
python tkinter实现界面切换的示例代码
Jun 14 Python
python 判断linux进程,并杀死进程的实现方法
Jul 01 Python
使用python写的opencv实时监测和解析二维码和条形码
Aug 14 Python
django-rest-swagger对API接口注释的方法
Aug 29 Python
Python拆分大型CSV文件代码实例
Oct 07 Python
python隐藏类中属性的3种实现方法
Dec 19 Python
python将logging模块封装成单独模块并实现动态切换Level方式
May 12 Python
浅谈numpy中np.array()与np.asarray的区别以及.tolist
Jun 03 Python
解决pip install psycopg2出错问题
Jul 09 Python
Django+Ajax+jQuery实现网页动态更新的实例
May 28 #Python
Python实现合并两个列表的方法分析
May 28 #Python
django js实现部分页面刷新的示例代码
May 28 #Python
Django项目中用JS实现加载子页面并传值的方法
May 28 #Python
Python面向对象类继承和组合实例分析
May 28 #Python
django传值给模板, 再用JS接收并进行操作的实例
May 28 #Python
Django处理文件上传File Uploads的实例
May 28 #Python
You might like
PHP安全编程之加密功能
2006/10/09 PHP
PHP读取MySQL数据代码
2008/06/05 PHP
php 获取客户端的真实ip
2009/11/30 PHP
php图片的裁剪与缩放生成符合需求的缩略图
2013/01/11 PHP
用php随机生成福彩双色球号码的2种方法
2013/02/04 PHP
浅析PHP页面局部刷新功能的实现小结
2013/06/21 PHP
PHP判断是否为空的几个函数对比
2015/04/21 PHP
PHP类型约束用法示例
2016/09/28 PHP
javascript 程序库的比较(一)之DOM功能
2010/04/07 Javascript
JavaScript SetInterval与setTimeout使用方法详解
2013/11/15 Javascript
js中style.display=&quot;&quot;无效的解决方法
2014/10/30 Javascript
ECMAScript 5中的属性描述符详解
2015/03/02 Javascript
超级简单实现JavaScript MVC 样式框架
2015/03/24 Javascript
AngularJS使用angular.bootstrap完成模块手动加载的方法分析
2017/01/19 Javascript
详解前后端分离之VueJS前端
2017/05/24 Javascript
带你了解session和cookie作用原理区别和用法
2017/08/14 Javascript
Layui table 组件的使用之初始化加载数据、数据刷新表格、传参数
2017/09/11 Javascript
深入理解JavaScript的async/await
2018/08/05 Javascript
layui 表格的属性的显示转换方法
2018/08/14 Javascript
详解Vue前端生产环境发布配置实战篇
2019/05/07 Javascript
vue权限问题的完美解决方案
2019/05/08 Javascript
少女风vue组件库的制作全过程
2019/05/15 Javascript
vue动态禁用控件绑定disable的例子
2019/10/28 Javascript
浅谈javascript如何获取文件后缀名
2020/08/07 Javascript
python如何查看系统网络流量的信息
2016/09/12 Python
python sqlite的Row对象操作示例
2019/09/11 Python
美国高级音响品牌:Master&Dynamic
2018/07/05 全球购物
Tretorn美国官网:瑞典外套和鞋类品牌,抵御风雨
2018/07/19 全球购物
Conforama西班牙:您的家具、装饰和电器商店
2020/02/21 全球购物
大学校园毕业自我鉴定
2014/01/15 职场文书
教师年度个人总结
2015/02/11 职场文书
病危通知单
2015/04/17 职场文书
2016年情人节问候语
2015/11/11 职场文书
关于Spring配置文件加载方式变化引发的异常详解
2022/01/18 Java/Android
vue判断按钮是否可以点击
2022/04/09 Vue.js
Python实现对齐打印 format函数的用法
2022/04/28 Python