首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

Python爬虫实战之12306抢票开源

Posted in Python onJanuary 24, 2019

今天就和大家一起来讨论一下python实现12306余票查询（pycharm+python3.7），一起来感受一下python爬虫的简单实践

我们说先在浏览器中打开开发者工具(F12)，尝试一次余票的查询，通过开发者工具查看发出请求的包

Python爬虫实战之12306抢票开源

余票查询界面

可以看到红框框中的URL就是我们向12306服务器发出的请求，那么具体是什么呢？我们来看看
https://kyfw.12306.cn/otn/leftTicket/queryZ?leftTicketDTO.train_date=2019-01-21&leftTicketDTO.from_station=CDW&leftTicketDTO.to_station=SZQ&purpose_codes=ADULT
可以看到发出请求的几个字段：

leftTicketDTO.train_date：查询的日期
leftTicketDTO.from_station：查询的出发地
leftTicketDTO.to_station：查询的目的地
purpose_codes：不太清楚这个字段是用来做什么的，就默认吧

可以从我们递交的URL请求看出，我们输入的成都，深圳都变成了对应的编号，比如，成都（CDW）、深圳（SZQ），所以当我们程序进行输入的时候要进行一下处理，12306的一个地方存储着这些城市名与编码对应的文档：

https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8971

Python爬虫实战之12306抢票开源

站点编码对应

下面我们就编写一个小程序，将这些城市名与编号提取出来：

import re,requests
url = "https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8971"
response = requests.get(url,verify=False)
#将车站的名字和编码进行提取
chezhan = re.findall(r'([\u4e00-\u9fa5]+)\|([A-Z]+)', response.text)
chezhan_code = dict(chezhan)
#进行交换
chezhan_names = dict(zip(chezhan_code.values(),chezhan_code.keys()))
#打印出得到的车站字典
print(chezhan_names)

得到的打印结果如下（只截取部分显示）：

{'VAP': '北京北', 'BOP': '北京东', 'BJP': '北京', 'VNP': '北京南', 'BXP': '北京西', 'IZQ': '广州南', 'CUW': '重庆北', 'CQW': '重庆', 'CRW': '重庆南', 'CXW': '重庆西', 'GGQ': '广州东', 'SHH': '上海', 'SNH': '上海南', 'AOH': '上海虹桥', 'SXH': '上海西', 'TBP': '天津北', 'TJP': '天津', 'TIP': '天津南', 'TXP': '天津西', 'XJA': '香港西九龙', 'CCT': '长春', 'CET': '长春南', 'CRT': '长春西', 'ICW': '成都东', 'CNW': '成都南', 'CDW': '成都', 'CSQ': '长沙', 'CWQ': '长沙南',}

接下来我们就动手开始程序的主要代码编写：

def main():
  date     = input("请输入时间(如2019-01-22)：\n")
  from_station = chezhan_code[input("请输入起始站点：\n")]
  to_station  = chezhan_code[input("请输入目的站点：\n")]
  url     = "https://kyfw.12306.cn/otn/leftTicket/queryZ?"
  headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400"
  }
  url=url+"leftTicketDTO.train_date="+date+"&leftTicketDTO.from_station="+from_station+"&leftTicketDTO.to_station="+to_station+"&purpose_codes=ADULT"
  #print(url) 已经检查过生成的URL是正确的
  #request请求获取主页
  r = requests.get(url,headers=headers)
  r.raise_for_status()  #如果发送了一个错误的请求，会抛出异常
  r.encoding = r.apparent_encoding
  showTicket(r.text)

用户输入时间、起始站点、目的站点，然后通过get来请求，然后我们对返回的网页信息进行解析。我们现将上面代码的r.text进行打印，看看我们请求之后，返回了什么样的信息，然后决定我们应该如何解析

Python爬虫实战之12306抢票开源

运行结果

这样看着不方便，我们粘贴到记事本中，进行详细的分析：

Python爬虫实战之12306抢票开源

请求返回的结果信息

可以与12306显示的信息进行对比，K829是车次，CDW与BJQ是出发地和目的地，10:10是出发时间，06:13是到达时间，44:21是历时时间，20190123为查询的日期，剩下的就是一系列票的各种信息。

下面就是对这些返回的信息进行解析，其实这也是python爬虫的关键，就是解析！！！

我们先把信息转化为json格式，可以看到都是用“|”隔开的，那么我们就用split函数分割出来，下面是主要功能代码：

def showTicket(html):
  html = json.loads(html)
  table = PrettyTable([" 车次 ","出发车站","到达车站","出发时间","到达时间"," 历时 ","商务座"," 一等座","二等座","高级软卧","软卧","动卧","硬卧","软座","硬座","无座","其他","备注"])
  for i in html['data']['result']:
    name = [
          "station_train_code",
          "from_station_name",
          "to_station_name",
          "start_time",
          "arrive_time",
          "lishi",
          "swz_num",
          "zy_num",
          "ze_num",
          "dw_num",
          "gr_num",
          "rw_num",
          "yw_num",
          "rz_num",
          "yz_num",
          "wz_num",
          "qt_num",
          "note_num"
        ]
    data = {
          "station_train_code": '',
          "from_station_name": '',
          "to_station_name": '',
          "start_time": '',
          "arrive_time": '',
          "lishi": '',
          "swz_num": '',
          "zy_num": '',
          "ze_num": '',
          "dw_num": '',
          "gr_num": '',
          "rw_num": '',
          "yw_num": '',
          "rz_num": '',
          "yz_num": '',
          "wz_num": '',
          "qt_num": '',
          "note_num": ''
        }
    #将各项信息提取并赋值
    item = i.split('|')                 #使用“|”进行分割
    data["station_train_code"] = item[3]        #获取车次信息，在3号位置
    data["from_station_name"]  = item[6]        #始发站信息在6号位置
    data["to_station_name"]   = item[7]        #终点站信息在7号位置
    data["start_time"]     = item[8]        #出发时间在8号位置
    data["arrive_time"]     = item[9]        #抵达时间在9号位置
    data["lishi"]        = item[10]       #经历时间在10号位置
    data["swz_num"]       = item[32] or item[25] #特别注意，商务座在32或25位置
    data["zy_num"]       = item[31]       #一等座信息在31号位置
    data["ze_num"]       = item[30]       #二等座信息在30号位置
    data["gr_num"]       = item[21]       #高级软卧信息在21号位置
    data["rw_num"]       = item[23]       #软卧信息在23号位置
    data["dw_num"]       = item[27]       #动卧信息在27号位置
    data["yw_num"]       = item[28]       #硬卧信息在28号位置
    data["rz_num"]       = item[24]       #软座信息在24号位置
    data["yz_num"]       = item[29]       #硬座信息在29号位置
    data["wz_num"]       = item[26]       #无座信息在26号位置
    data["qt_num"]       = item[22]       #其他信息在22号位置
    data["note_num"]      = item[1]        #备注信息在1号位置
    color = Colored()
    data["note_num"] = color.white(item[1])
    #如果没有信息，那么就用“-”代替
    for pos in name:
      if data[pos] == "":
        data[pos] = "-"
    tickets = []
    cont = []
    cont.append(data)
    for x in cont:
      tmp = []
      for y in name:
        if y == "from_station_name":
          s = color.green(chezhan_names[data["from_station_name"]])
          tmp.append(s)
        elif y == "to_station_name":
          s = color.red(chezhan_names[data["to_station_name"]])
          tmp.append(s)
        elif y == "start_time":
          s = color.green(data["start_time"])
          tmp.append(s)
        elif y == "arrive_time":
          s = color.red(data["arrive_time"])
          tmp.append(s)
        elif y == "station_train_code":
          s = color.yellow(data["station_train_code"])
          tmp.append(s)
        else:
          tmp.append(data[y])
      tickets.append(tmp)
    for ticket in tickets:
      table.add_row(ticket)
  print(table)

那么我们程序就成功啦！！！

Python爬虫实战之12306抢票开源

运行结果

但是在编译器里面Prettytable的格子没有对齐，不要担心，我们到终端运行一下脚本，就可以看到很好看的输出啦：

Python爬虫实战之12306抢票开源

终端运行结果

Python爬虫实战之12306抢票开源

完成！！！下面是完整代码

main.py

# -*- coding: utf-8 -*-
import re,requests,datetime,time,json
from prettytable import PrettyTable
from colorama import init,Fore
from stationinfo import chezhan_code,chezhan_names
init(autoreset=False)
class Colored(object):
  def yeah(self,s):
    return Fore.LIGHTCYAN_EX + s + Fore.RESET
  def green(self,s):
    return Fore.LIGHTGREEN_EX + s + Fore.RESET
  def yellow(self,s):
    return Fore.LIGHTYELLOW_EX + s + Fore.RESET
  def white(self,s):
    return Fore.LIGHTWHITE_EX + s + Fore.RESET
  def blue(self,s):
    return Fore.LIGHTBLUE_EX + s + Fore.RESET
def showTicket(html):
  html = json.loads(html)
  table = PrettyTable([" 车次 ","出发车站","到达车站","出发时间","到达时间"," 历时 ","商务座"," 一等座","二等座","高级软卧","软卧","动卧","硬卧","软座","硬座","无座","其他","备注"])
  for i in html['data']['result']:
    name = [
          "station_train_code",
          "from_station_name",
          "to_station_name",
          "start_time",
          "arrive_time",
          "lishi",
          "swz_num",
          "zy_num",
          "ze_num",
          "dw_num",
          "gr_num",
          "rw_num",
          "yw_num",
          "rz_num",
          "yz_num",
          "wz_num",
          "qt_num",
          "note_num"
        ]
    data = {
          "station_train_code": '',
          "from_station_name": '',
          "to_station_name": '',
          "start_time": '',
          "arrive_time": '',
          "lishi": '',
          "swz_num": '',
          "zy_num": '',
          "ze_num": '',
          "dw_num": '',
          "gr_num": '',
          "rw_num": '',
          "yw_num": '',
          "rz_num": '',
          "yz_num": '',
          "wz_num": '',
          "qt_num": '',
          "note_num": ''
        }
    #将各项信息提取并赋值
    item = i.split('|')                 #使用“|”进行分割
    data["station_train_code"] = item[3]        #获取车次信息，在3号位置
    data["from_station_name"]  = item[6]        #始发站信息在6号位置
    data["to_station_name"]   = item[7]        #终点站信息在7号位置
    data["start_time"]     = item[8]        #出发时间在8号位置
    data["arrive_time"]     = item[9]        #抵达时间在9号位置
    data["lishi"]        = item[10]       #经历时间在10号位置
    data["swz_num"]       = item[32] or item[25] #特别注意，商务座在32或25位置
    data["zy_num"]       = item[31]       #一等座信息在31号位置
    data["ze_num"]       = item[30]       #二等座信息在30号位置
    data["gr_num"]       = item[21]       #高级软卧信息在21号位置
    data["rw_num"]       = item[23]       #软卧信息在23号位置
    data["dw_num"]       = item[27]       #动卧信息在27号位置
    data["yw_num"]       = item[28]       #硬卧信息在28号位置
    data["rz_num"]       = item[24]       #软座信息在24号位置
    data["yz_num"]       = item[29]       #硬座信息在29号位置
    data["wz_num"]       = item[26]       #无座信息在26号位置
    data["qt_num"]       = item[22]       #其他信息在22号位置
    data["note_num"]      = item[1]        #备注信息在1号位置
    color = Colored()
    data["note_num"] = color.white(item[1])
    #如果没有信息，那么就用“-”代替
    for pos in name:
      if data[pos] == "":
        data[pos] = "-"
    tickets = []
    cont = []
    cont.append(data)
    for x in cont:
      tmp = []
      for y in name:
        if y == "from_station_name":
          s = color.green(chezhan_names[data["from_station_name"]])
          tmp.append(s)
        elif y == "to_station_name":
          s = color.yeah(chezhan_names[data["to_station_name"]])
          tmp.append(s)
        elif y == "start_time":
          s = color.green(data["start_time"])
          tmp.append(s)
        elif y == "arrive_time":
          s = color.yeah(data["arrive_time"])
          tmp.append(s)
        elif y == "station_train_code":
          s = color.yellow(data["station_train_code"])
          tmp.append(s)
        else:
          tmp.append(data[y])
      tickets.append(tmp)
    for ticket in tickets:
      table.add_row(ticket)
  print(table)
def main():
  date     = input("请输入时间：\n")
  from_station = chezhan_code[input("请输入起始站点：\n")]
  to_station  = chezhan_code[input("请输入目的站点：\n")]
  url     = "https://kyfw.12306.cn/otn/leftTicket/queryZ?"
  headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400"
  }
url=url+"leftTicketDTO.train_date="+date+"&leftTicketDTO.from_station="+from_station+"&leftTicketDTO.to_station="+to_station+"&purpose_codes=ADULT"
  #print(url) 已经检查过生成的URL是正确的
  #request请求获取主页
  r = requests.get(url,headers=headers)
  r.raise_for_status()  #如果发送了一个错误的请求，会抛出异常
  r.encoding = r.apparent_encoding
  showTicket(r.text)
  #print(r.text)
main()

stationinfo.py

import re,requests
url = "https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8971"
response = requests.get(url,verify=False)
#将车站的名字和编码进行提取
chezhan = re.findall(r'([\u4e00-\u9fa5]+)\|([A-Z]+)', response.text)
chezhan_code = dict(chezhan)
chezhan_names = dict(zip(chezhan_code.values(),chezhan_code.keys()))
#print(chezhan_names)

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python爬虫实战之12306抢票开源

- Author -

Python新世界

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python3实现短网址和数字相互转换的方法
Apr 28 Python
python判断windows系统是32位还是64位的方法
May 11 Python
python代码 if not x: 和 if x is not None: 和 if not x is None:使用介绍
Sep 21 Python
浅谈tensorflow中几个随机函数的用法
Jul 27 Python
在numpy矩阵中令小于0的元素改为0的实例
Jan 26 Python
深入理解Python异常处理的哲学
Feb 01 Python
python中对数据进行各种排序的方法
Jul 02 Python
pandas DataFrame行或列的删除方法的实现示例
Aug 02 Python
opencv resize图片为正方形尺寸的实现方法
Dec 26 Python
python和js交互调用的方法
Jun 23 Python
python爬虫中url管理器去重操作实例
Nov 30 Python
写一个Python脚本下载哔哩哔哩舞蹈区的所有视频
May 31 Python
python+pyqt5实现24点小游戏
Jan 24 #Python
python中实现控制小数点位数的方法
Jan 24 #Python
对python以16进制打印字节数组的方法详解
Jan 24 #Python
python3实现点餐系统
Jan 24 #Python
使用Python批量修改文件名的代码实例
Jan 24 #Python
Python并发:多线程与多进程的详解
Jan 24 #Python
python用opencv批量截取图像指定区域的方法
Jan 24 #Python
ICF-SW7600GR(1) 台湾(1) ICF-SW55(1) PL660(1) 根德(2) SRF-S83(1) 德劲1103(3) Panasonic(1) SRF-S84(1) 松下(1)
You might like
新手学PHP之数据库操作详解及乱码解决！
2007/01/02 PHP
php gzip压缩输出的实现方法
2013/04/27 PHP
PHP提示Deprecated: mysql_connect(): The mysql extension is deprecated的解决方法
2014/08/28 PHP
PHP中多线程的两个实现方法
2016/10/14 PHP
在Windows上安装Node.js模块的方法
2011/09/25 Javascript
JS循环遍历JSON数据的方法
2014/07/08 Javascript
js实现鼠标滑过文字链接色彩变化的效果
2015/05/06 Javascript
js实现精确到秒的日期选择器完整实例
2016/04/30 Javascript
浅谈js对象的创建和对6种继承模式的理解和遐想
2016/10/16 Javascript
Vue组件tree实现树形菜单
2017/04/13 Javascript
js实现本地时间同步功能
2017/08/26 Javascript
node+express+ejs使用模版引擎做的一个示例demo
2017/09/18 Javascript
angular6.x中ngTemplateOutlet指令的使用示例
2018/08/09 Javascript
jQuery使用each遍历循环的方法
2018/09/19 jQuery
Vue中的$set的使用实例代码
2018/10/08 Javascript
Element Steps步骤条的使用方法
2020/07/26 Javascript
[00:34]DOTA2上海特级锦标赛 VG战队宣传片
2016/03/04 DOTA
Python常用时间操作总结【取得当前时间、时间函数、应用等】
2017/05/11 Python
对DataFrame数据中的重复行,利用groupby累加合并的方法详解
2019/01/30 Python
10招！看骨灰级Pythoner玩转Python的方法
2019/04/15 Python
django之状态保持-使用redis存储session的例子
2019/07/28 Python
python 实现PIL模块在图片画线写字
2020/05/16 Python
Python extract及contains方法代码实例
2020/09/11 Python
python PIL模块的基本使用
2020/09/29 Python
Django如何使用asyncio协程和ThreadPoolExecutor多线程
2020/10/12 Python
python两种获取剪贴板内容的方法
2020/11/06 Python
详解python定时简单爬取网页新闻存入数据库并发送邮件
2020/11/27 Python
详解CSS3新增的背景属性
2019/12/25 HTML / CSS
idealfit英国：世界领先的女性健身用品和运动衣物品牌
2017/11/25 全球购物
俄罗斯香水和化妆品在线商店：Aroma-butik
2020/02/28 全球购物
eDreams德国：南欧领先的在线旅游公司
2020/12/07 全球购物
产品销售员岗位职责
2013/12/18 职场文书
《庐山的云雾》教学反思
2014/04/22 职场文书
学校政风行风自查自纠报告
2014/10/21 职场文书
戒赌保证书
2015/05/11 职场文书
详解如何使用Nginx解决跨域问题
2022/05/06 Servers