python编程实现12306的一个小爬虫实例


Posted in Python onDecember 27, 2017

本文思路主要来源于实验楼的教程,但是一些具体的一些细节是我自己发现的,比如哪里获得站点对应的3位英文编号,怎么获得这个查询的url

本文用到的库主要有requests(获取url的内容),prettytable(让文本输出美观),argparse(命令行参数解析)

关于这些库怎么使用,可以参见我之前的博文

1、首先打开12306余票查询的界面

https://kyfw.12306.cn/otn/lcxxcx/init

我们想要的信息当然就是在输入了始发站、终点站和日期之后各车次的时间和车票余量,那么我们尝试在始发站使用检查元素,观察一下它是怎么上传始发站的信息的,那么我们不妨随便输入出发地、目的地和信息,使用抓包工具来看看它是怎么发包的(使用浏览器也可以,因为我们只需要查看包的内容,不需要更改包)

2、

python编程实现12306的一个小爬虫实例

在chrome的network中我们可以查看到我们点击之后浏览器发送的所有包(关于http包的知识不熟悉的同学,可以看看《图解http》这本书)

python编程实现12306的一个小爬虫实例

点击查询之后我们马上就会注意到以query开头的这个包,显然这就是一个查询指令,我们看看这个包的url

'https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate=2016-10-04&from_station=BJP&to_station=XKS'

然后我们看看它的response

python编程实现12306的一个小爬虫实例

仔细观察就能发现它其实是一串json格式的字符串(要非常有经验。。。。)

3、经过以上这些过程,我们大致就能知道我们需要做的是什么了,我们只需要更改url中的data,fromstaion,tostaion后面的内容,然后用requests获得response,然后解析这一串json字符就行了。

但是我们会发现,日期还好说,对于fromstation和tostaion的代码,我们该怎么办呢?

4、有两种可能,一中可能是这些文件在服务器上,每回改变站点网页都会从服务器请求这个站点的代码,还有一种可能是这个已经下载到本地了,如何判断呢?我们不妨改变一下始发站,然后用抓包软件(或者浏览器)观察我们的浏览器是否向12306发送了包

python编程实现12306的一个小爬虫实例

把北京改成了上海,但是我们发现浏览器并没有发送包

这样我们基本可以肯定这个车站编号信息是存在本地了(已经从服务器下载下来)

5、我们这时候,就需要分析html来发现这个编号信息到底储存在了那里

我们试着检查一下出发地附近的html标签,在‘热门'上面点击检查,我们很容易发现这个标签上面带了一个onclick方法

python编程实现12306的一个小爬虫实例

我们发现这个onclick方法指向了一个js文件,并且名字是‘Stationfor12306',基本我们可以确定这个js文件就是我们需要的站点信息文件了。

6、我们尝试在这个html(12306余票查询界面)里面搜一下stationfor,我们马上就能发现,它就在<head>标签的<script>元素里,并且指向了一个url

python编程实现12306的一个小爬虫实例

进入这个url看看,我们马上就发现站点信息已经被我们找到啦(注意这是一个相对URL,绝对url需要在前面补上https://kyfw.12306.cn/)

python编程实现12306的一个小爬虫实例

关于怎么获取三位数的车站代码,用正则,字符串查询都是可以的啦,由于这里是固定的3位车站代码,我就用简单的字符串查询来提取这个代码了。

7、剩下的工作,基本就是代码实现了,关于具体怎么实现,我把我的代码贴在下面了。

#coding=utf-8 
import requests 
import argparse 
import datetime 
import re 
from prettytable import PrettyTable 
now = datetime.datetime.now() 
 
tomorrow = now+datetime.timedelta(days=1)  
tomorrow = tomorrow.strftime('%Y-%m-%d') 
print tomorrow 
 
argument = argparse.ArgumentParser() 
argument.add_argument('--fromcity','-f',default='hangzhoudong') 
argument.add_argument('--tocity','-t',default='xiamen') 
argument.add_argument('--date','-d',default=tomorrow) 
# argument.add_argument('-d',action='store_true') 
args =argument.parse_args() 
 
from_station = args.fromcity 
to_station = args.tocity 
Date = args.date 
 
stationlist_url = 'https://kyfw.12306.cn/otn/resources/js/framework/station_name.js' 
r = requests.get(stationlist_url, verify=False) 
stationlist = r.content 
 
ToStation = '' 
FromStation = '' 
 
placea = stationlist.find(from_station) 
placeb = stationlist.find(to_station) 
 
for i in range(-4,-1): 
  FromStation += stationlist[placea+i] 
for i in range(-4,-1): 
  ToStation += stationlist[placeb+i] 
 
query_url='https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate='+Date+'&from_station='+FromStation+'&to_station='+ToStation 
r = requests.get(query_url,verify=False) 
 
 
with open('json.txt','w') as fp: 
   fp.write(str(r.json())) 
 
if 'datas' in r.json()["data"]: 
  rj = r.json()["data"]["datas"] 
  pt = PrettyTable() 
 
  header = '车次 车站 到站时间 时长 一等座 二等座 软卧 硬卧 硬座 无座'.split() 
  pt._set_field_names(header) 
 
  for x in rj: 
    ptrow = [] 
    ptrow.append(x["station_train_code"]) 
    ptrow.append('\n'.join([x["from_station_name"],x["to_station_name"]])) 
    ptrow.append('\n'.join([x["start_time"], x["arrive_time"]])) 
    ptrow.append(x["lishi"].replace(':','h')+'m') 
    ptrow.append(x['zy_num']) 
    ptrow.append(x['ze_num']) 
    ptrow.append(x['rw_num']) 
    ptrow.append(x['yw_num']) 
    ptrow.append(x['yz_num']) 
    ptrow.append(x['wz_num']) 
    pt.add_row(ptrow) 
  print pt 
else : 
  print '这两个站点没有直达列车'

总结

以上就是本文关于python编程实现12306的一个小爬虫实例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
使用python实现扫描端口示例
Mar 29 Python
PyQt5利用QPainter绘制各种图形的实例
Oct 19 Python
Python标准库shutil用法实例详解
Aug 13 Python
python实现微信防撤回神器
Apr 29 Python
django 模型字段设置默认值代码
Jul 15 Python
浅析Python迭代器的高级用法
Jul 16 Python
Python Numpy之linspace用法说明
Apr 17 Python
python字符串常规操作大全
May 02 Python
python 如何执行控制台命令与操作剪切板
May 20 Python
Python可视化学习之seaborn绘制矩阵图详解
Feb 24 Python
分享Python异步爬取知乎热榜
Apr 12 Python
Python+DeOldify实现老照片上色功能
Jun 21 Python
python导出chrome书签到markdown文件的实例代码
Dec 27 #Python
Python类的继承和多态代码详解
Dec 27 #Python
快速查询Python文档方法分享
Dec 27 #Python
Java及python正则表达式详解
Dec 27 #Python
python matplotlib画图实例代码分享
Dec 27 #Python
python爬虫使用cookie登录详解
Dec 27 #Python
Python爬虫番外篇之Cookie和Session详解
Dec 27 #Python
You might like
require(),include(),require_once()和include_once()的异同
2007/01/02 PHP
php mssql 时间格式问题
2009/01/13 PHP
如何在php中正确的使用json
2013/08/06 PHP
详谈JavaScript 匿名函数及闭包
2014/11/14 Javascript
javascript实现类似java中getClass()得到对象类名的方法
2015/07/27 Javascript
jquery专业的导航菜单特效代码分享
2015/08/29 Javascript
jQuery实现的瀑布流加载效果示例
2016/09/13 Javascript
jQuery通过ajax方法获取json数据不执行success的原因及解决方法
2016/10/15 Javascript
基于jQuery实现Tabs选项卡自定义插件
2016/11/21 Javascript
JavaScript和jQuery制作光棒效果
2017/02/24 Javascript
详解小程序rich-text对富文本支持方案
2018/11/28 Javascript
使用webpack编译es6代码的方法步骤
2019/04/28 Javascript
javascript实现自由编辑图片代码详解
2019/06/21 Javascript
[02:53]DOTA2英雄昆卡基础教程
2013/11/25 DOTA
[05:43]VG.R战队教练Mikasa专访:为目标从未停止战斗
2016/08/02 DOTA
[01:01:35]Optic vs paiN 2018国际邀请赛小组赛BO2 第二场 8.19
2018/08/21 DOTA
python自动化测试之从命令行运行测试用例with verbosity
2014/09/28 Python
Python标准库之sqlite3使用实例
2014/11/25 Python
Python中使用插入排序算法的简单分析与代码示例
2016/05/04 Python
Python使用ntplib库同步校准当地时间的方法
2016/07/02 Python
python实现多线程抓取知乎用户
2016/12/12 Python
Python使用openpyxl读写excel文件的方法
2017/06/30 Python
Python实现Dijkstra算法
2018/10/17 Python
关于windows下Tensorflow和pytorch安装教程
2020/02/04 Python
python实现二分类和多分类的ROC曲线教程
2020/06/15 Python
HTML5 placeholder(空白提示)属性介绍
2013/08/07 HTML / CSS
材料加工硕士生求职信
2013/10/10 职场文书
电大毕业生自我鉴定
2013/11/10 职场文书
自查自纠工作总结
2014/10/15 职场文书
2014年保洁员工作总结
2014/11/19 职场文书
2016年度继续教育学习心得体会
2016/01/19 职场文书
职工趣味运动会开幕词
2016/03/04 职场文书
python 如何获取页面所有a标签下href的值
2021/05/06 Python
vue-router中hash模式与history模式的区别
2021/06/23 Vue.js
MySQL笔记 —SQL运算符
2022/01/18 MySQL
Mongodb 迁移数据块的流程介绍分析
2022/04/18 MongoDB