Python爬取12306车次信息代码详解


Posted in Python onAugust 12, 2020

详情查看下面的代码:

如果被识别就要添加一个cookie如果没有被识别的话就要一个user—agent就好了。如果出现乱码就设置编码格式为utf-8

#静态的数据一般在elements中(复制文字到sources按ctrl+f搜索。找到的为静态),而动态去network中去寻找相关的信息
import requests
import re
def send_request():
  headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'
        ,'Cookie':'_uab_collina=159618052151589201474313; JSESSIONID=D33C89D8BEC6A692C79CFA69FC0B0D29; BIGipServerotn=233832970.24610.0000; BIGipServerpool_passport=216859146.50215.0000; RAIL_EXPIRATION=1596443951465; RAIL_DEVICEID=nMo94O2Z21cXLblW7otLoxUZ_LP9Q01PYj_I89OqU6MqjxyX9814Jc3CH5TNwgBVJqnBaBG8OGiBWo2QtNcu5wVu-asNk6YLa49g0fMwVp03XFJQ-GkhHYHcqIgUd-nqQB_VEdWH1Om_D2yAgIu8QcEavt02pmH5; route=c5c62a339e7744272a54643b3be5bf64; _jc_save_fromStation=%u5317%u4EAC%2CBJP; _jc_save_toStation=%u5929%u6D25%2CTJP; _jc_save_fromDate=2020-07-31; _jc_save_toDate=2020-07-31; _jc_save_wfdc_flag=dc'}#创建头部信息
  url='https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2020-07-31&leftTicketDTO.from_station=BJP&leftTicketDTO.to_station=TJP&purpose_codes=ADULT'
  #设置编码格式。防止乱码
  resp=requests.get(url,headers=headers)
  resp.encoding='utf-8'
  return resp

#解析数据
#{}是字典。根据key获取值。
def parse_json(resp,city):
  json_ticket=resp.json()#将相应的数据转换为json
  data_list=json_ticket['data']['result']#得到车次的列表
  lst=[]#列表
  for item in data_list:
    #遍历车次信息进行分割
    d=item.split('|')
    lst.append([d[3],city[d[6]],city[d[7]],d[31],d[30],d[13]])
  return lst
'''
d[3]从列表中获取索引为3的表示车次
d[6]查询起始站
d[7]查询到达站
d[31]一等座
d[30]表示二等座
d[13]表示出行时间'''
#获得station_name的信息
def get_city():
  url='https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.9151'
  headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
  resp=requests.get(url,headers=headers)
  resp.encoding='utf-8'
  #进行数据的提取(只要一部分)
  stations=re.findall('([\u4e00-\u9fa5]+)\|([A-Z]+)',resp.text)
  #将列表进行转换为字典
  stations_data=dict(stations)
  #key与value进行互换
  station_d={}#空字典。用于完成上述操作
  for item in stations_data:
    station_d[stations_data[item]]=item
  #print(station_d)
  return station_d

def start():
  lst=parse_json(send_request(),get_city())
  #进行数据的筛选(得到有效的数据)
  for i in lst:
    if i[3]!='无' and i[3]!='':
      print(i)
if __name__=='__main__':
  start() #开始

运行的截图:

Python爬取12306车次信息代码详解

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python输出当前目录下index.html文件路径的方法
Apr 28 Python
Python聚类算法之凝聚层次聚类实例分析
Nov 20 Python
详解Python编程中time模块的使用
Nov 20 Python
Python表示矩阵的方法分析
May 26 Python
使用Python实现毫秒级抢单功能
Jun 06 Python
Pytorch 抽取vgg各层并进行定制化处理的方法
Aug 20 Python
python-Web-flask-视图内容和模板知识点西宁街
Aug 23 Python
PyTorch实现更新部分网络,其他不更新
Dec 31 Python
Django Admin后台添加数据库视图过程解析
Apr 01 Python
python使用建议技巧分享(三)
Aug 18 Python
python 多线程死锁问题的解决方案
Aug 25 Python
通俗讲解python 装饰器
Sep 07 Python
Python读取xlsx数据生成图标代码实例
Aug 12 #Python
Idea安装python显示无SDK问题解决方案
Aug 12 #Python
Python selenium如何打包静态网页并下载
Aug 12 #Python
Python selenium爬取微信公众号文章代码详解
Aug 12 #Python
PyQt5 QDockWidget控件应用详解
Aug 12 #Python
pyqt5 textEdit、lineEdit操作的示例代码
Aug 12 #Python
基于python requests selenium爬取excel vba过程解析
Aug 12 #Python
You might like
php设计模式 Chain Of Responsibility (职责链模式)
2011/06/26 PHP
Zend Framework教程之Application用法实例详解
2016/03/14 PHP
thinkPHP数据查询常用方法总结【select,find,getField,query】
2017/03/15 PHP
PHP实现时间比较和时间差计算的方法示例
2017/07/24 PHP
PHP文件管理之实现网盘及压缩包的功能操作
2017/09/20 PHP
学习YUI.Ext 第四天--对话框Dialog的使用
2007/03/10 Javascript
JS小功能(checkbox实现全选和全取消)实例代码
2013/11/28 Javascript
For循环中分号隔开的3部分的执行顺序探讨
2014/05/27 Javascript
JavaScript分页功能的实现方法
2015/04/25 Javascript
HTML5使用DeviceOrientation实现摇一摇功能
2015/06/05 Javascript
ichart.js绘制虚线、平均分虚线效果的实现代码
2016/05/05 Javascript
JS实现的简易拖放效果示例
2016/12/29 Javascript
js 监控iframe URL的变化实例代码
2017/07/12 Javascript
详解JavaScript中操作符和表达式
2018/09/12 Javascript
vue.extend与vue.component的区别和联系
2018/09/19 Javascript
angularJs在多个控制器中共享服务数据的方法
2018/09/30 Javascript
微信小程序实现录音时的麦克风动画效果实例
2019/05/18 Javascript
关于vue3默认把所有onSomething当作v-on事件绑定的思考
2020/05/15 Javascript
[00:48]DOTA2国际邀请赛公开赛报名开始 扫码开启逐梦之旅
2018/06/06 DOTA
python中的decorator的作用详解
2018/07/26 Python
使用Django2快速开发Web项目的详细步骤
2019/01/06 Python
Python 用matplotlib画以时间日期为x轴的图像
2019/08/06 Python
python判断单向链表是否包括环,若包含则计算环入口的节点实例分析
2019/10/23 Python
使用TensorFlow搭建一个全连接神经网络教程
2020/02/06 Python
python 递归调用返回None的问题及解决方法
2020/03/16 Python
使用PyCharm安装pytest及requests的问题
2020/07/31 Python
施华洛世奇天猫官方旗舰店:SWAROVSKI
2017/04/17 全球购物
简单介绍Object类的功能、常用方法
2013/10/02 面试题
大学生个人简历中的自我评价
2013/12/27 职场文书
志愿者服务感言
2014/02/27 职场文书
商业街策划方案
2014/05/31 职场文书
道路运输企业安全生产责任书
2014/07/28 职场文书
2015年安全教育月活动总结
2015/03/26 职场文书
青涩记忆观后感
2015/06/18 职场文书
放假通知怎么写
2015/08/18 职场文书
mysql事务对效率的影响分析总结
2021/10/24 MySQL