Python爬虫_城市公交、地铁站点和线路数据采集实例


Posted in Python onJanuary 10, 2018

城市公交、地铁数据反映了城市的公共交通,研究该数据可以挖掘城市的交通结构、路网规划、公交选址等。但是,这类数据往往掌握在特定部门中,很难获取。互联网地图上有大量的信息,包含公交、地铁等数据,解析其数据反馈方式,可以通过Python爬虫采集。闲言少叙,接下来将详细介绍如何使用Python爬虫爬取城市公交、地铁站点和数据。

首先,爬取研究城市的所有公交和地铁线路名称,即XX路,地铁X号线。可以通过图吧公交、公交网、8684、本地宝等网站获取,该类网站提供了按数字和字母划分类别的公交线路名称。Python写个简单的爬虫就能采集,可参看WenWu_Both的文章,博主详细介绍了如何利用python爬取8684上某城市所有的公交站点数据。该博主采集了站点详细的信息,包括,但是缺少了公交站点的坐标、公交线路坐标数据。这就让人抓狂了,没有空间坐标怎么落图,怎么分析,所以,本文重点介绍的是站点坐标、线路的获取。

Python爬虫_城市公交、地铁站点和线路数据采集实例

以图吧公交为例,点击某一公交后,出现该路公交的详细站点信息和地图信息。博主顿感兴奋,觉得马上就要成功了,各种抓包,发现并不能解析。可能博主技术所限,如有大神能从中抓到站点和线路的坐标信息,请不宁赐教。这TM就让人绝望了啊,到嘴的肥肉吃不了。

Python爬虫_城市公交、地铁站点和线路数据采集实例

天无绝人之路,尝试找找某地图的API,发现可以调用,通过解析,能够找到该数据的后台地址。熟悉前端的可以试试,博主前端也就只会个hello world,不献丑了。这是一种思路,实践证明是可以的。

Python爬虫_城市公交、地铁站点和线路数据采集实例

地图API可以,那么通过地图抓包呢?打开某图主页,直接输入某市公交名称,通过抓包,成功找到站点和线路信息。具体抓包信息如下图所示,busline_list中详细列出了站点和线路的信息,其中有两条,是同一趟公交不同方向的数据,略有差别,需注意。找到入口过后,接下来爬虫就要大显身手了。

Python爬虫_城市公交、地铁站点和线路数据采集实例

主要爬取代码如下,其实也很简单,主函数如下。首先需要构建传入的参数,主要的包括路线名称,城市编码,地理范围,缩放尺度。地理范围可以通过坐标拾取器获取,参数经url编码后,发送请求,判断返回数据是否符合要求(注:可能该线路地图上停运或不存在,也可能是访问速度过快,反爬虫机制需要人工验证,博主爬取的时候碰到过,所以后面设置了随机休眠)。接下来,就是解析json数据了。代码中的extratStations和extractLine,就是提取需要的字段,怎么样,是不是很简单。最后,就是保存了,站点和路线分别存储。

def main():
 df = pd.read_excel("线路名称.xlsx",)
 BaseUrl = "https://ditu.amap.com/service/poiInfo?query_type=TQUERY&pagesize=20&pagenum=1&qii=true&cluster_state=5&need_utd=true&utd_sceneid=1000&div=PC1000&addr_poi_merge=true&is_classify=true&"
 for bus in df[u"线路"]:
 params = {
  'keywords':'11路',
  'zoom': '11',
  'city':'610100',
  'geoobj':'107.623|33.696|109.817|34.745'
 }
 print(bus)
 paramMerge = urllib.parse.urlencode(params) 
 #print(paramMerge)
 targetUrl = BaseUrl + paramMerge
 stationFile = "./busStation/" + bus + ".csv"
 lineFile = "./busLine/" + bus + ".csv"
 
 req = urllib.request.Request(targetUrl)
 res = urllib.request.urlopen(req)
 content = res.read()
 jsonData = json.loads(content)
 if (jsonData["data"]["message"]) and jsonData["data"]["busline_list"]:
  busList = jsonData["data"]["busline_list"] ##busline 列表
  busListSlt = busList[0] ## busList共包含两条线,方向不同的同一趟公交,任选一趟爬取
  
  busStations = extratStations(busListSlt)
  busLine = extractLine(busListSlt)
  writeStation(busStations, stationFile)
  writeLine(busLine, lineFile)
  
  sleep(random.random() * random.randint(0,7) + random.randint(0,5)) #设置随机休眠
 else:
  continue

附上博主的解析函数:

def extratStations(busListSlt):
 busName = busListSlt["name"]
 stationSet = []
 stations = busListSlt["stations"]
 for bs in stations:
 tmp = []
 tmp.append(bs["station_id"])
 tmp.append(busName)
 tmp.append(bs["name"])
 cor = bs["xy_coords"].split(";")
 tmp.append(cor[0])
 tmp.append(cor[1])
 wgs84cor1 = gcj02towgs84(float(cor[0]),float(cor[1]))
 tmp.append(wgs84cor1[0])
 tmp.append(wgs84cor1[1])
 stationSet.append(tmp)
 return stationSet

def extractLine(busListSlt):
 ## busList共包含两条线,备注名称
 keyName = busListSlt["key_name"]
 busName = busListSlt["name"] 
 fromName = busListSlt["front_name"]
 toName = busListSlt["terminal_name"]
 lineSet = []
 Xstr = busListSlt["xs"]
 Ystr = busListSlt["ys"]
 Xset = Xstr.split(",")
 Yset = Ystr.split(",")
 length = len(Xset)
 for i in range(length):
 tmp = []
 tmp.append(keyName)
 tmp.append(busName)
 tmp.append(fromName)
 tmp.append(toName)
 tmp.append(Xset[i])
 tmp.append(Yset[i])
 wgs84cor2 = gcj02towgs84(float(Xset[i]),float(Yset[i]))
 tmp.append(wgs84cor2[0])
 tmp.append(wgs84cor2[1])
 lineSet.append(tmp)
 return lineSet

爬虫采集原始数据如下:

Python爬虫_城市公交、地铁站点和线路数据采集实例

以下是某一条公交站点和线路的处理后的数据展示。由于不同的地图商采用不同的坐标系,会有不同程度的偏差,需要坐标纠偏。下一步,博主将详细介绍如何批量将这些站点和坐标进行坐标纠正和矢量化。

Python爬虫_城市公交、地铁站点和线路数据采集实例

Python 相关文章推荐
python处理圆角图片、圆形图片的例子
Apr 25 Python
Python写的创建文件夹自定义函数mkdir()
Aug 25 Python
Python使用openpyxl读写excel文件的方法
Jun 30 Python
Python实现图片滑动式验证识别方法
Nov 09 Python
Python3实现发送QQ邮件功能(附件)
Dec 23 Python
python 利用文件锁单例执行脚本的方法
Feb 19 Python
python绘制地震散点图
Jun 18 Python
Django和Flask框架优缺点对比
Oct 24 Python
Python实现自动装机功能案例分析
Oct 22 Python
python通过cython加密代码
Dec 11 Python
java字符串格式化输出实例讲解
Jan 06 Python
python实现简单的三子棋游戏
Apr 28 Python
Python tornado队列示例-一个并发web爬虫代码分享
Jan 09 #Python
Python中join函数简单代码示例
Jan 09 #Python
Python中顺序表的实现简单代码分享
Jan 09 #Python
python中set()函数简介及实例解析
Jan 09 #Python
Python中摘要算法MD5,SHA1简介及应用实例代码
Jan 09 #Python
深入了解Python中pop和remove的使用方法
Jan 09 #Python
Python使用smtp和pop简单收发邮件完整实例
Jan 09 #Python
You might like
PHP的类 功能齐全的发送邮件类
2006/10/09 PHP
PHP+SQL 注入攻击的技术实现以及预防办法
2010/12/29 PHP
win10 apache配置虚拟主机后localhost无法使用的解决方法
2018/01/27 PHP
利用javascript实现一些常用软件的下载导航
2009/08/03 Javascript
关于Javascript模块化和命名空间管理的问题说明
2010/12/06 Javascript
JQUERY的属性选择符和自定义选择符使用方法(二)
2011/04/07 Javascript
jQuery创建平滑的页面滚动(顶部或底部)
2013/02/26 Javascript
Javascript排序算法之合并排序(归并排序)的2个例子
2014/04/04 Javascript
extjs 如何给column 加上提示
2014/07/29 Javascript
js正则表达式中exec用法实例
2015/07/23 Javascript
jQuery事件绑定on()与弹窗实现代码
2016/04/28 Javascript
jQuery插件cxSelect多级联动下拉菜单实例解析
2016/06/24 Javascript
jquery checkbox无法用attr()二次勾选问题的解决方法
2016/07/22 Javascript
js实现右键菜单功能
2016/11/28 Javascript
Vue.js项目部署到服务器的详细步骤
2017/07/17 Javascript
vue-resouce设置请求头的三种方法
2017/09/12 Javascript
angularjs实现简单的购物车功能
2017/09/21 Javascript
微信小程序支付之c#后台实现方法
2017/10/19 Javascript
解决在vue项目中,发版之后,背景图片报错,路径不对的问题
2018/03/06 Javascript
js操作table中tr的顺序实现上移下移一行的效果
2018/11/22 Javascript
vue实现移动端悬浮窗效果
2018/12/01 Javascript
微信小程序下拉菜单效果的实例代码
2019/05/14 Javascript
Vuex,iView UI面包屑导航使用扩展详解
2019/11/04 Javascript
超简单的微信小程序轮播图
2019/11/22 Javascript
vue 单页应用和多页应用的优劣
2020/10/22 Javascript
跟老齐学Python之总结参数的传递
2014/10/10 Python
Python操作MySQL数据库的三种方法总结
2018/01/30 Python
python输出数组中指定元素的所有索引示例
2019/12/06 Python
使用tensorflow DataSet实现高效加载变长文本输入
2020/01/20 Python
python3 字符串知识点学习笔记
2020/02/08 Python
Python查找不限层级Json数据中某个key或者value的路径方式
2020/02/27 Python
CSS3中的content属性使用示例
2015/07/20 HTML / CSS
纯CSS3实现移动端展开和收起效果的示例代码
2020/04/26 HTML / CSS
西门豹教学反思
2014/02/04 职场文书
批评与自我批评发言稿
2014/10/15 职场文书
辞职信格式范文
2015/05/13 职场文书