Python爬虫_城市公交、地铁站点和线路数据采集实例


Posted in Python onJanuary 10, 2018

城市公交、地铁数据反映了城市的公共交通,研究该数据可以挖掘城市的交通结构、路网规划、公交选址等。但是,这类数据往往掌握在特定部门中,很难获取。互联网地图上有大量的信息,包含公交、地铁等数据,解析其数据反馈方式,可以通过Python爬虫采集。闲言少叙,接下来将详细介绍如何使用Python爬虫爬取城市公交、地铁站点和数据。

首先,爬取研究城市的所有公交和地铁线路名称,即XX路,地铁X号线。可以通过图吧公交、公交网、8684、本地宝等网站获取,该类网站提供了按数字和字母划分类别的公交线路名称。Python写个简单的爬虫就能采集,可参看WenWu_Both的文章,博主详细介绍了如何利用python爬取8684上某城市所有的公交站点数据。该博主采集了站点详细的信息,包括,但是缺少了公交站点的坐标、公交线路坐标数据。这就让人抓狂了,没有空间坐标怎么落图,怎么分析,所以,本文重点介绍的是站点坐标、线路的获取。

Python爬虫_城市公交、地铁站点和线路数据采集实例

以图吧公交为例,点击某一公交后,出现该路公交的详细站点信息和地图信息。博主顿感兴奋,觉得马上就要成功了,各种抓包,发现并不能解析。可能博主技术所限,如有大神能从中抓到站点和线路的坐标信息,请不宁赐教。这TM就让人绝望了啊,到嘴的肥肉吃不了。

Python爬虫_城市公交、地铁站点和线路数据采集实例

天无绝人之路,尝试找找某地图的API,发现可以调用,通过解析,能够找到该数据的后台地址。熟悉前端的可以试试,博主前端也就只会个hello world,不献丑了。这是一种思路,实践证明是可以的。

Python爬虫_城市公交、地铁站点和线路数据采集实例

地图API可以,那么通过地图抓包呢?打开某图主页,直接输入某市公交名称,通过抓包,成功找到站点和线路信息。具体抓包信息如下图所示,busline_list中详细列出了站点和线路的信息,其中有两条,是同一趟公交不同方向的数据,略有差别,需注意。找到入口过后,接下来爬虫就要大显身手了。

Python爬虫_城市公交、地铁站点和线路数据采集实例

主要爬取代码如下,其实也很简单,主函数如下。首先需要构建传入的参数,主要的包括路线名称,城市编码,地理范围,缩放尺度。地理范围可以通过坐标拾取器获取,参数经url编码后,发送请求,判断返回数据是否符合要求(注:可能该线路地图上停运或不存在,也可能是访问速度过快,反爬虫机制需要人工验证,博主爬取的时候碰到过,所以后面设置了随机休眠)。接下来,就是解析json数据了。代码中的extratStations和extractLine,就是提取需要的字段,怎么样,是不是很简单。最后,就是保存了,站点和路线分别存储。

def main():
 df = pd.read_excel("线路名称.xlsx",)
 BaseUrl = "https://ditu.amap.com/service/poiInfo?query_type=TQUERY&pagesize=20&pagenum=1&qii=true&cluster_state=5&need_utd=true&utd_sceneid=1000&div=PC1000&addr_poi_merge=true&is_classify=true&"
 for bus in df[u"线路"]:
 params = {
  'keywords':'11路',
  'zoom': '11',
  'city':'610100',
  'geoobj':'107.623|33.696|109.817|34.745'
 }
 print(bus)
 paramMerge = urllib.parse.urlencode(params) 
 #print(paramMerge)
 targetUrl = BaseUrl + paramMerge
 stationFile = "./busStation/" + bus + ".csv"
 lineFile = "./busLine/" + bus + ".csv"
 
 req = urllib.request.Request(targetUrl)
 res = urllib.request.urlopen(req)
 content = res.read()
 jsonData = json.loads(content)
 if (jsonData["data"]["message"]) and jsonData["data"]["busline_list"]:
  busList = jsonData["data"]["busline_list"] ##busline 列表
  busListSlt = busList[0] ## busList共包含两条线,方向不同的同一趟公交,任选一趟爬取
  
  busStations = extratStations(busListSlt)
  busLine = extractLine(busListSlt)
  writeStation(busStations, stationFile)
  writeLine(busLine, lineFile)
  
  sleep(random.random() * random.randint(0,7) + random.randint(0,5)) #设置随机休眠
 else:
  continue

附上博主的解析函数:

def extratStations(busListSlt):
 busName = busListSlt["name"]
 stationSet = []
 stations = busListSlt["stations"]
 for bs in stations:
 tmp = []
 tmp.append(bs["station_id"])
 tmp.append(busName)
 tmp.append(bs["name"])
 cor = bs["xy_coords"].split(";")
 tmp.append(cor[0])
 tmp.append(cor[1])
 wgs84cor1 = gcj02towgs84(float(cor[0]),float(cor[1]))
 tmp.append(wgs84cor1[0])
 tmp.append(wgs84cor1[1])
 stationSet.append(tmp)
 return stationSet

def extractLine(busListSlt):
 ## busList共包含两条线,备注名称
 keyName = busListSlt["key_name"]
 busName = busListSlt["name"] 
 fromName = busListSlt["front_name"]
 toName = busListSlt["terminal_name"]
 lineSet = []
 Xstr = busListSlt["xs"]
 Ystr = busListSlt["ys"]
 Xset = Xstr.split(",")
 Yset = Ystr.split(",")
 length = len(Xset)
 for i in range(length):
 tmp = []
 tmp.append(keyName)
 tmp.append(busName)
 tmp.append(fromName)
 tmp.append(toName)
 tmp.append(Xset[i])
 tmp.append(Yset[i])
 wgs84cor2 = gcj02towgs84(float(Xset[i]),float(Yset[i]))
 tmp.append(wgs84cor2[0])
 tmp.append(wgs84cor2[1])
 lineSet.append(tmp)
 return lineSet

爬虫采集原始数据如下:

Python爬虫_城市公交、地铁站点和线路数据采集实例

以下是某一条公交站点和线路的处理后的数据展示。由于不同的地图商采用不同的坐标系,会有不同程度的偏差,需要坐标纠偏。下一步,博主将详细介绍如何批量将这些站点和坐标进行坐标纠正和矢量化。

Python爬虫_城市公交、地铁站点和线路数据采集实例

Python 相关文章推荐
Python库urllib与urllib2主要区别分析
Jul 13 Python
Python编程求质数实例代码
Jan 31 Python
使用Python通过win32 COM打开Excel并添加Sheet的方法
May 02 Python
django 将model转换为字典的方法示例
Oct 16 Python
2019 Python最新面试题及答案16道题
Apr 11 Python
python使用requests.session模拟登录
Aug 09 Python
python实现图片横向和纵向拼接
Mar 05 Python
python3 自动打印出最新版本执行的mysql2redis实例
Apr 09 Python
Python制作数据预测集成工具(值得收藏)
Aug 21 Python
python 使用cycle构造无限循环迭代器
Dec 02 Python
详解Python生成器和基于生成器的协程
Jun 03 Python
Python max函数中key的用法及原理解析
Jun 26 Python
Python tornado队列示例-一个并发web爬虫代码分享
Jan 09 #Python
Python中join函数简单代码示例
Jan 09 #Python
Python中顺序表的实现简单代码分享
Jan 09 #Python
python中set()函数简介及实例解析
Jan 09 #Python
Python中摘要算法MD5,SHA1简介及应用实例代码
Jan 09 #Python
深入了解Python中pop和remove的使用方法
Jan 09 #Python
Python使用smtp和pop简单收发邮件完整实例
Jan 09 #Python
You might like
简单谈谈php中的unicode和utf8编码
2015/06/10 PHP
Smarty最简单实现列表奇偶变色的方法
2015/07/01 PHP
php实现socket推送技术的示例
2017/12/20 PHP
laravel 5.4 + vue + vux + element的环境搭配过程介绍
2018/04/26 PHP
JQuery this 和 $(this) 的区别
2009/08/23 Javascript
JQuery异步加载PartialView的方法
2016/06/07 Javascript
ES6记录异步函数的执行时间详解
2016/08/31 Javascript
基于javascript实现的购物商城商品倒计时实例
2016/12/11 Javascript
神级程序员JavaScript300行代码搞定汉字转拼音
2017/05/20 Javascript
webpack 3.X学习之多页面打包的方法
2018/09/04 Javascript
在NPM发布自己造的轮子的方法步骤
2019/03/09 Javascript
解决vue-cli webpack打包开启Gzip 报错问题
2019/07/24 Javascript
使用VueCli3+TypeScript+Vuex一步步构建todoList的方法
2019/07/25 Javascript
vue下的@change事件的实现
2019/10/25 Javascript
Python图像灰度变换及图像数组操作
2016/01/27 Python
使用Python的turtle模块画图的方法
2017/11/15 Python
Python面向对象类的继承实例详解
2018/06/27 Python
python感知机实现代码
2019/01/18 Python
只需7行Python代码玩转微信自动聊天
2019/01/27 Python
Python django框架应用中实现获取访问者ip地址示例
2019/05/17 Python
Python注释、分支结构、循环结构、伪“选择结构”用法实例分析
2020/01/09 Python
python_array[0][0]与array[0,0]的区别详解
2020/02/18 Python
一款基于css3麻将筛子3D翻转特效的实例教程
2014/12/31 HTML / CSS
碧欧泉美国官网:Biotherm美国
2016/08/31 全球购物
德国黑胶唱片、街头服装及运动鞋网上商店:HHV
2018/08/24 全球购物
Stio官网:男女、儿童户外服装
2019/12/13 全球购物
土木工程毕业生自荐信
2013/09/21 职场文书
自我鉴定范文
2013/11/10 职场文书
《中华少年》教学反思
2014/02/15 职场文书
优秀学生干部个人事迹材料
2014/06/02 职场文书
孝敬父母的活动方案
2014/08/28 职场文书
2014年副班长工作总结
2014/12/10 职场文书
大学生个人年度总结范文
2015/02/15 职场文书
结婚老公保证书
2015/02/26 职场文书
Python Django框架介绍之模板标签及模板的继承
2021/05/27 Python
Java Redisson多策略注解限流
2022/09/23 Java/Android