Python爬虫实例_利用百度地图API批量获取城市所有的POI点


Posted in Python onJanuary 10, 2018

上篇关于爬虫的文章,我们讲解了如何运用Python的requests及BeautifuiSoup模块来完成静态网页的爬取,总结过程,网页爬虫本质就两步:

1、设置请求参数(url,headers,cookies,post或get验证等)访问目标站点的服务器;

2、解析服务器返回的文档,提取需要的信息。

而API的工作机制与爬虫的两步类似,但也有些许不同:

1、API一般只需要设置url即可,且请求方式一般为“get”方式

2、API服务器返回的通常是json或xml格式的数据,解析更简单

也许到这你就明白了,API简直就是开放的“爬虫”呀,可以告诉你,基本就是这个意思。好的,言归正传,本篇我们就演示如何运用Python结合百度地图API来批量获取POI(兴趣点)。

所谓POI(兴趣点),指的是人们感兴趣,比较常去的地方,比如银行、医院、学校等,利用城市的POI的空间属性可以做非常多的事情,至于什么事情呢,此处省略10000字。。。

说干就干,Let's go!

(1)创建百度地图应用

访问百度地图API需要一个信令(AK),打开百度地图开放平台,点击右上角“API控制台”,即进入了百度地图的开发界面。

Python爬虫实例_利用百度地图API批量获取城市所有的POI点

选择“创建应用”-应用类型勾选“浏览器端”?勾选所用到的服务(一般全选即可),此时就创建好了应用账号,得到“AK”

Python爬虫实例_利用百度地图API批量获取城市所有的POI点

Python爬虫实例_利用百度地图API批量获取城市所有的POI点

(2)Place API 及Web服务API

打开百度地图API的POI模块,网址:http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-placeapi,这个页面详细介绍了Place API的请求参数及返回数据的情况。

可以看到,Place API 提供区域检索POI服务与POI详情服务。

1. 区域检索POI服务提供三种区域检索方法:

a.城市内检索(对应JavaScriptAPI的Search方法)

b.矩形检索(对应JavaScript API的SearchInBound方法)

c.圆形区域检索(对应JavaScript的SearchNearBy方法)。

2. POI详情服务提供查询单个POI的详情信息,如好评。

并给出了请求的一个示例,设置检索城市为北京,检索关键字为“饭店”,检索后返回10条数据:

http://api.map.baidu.com/place/v2/search?q=饭店®ion=北京&output=json&ak=您的AK

将上述url粘贴到浏览器里,返回的数据如下:

Python爬虫实例_利用百度地图API批量获取城市所有的POI点

上图是将返回的json数据解析之后的结果,可以看到,服务器返回了10条北京市的饭店的信息,包括饭店名称、经纬度、地址、联系电话等。

具体的参数设置,自行去该网页去看吧,这里就不再赘述,这里我们主要利用“矩形检索”的方式来获取整个城市的特定POI信息,其url格式如下:

http://api.map.baidu.com/place/v2/search?query=美食&page_size=10&page_num=0&scope=1&bounds=39.915,116.404,39.975,116.414&output=json&ak={您的密钥}

Python爬虫实例_利用百度地图API批量获取城市所有的POI点

通过实验可以发现,一个矩阵区域最多返回400(20*20)个POI点,即page_size = 20 & page_total = 20,虽然官方文档里说一个区域返回760+都不成问题的,但是测试了一下,发现并没有这么多,最多400个。

Python爬虫实例_利用百度地图API批量获取城市所有的POI点

显然,整个城市不可能仅400个特定描述的POI点,所以我们需要对整个城市进行分片操作,然后每片进行访问,通过Python的循环实现。

(3)获取城市特定POI点集合

比如:我们想获取北京市四环以内所有饭店的信息,即可通过上述步骤借助Python快速实现,废话不多说,直接上代码:

# -*- coding: utf-8 -*-
# Python 2.7
# 提取城市的POI点信息并将其保存至MongoDB数据库
import urllib2 
import json 
from pymongo import MongoClient
left_bottom = [116.282387,39.835862]; # 设置区域左下角坐标(百度坐标系)
right_top = [116.497405,39.996569]; # 设置区域右上角坐标(百度坐标系)
part_n = 2; # 设置区域网格(2*2)
client = MongoClient('localhost',27001)
db = client.transdata
db.authenticate("user", "password")
col = db.taxi; # 连接集合
url0 = 'http://api.map.baidu.com/place/v2/search?';
x_item = (right_top[0]-left_bottom[0])/part_n;
y_item = (right_top[1]-left_bottom[1])/part_n;
query = '饭店'; #搜索关键词设置
ak = 'xxxxxxxxxxxxxxxxxxxxxx'; #百度地图api信令
n = 0; # 切片计数器
for i in range(part_n):
 for j in range(part_n):
 left_bottom_part = [left_bottom[0]+i*x_item,left_bottom[1]+j*y_item]; # 切片的左下角坐标
 right_top_part = [right_top[0]+i*x_item,right_top[1]+j*y_item]; # 切片的右上角坐标
 for k in range(20):
  url = url0 + 'query=' + query + '&page_size=20&page_num=' + str(k) + '&scope=1&bounds=' + str(left_bottom_part[1]) + ',' + str(left_bottom_part[0]) + ','+str(right_top_part[1]) + ',' + str(right_top_part[0]) + '&output=json&ak=' + ak; 
  data = urllib2.urlopen(url);
  hjson = json.loads(data.read());
  if hjson['message'] == 'ok':
  results = hjson['results'];  
  for m in range(len(results)): # 提取返回的结果
   col.insert_one(results[m]);
 n += 1;
 print '第',str(n),'个切片入库成功'

执行为上述代码,运行结果如下:

Python爬虫实例_利用百度地图API批量获取城市所有的POI点

Python爬虫实例_利用百度地图API批量获取城市所有的POI点

可以看到,我们将北京市四环以内区域分成4个切片来进行处理,之所以分切片处理,主要是单个区域访问最多返回400个结果,当区域较大的时候,区域内往往不止400个,所以讲大区域进行切片处理,最后,我们通过数据聚合操作,发现返回的结果总共1014个。(理论上应该返回1600,实际返回1014,说明切片的数量是合适的)

Python爬虫实例_利用百度地图API批量获取城市所有的POI点

好的,我们本篇的分享到这里就要结束了,最后只想说,API真的是个好东西,科学地使用它我们可以做出很多炫酷的应用,像现在比较活跃的数据型应用,其数据接口基本都是基于API形式的,后面的分享我们还会用到更多API的,大家一起期待吧,哈哈,今天就到这里了,各位回见。

Python 相关文章推荐
使用Python实现下载网易云音乐的高清MV
Mar 16 Python
Python找出list中最常出现元素的方法
Jun 14 Python
Python在信息学竞赛中的运用及Python的基本用法(详解)
Aug 15 Python
Python图形绘制操作之正弦曲线实现方法分析
Dec 25 Python
Jupyter notebook远程访问服务器的方法
May 24 Python
python实现诗歌游戏(类继承)
Feb 26 Python
anaconda如何查看并管理python环境
Jul 05 Python
Django认证系统实现的web页面实现代码
Aug 12 Python
python连接mongodb集群方法详解
Feb 13 Python
python发qq消息轰炸虐狗好友思路详解(完整代码)
Feb 15 Python
Python selenium 加载并保存QQ群成员,去除其群主、管理员信息的示例代码
May 28 Python
使用python如何删除同一文件夹下相似的图片
May 07 Python
Python之多线程爬虫抓取网页图片的示例代码
Jan 10 #Python
Python设计模式之观察者模式简单示例
Jan 10 #Python
Python爬虫实例_城市公交网络站点数据的爬取方法
Jan 10 #Python
Python爬虫_城市公交、地铁站点和线路数据采集实例
Jan 10 #Python
Python tornado队列示例-一个并发web爬虫代码分享
Jan 09 #Python
Python中join函数简单代码示例
Jan 09 #Python
Python中顺序表的实现简单代码分享
Jan 09 #Python
You might like
一个SQL管理员的web接口
2006/10/09 PHP
PHP 中关于ord($str)>0x80的详细说明
2012/09/23 PHP
浅析php与数据库代码开发规范
2013/08/08 PHP
简单选项卡 js和jquery制作方法分享
2014/02/26 Javascript
js调试系列 断点与动态调试[基础篇]
2014/06/18 Javascript
jQuery+ajax简单实现文件上传的方法
2016/06/03 Javascript
JS出现失效的情况总结
2017/01/20 Javascript
JS中的三个循环小结
2017/06/20 Javascript
详解vue数据渲染出现闪烁问题
2017/06/29 Javascript
Vue 组件间的样式冲突污染
2017/08/31 Javascript
EasyUI Tree树组件无限循环的解决方法
2017/09/27 Javascript
JavaScript 中的 this 工作原理
2018/06/20 Javascript
jquery实现联想词搜索框和搜索结果分页的示例
2018/10/10 jQuery
vue-cli安装使用流程步骤详解
2018/11/08 Javascript
vue+Element实现搜索关键字高亮功能
2019/05/28 Javascript
layui将table转化表单显示的方法(即table.render转为表单展示)
2019/09/24 Javascript
JavaScript 自定义html元素鼠标右键菜单功能
2019/12/02 Javascript
python中pass语句用法实例分析
2015/04/30 Python
理解Python中的绝对路径和相对路径
2017/08/30 Python
浅谈Python对内存的使用(深浅拷贝)
2018/01/17 Python
用TensorFlow实现戴明回归算法的示例
2018/05/02 Python
Django实现分页显示效果
2019/10/31 Python
Pytorch的mean和std调查实例
2020/01/02 Python
Pytorch实现基于CharRNN的文本分类与生成示例
2020/01/08 Python
将tensorflow模型打包成PB文件及PB文件读取方式
2020/01/23 Python
python实现贪吃蛇游戏源码
2020/03/21 Python
基于python实现简单网页服务器代码实例
2020/09/14 Python
全面总结使用CSS实现水平垂直居中效果的方法
2016/03/10 HTML / CSS
Sasa莎莎海外旗舰店:香港莎莎美妆平台
2018/03/21 全球购物
法律专业应届生自荐信范文
2014/01/06 职场文书
抄作业检讨书
2014/02/17 职场文书
西湖英语导游词
2015/02/06 职场文书
员工辞职信范文
2015/03/02 职场文书
农业项目合作意向书
2015/05/08 职场文书
幼儿园国培研修日志
2015/11/13 职场文书
开网店计划分析
2019/07/30 职场文书