python requests爬取高德地图数据的实例


Posted in Python onNovember 10, 2018

如下所示:

1.pip install requests

2.pip install lxml

3.pip install xlsxwriter

import requests #想要爬必须引
from lxml import html #这个是用于页面爬取
import xlsxwriter#操作Excel表格库
 
workbook = xlsxwriter.Workbook('E:/test/test.xlsx')# 新建的Excel表格文档路径
worksheet = workbook.add_worksheet() # 建立sheet, 可以work.add_worksheet('employee')来指定sheet名,但中文名会报UnicodeDecodeErro的错误
i = 1;# 作用于Excel表格第几行数与接口第几页
#写一个死循环让他一直爬取数据
while (True):
 import json# 这里这么引入json是因为不这么引入当循环到第二次就会报没有引入json的错,所以循环引入了
 #接口str(i)表示第几页一定要转为字符串格式,要不会报不是字符串的错
 url = "https://www.amap.com/service/poiInfo?query_type=TQUERY&pagesize=20&pagenum="+str(i)+"&qii=true&cluster_state=5&need_utd=true&utd_sceneid=1000&div=PC1000&addr_poi_merge=true&is_classify=true&zoom=14.81&city=110000&geoobj=115.7|39.4|117.4|41.6&keywords=水果店" 
 # 将cookies字符串组装为字典 
 cookies_str = "guid=f86f-79f2-5b0b-69a3; UM_distinctid=16386a114ca143-07312d6ae4d5af8-47534130-1fa400-16386a114ccb85; CNZZDATA1255626299=1778515027-1526967763-https%253A%252F%252Fwww.baidu.com%252F%7C1527219534; cna=5hWHEx7lRkECAXL4l+2LMAfU; isg=BGBg3rAqL6QOz5OkNN5wbxWiMm7ywUxc_zvQMtpxLHsO1QD_gnkUwzbHaf3V_vwL; _uab_collina=152697209566826431413694; key=bfe31f4e0fb231d29e1d3ce951e2c780" 
 cookies_dict = {} 
 for cookie in cookies_str.split(";"): 
  k, v = cookie.split("=", 1) 
  cookies_dict[k.strip()] = v.strip() 
 pass
 # 其他请求头参数 
 headers = { 
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0' 
 }
 
 # 让服务器认为你是通过浏览器访问页面 
 page = requests.get(url=url,cookies=cookies_dict,headers=headers);
 # 转json
 json = json.loads(page.text);
 # 判断这个字段如果为未找到相关信息则跳出死循环
 if json['data']['lqii']['change_query_tip'] == '未找到"水果店"相关结果':
 break;
 pass
 # 获取json长度用于添加Excel第几行
 length = len(json['data']['poi_list']);
 # 循环json数据向Excel表格添加
 for index,j in enumerate(json['data']['poi_list']):
 worksheet.write(index+(i-1)*length,0,j['disp_name'])
 worksheet.write(index+(i-1)*length,1,j['tel'])
 worksheet.write(index+(i-1)*length,2,j['address'])
 pass
 i+=1
pass
workbook.close()#最后关闭Excel表格 注意事项,当Excel表格正在打开的情况下会报没有关闭的错所以请关闭Excel再运行此程序

以上这篇python requests爬取高德地图数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现多线程抓取知乎用户
Dec 12 Python
Python算法应用实战之栈详解
Feb 04 Python
flask中使用蓝图将路由分开写在不同文件实例解析
Jan 19 Python
通过shell+python实现企业微信预警
Mar 07 Python
使用Flask-Cache缓存实现给Flask提速的方法详解
Jun 11 Python
将python运行结果保存至本地文件中的示例讲解
Jul 11 Python
Python使用import导入本地脚本及导入模块的技巧总结
Aug 07 Python
Python实现转换图片背景颜色代码
Apr 30 Python
Python 分布式缓存之Reids数据类型操作详解
Jun 24 Python
浅谈Python中的函数(def)及参数传递操作
May 25 Python
忆童年!用Python实现愤怒的小鸟游戏
Jun 07 Python
Python实现仓库管理系统
May 30 Python
Python爬取商家联系电话以及各种数据的方法
Nov 10 #Python
Python中的取模运算方法
Nov 10 #Python
在Python中获取两数相除的商和余数方法
Nov 10 #Python
Python解决两个整数相除只得到整数部分的实例
Nov 10 #Python
从DataFrame中提取出Series或DataFrame对象的方法
Nov 10 #Python
pandas 数据归一化以及行删除例程的方法
Nov 10 #Python
python 重命名轴索引的方法
Nov 10 #Python
You might like
PHP中将字符串转化为整数(int) intval() printf() 性能测试
2020/03/20 PHP
PHP验证码函数代码(简单实用)
2013/09/29 PHP
11款新鲜的jQuery插件[附所有demo下载]
2011/01/24 Javascript
JavaScript高级程序设计(第3版)学习笔记 概述
2012/10/11 Javascript
如何从jQuery的ajax请求中删除X-Requested-With
2013/12/11 Javascript
jQuery实现区域打印功能代码详解
2016/06/17 Javascript
jQuery操作iframe中js函数的方法小结
2016/07/06 Javascript
jQuery实现的放大镜效果示例
2016/09/13 Javascript
利用React-router+Webpack快速构建react程序
2016/10/27 Javascript
jQuery导航条固定定位效果实例代码
2017/05/26 jQuery
vuejs手把手教你写一个完整的购物车实例代码
2017/07/06 Javascript
LayUI表格批量删除方法
2018/08/15 Javascript
微信小程序引入Vant组件库过程解析
2019/08/06 Javascript
Vue-CLI 3 scp2自动部署项目至服务器的方法
2020/07/24 Javascript
[01:33]PWL开团时刻DAY2-开雾与反开雾
2020/10/31 DOTA
python正则表达式修复网站文章字体不统一的解决方法
2013/02/21 Python
Python闭包实现计数器的方法
2015/05/05 Python
Python基于回溯法子集树模板实现图的遍历功能示例
2017/09/05 Python
python实现图书馆研习室自动预约功能
2018/04/27 Python
Python中作用域的深入讲解
2018/12/10 Python
python自动保存百度盘资源到百度盘中的实例代码
2019/08/26 Python
Python3.7安装keras和TensorFlow的教程图解
2020/06/18 Python
opencv-python的RGB与BGR互转方式
2020/06/02 Python
PyQt5 QDockWidget控件应用详解
2020/08/12 Python
Python如何执行系统命令
2020/09/23 Python
python实现企业微信定时发送文本消息的实例代码
2020/11/25 Python
电子商务专业学生的学习自我评价
2013/10/27 职场文书
采购部岗位职责
2013/11/24 职场文书
质检部职责
2013/12/28 职场文书
高三语文教学反思
2014/01/15 职场文书
初三学习决心书
2014/03/11 职场文书
运动会广播稿200米(5篇)
2014/10/15 职场文书
初二学生评语大全
2014/12/26 职场文书
平凡的世界读书笔记
2015/06/25 职场文书
Python爬虫之爬取哔哩哔哩热门视频排行榜
2021/04/28 Python
Windows环境下实现批量执行Sql文件
2021/10/05 SQL Server