python requests爬取高德地图数据的实例


Posted in Python onNovember 10, 2018

如下所示:

1.pip install requests

2.pip install lxml

3.pip install xlsxwriter

import requests #想要爬必须引
from lxml import html #这个是用于页面爬取
import xlsxwriter#操作Excel表格库
 
workbook = xlsxwriter.Workbook('E:/test/test.xlsx')# 新建的Excel表格文档路径
worksheet = workbook.add_worksheet() # 建立sheet, 可以work.add_worksheet('employee')来指定sheet名,但中文名会报UnicodeDecodeErro的错误
i = 1;# 作用于Excel表格第几行数与接口第几页
#写一个死循环让他一直爬取数据
while (True):
 import json# 这里这么引入json是因为不这么引入当循环到第二次就会报没有引入json的错,所以循环引入了
 #接口str(i)表示第几页一定要转为字符串格式,要不会报不是字符串的错
 url = "https://www.amap.com/service/poiInfo?query_type=TQUERY&pagesize=20&pagenum="+str(i)+"&qii=true&cluster_state=5&need_utd=true&utd_sceneid=1000&div=PC1000&addr_poi_merge=true&is_classify=true&zoom=14.81&city=110000&geoobj=115.7|39.4|117.4|41.6&keywords=水果店" 
 # 将cookies字符串组装为字典 
 cookies_str = "guid=f86f-79f2-5b0b-69a3; UM_distinctid=16386a114ca143-07312d6ae4d5af8-47534130-1fa400-16386a114ccb85; CNZZDATA1255626299=1778515027-1526967763-https%253A%252F%252Fwww.baidu.com%252F%7C1527219534; cna=5hWHEx7lRkECAXL4l+2LMAfU; isg=BGBg3rAqL6QOz5OkNN5wbxWiMm7ywUxc_zvQMtpxLHsO1QD_gnkUwzbHaf3V_vwL; _uab_collina=152697209566826431413694; key=bfe31f4e0fb231d29e1d3ce951e2c780" 
 cookies_dict = {} 
 for cookie in cookies_str.split(";"): 
  k, v = cookie.split("=", 1) 
  cookies_dict[k.strip()] = v.strip() 
 pass
 # 其他请求头参数 
 headers = { 
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0' 
 }
 
 # 让服务器认为你是通过浏览器访问页面 
 page = requests.get(url=url,cookies=cookies_dict,headers=headers);
 # 转json
 json = json.loads(page.text);
 # 判断这个字段如果为未找到相关信息则跳出死循环
 if json['data']['lqii']['change_query_tip'] == '未找到"水果店"相关结果':
 break;
 pass
 # 获取json长度用于添加Excel第几行
 length = len(json['data']['poi_list']);
 # 循环json数据向Excel表格添加
 for index,j in enumerate(json['data']['poi_list']):
 worksheet.write(index+(i-1)*length,0,j['disp_name'])
 worksheet.write(index+(i-1)*length,1,j['tel'])
 worksheet.write(index+(i-1)*length,2,j['address'])
 pass
 i+=1
pass
workbook.close()#最后关闭Excel表格 注意事项,当Excel表格正在打开的情况下会报没有关闭的错所以请关闭Excel再运行此程序

以上这篇python requests爬取高德地图数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用urllib2防止302跳转的代码例子
Jul 07 Python
python 队列详解及实例代码
Oct 18 Python
python实现微信接口(itchat)详细介绍
Oct 23 Python
python3.0 模拟用户登录,三次错误锁定的实例
Nov 02 Python
Python带动态参数功能的sqlite工具类
May 26 Python
python抓取搜狗微信公众号文章
Apr 01 Python
解决python super()调用多重继承函数的问题
Jun 26 Python
Python selenium模块实现定位过程解析
Jul 09 Python
Python日志打印里logging.getLogger源码分析详解
Jan 17 Python
快速一键生成Python爬虫请求头
Mar 04 Python
Python基础之操作MySQL数据库
May 06 Python
Python实现归一化算法详情
Mar 18 Python
Python爬取商家联系电话以及各种数据的方法
Nov 10 #Python
Python中的取模运算方法
Nov 10 #Python
在Python中获取两数相除的商和余数方法
Nov 10 #Python
Python解决两个整数相除只得到整数部分的实例
Nov 10 #Python
从DataFrame中提取出Series或DataFrame对象的方法
Nov 10 #Python
pandas 数据归一化以及行删除例程的方法
Nov 10 #Python
python 重命名轴索引的方法
Nov 10 #Python
You might like
常用星际术语索引(新手指南)
2020/03/04 星际争霸
使用PHP批量生成随机用户名
2008/07/10 PHP
PHP编码转换函数 自动转换字符集支持数组转换
2012/12/16 PHP
PHP的魔术常量__METHOD__简介
2014/07/08 PHP
php在数组中查找指定值的方法
2015/03/17 PHP
php实现图片按比例截取的方法
2017/02/06 PHP
php 如何设置一个严格控制过期时间的session
2017/05/05 PHP
php测试kafka项目示例
2020/02/06 PHP
xmlHTTP实例
2006/10/24 Javascript
jquery delay()介绍及使用指南
2014/09/02 Javascript
跟我学习javascript的for循环和for...in循环
2015/11/18 Javascript
Javascript中document.referrer隐藏来源的方法
2017/01/16 Javascript
React中ES5与ES6写法的区别总结
2017/04/21 Javascript
jquery实现侧边栏左右伸缩效果的示例
2017/12/19 jQuery
使用vue中的v-for遍历二维数组的方法
2018/03/07 Javascript
vue实现div拖拽互换位置
2020/07/29 Javascript
jQuery轮播图功能制作方法详解
2019/12/03 jQuery
[46:20]CHAOS vs Alliacne 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/16 DOTA
Python使用MySQLdb for Python操作数据库教程
2014/10/11 Python
Python实现基于权重的随机数2种方法
2015/04/28 Python
Python脚本处理空格的方法
2016/08/08 Python
python实现FTP服务器服务的方法
2017/04/11 Python
python简单实现矩阵的乘,加,转置和逆运算示例
2019/07/10 Python
利用Python计算KS的实例详解
2020/03/03 Python
Opencv图像处理:如何判断图片里某个颜色值占的比例
2020/06/03 Python
Selenium python时间控件输入问题解决方案
2020/07/22 Python
python 发送get请求接口详解
2020/11/17 Python
iframe与window.onload如何使用详解
2020/05/07 HTML / CSS
计算机专业自我鉴定
2013/10/15 职场文书
自荐信的两点禁忌
2013/10/30 职场文书
党员承诺践诺书
2014/05/20 职场文书
莫言诺贝尔获奖演讲稿
2014/05/21 职场文书
单位租房协议范本
2014/12/03 职场文书
给老婆的检讨书1000字
2015/01/01 职场文书
python使用pygame创建精灵Sprite
2021/04/06 Python
Java方法重载和方法重写的区别到底在哪?
2021/06/11 Java/Android