python requests爬取高德地图数据的实例


Posted in Python onNovember 10, 2018

如下所示:

1.pip install requests

2.pip install lxml

3.pip install xlsxwriter

import requests #想要爬必须引
from lxml import html #这个是用于页面爬取
import xlsxwriter#操作Excel表格库
 
workbook = xlsxwriter.Workbook('E:/test/test.xlsx')# 新建的Excel表格文档路径
worksheet = workbook.add_worksheet() # 建立sheet, 可以work.add_worksheet('employee')来指定sheet名,但中文名会报UnicodeDecodeErro的错误
i = 1;# 作用于Excel表格第几行数与接口第几页
#写一个死循环让他一直爬取数据
while (True):
 import json# 这里这么引入json是因为不这么引入当循环到第二次就会报没有引入json的错,所以循环引入了
 #接口str(i)表示第几页一定要转为字符串格式,要不会报不是字符串的错
 url = "https://www.amap.com/service/poiInfo?query_type=TQUERY&pagesize=20&pagenum="+str(i)+"&qii=true&cluster_state=5&need_utd=true&utd_sceneid=1000&div=PC1000&addr_poi_merge=true&is_classify=true&zoom=14.81&city=110000&geoobj=115.7|39.4|117.4|41.6&keywords=水果店" 
 # 将cookies字符串组装为字典 
 cookies_str = "guid=f86f-79f2-5b0b-69a3; UM_distinctid=16386a114ca143-07312d6ae4d5af8-47534130-1fa400-16386a114ccb85; CNZZDATA1255626299=1778515027-1526967763-https%253A%252F%252Fwww.baidu.com%252F%7C1527219534; cna=5hWHEx7lRkECAXL4l+2LMAfU; isg=BGBg3rAqL6QOz5OkNN5wbxWiMm7ywUxc_zvQMtpxLHsO1QD_gnkUwzbHaf3V_vwL; _uab_collina=152697209566826431413694; key=bfe31f4e0fb231d29e1d3ce951e2c780" 
 cookies_dict = {} 
 for cookie in cookies_str.split(";"): 
  k, v = cookie.split("=", 1) 
  cookies_dict[k.strip()] = v.strip() 
 pass
 # 其他请求头参数 
 headers = { 
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0' 
 }
 
 # 让服务器认为你是通过浏览器访问页面 
 page = requests.get(url=url,cookies=cookies_dict,headers=headers);
 # 转json
 json = json.loads(page.text);
 # 判断这个字段如果为未找到相关信息则跳出死循环
 if json['data']['lqii']['change_query_tip'] == '未找到"水果店"相关结果':
 break;
 pass
 # 获取json长度用于添加Excel第几行
 length = len(json['data']['poi_list']);
 # 循环json数据向Excel表格添加
 for index,j in enumerate(json['data']['poi_list']):
 worksheet.write(index+(i-1)*length,0,j['disp_name'])
 worksheet.write(index+(i-1)*length,1,j['tel'])
 worksheet.write(index+(i-1)*length,2,j['address'])
 pass
 i+=1
pass
workbook.close()#最后关闭Excel表格 注意事项,当Excel表格正在打开的情况下会报没有关闭的错所以请关闭Excel再运行此程序

以上这篇python requests爬取高德地图数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python3里的super()和__class__使用介绍
Apr 23 Python
Python 数据处理库 pandas进阶教程
Apr 21 Python
Tensorflow 查看变量的值方法
Jun 14 Python
Django csrf 两种方法设置form的实例
Feb 03 Python
详解Python正则表达式re模块
Mar 19 Python
python实现维吉尼亚加密法
Mar 20 Python
python画微信表情符的实例代码
Oct 09 Python
python随机生成大小写字母数字混合密码(仅20行代码)
Feb 01 Python
pytorch对梯度进行可视化进行梯度检查教程
Feb 04 Python
python PIL模块的基本使用
Sep 29 Python
Python如何telnet到网络设备
Feb 18 Python
pandas apply使用多列计算生成新的列实现示例
Feb 24 Python
Python爬取商家联系电话以及各种数据的方法
Nov 10 #Python
Python中的取模运算方法
Nov 10 #Python
在Python中获取两数相除的商和余数方法
Nov 10 #Python
Python解决两个整数相除只得到整数部分的实例
Nov 10 #Python
从DataFrame中提取出Series或DataFrame对象的方法
Nov 10 #Python
pandas 数据归一化以及行删除例程的方法
Nov 10 #Python
python 重命名轴索引的方法
Nov 10 #Python
You might like
也谈 PHP 和 MYSQL
2006/10/09 PHP
ThinkPHP3.1之D方法实例详解
2014/06/20 PHP
Php连接及读取和写入mysql数据库的常用代码
2014/08/11 PHP
文件上传之SWFUpload插件(代码)
2015/07/30 PHP
php生成唯一数字id的方法汇总
2015/11/18 PHP
php入门教程之Zend Studio设置与开发实例
2016/09/09 PHP
Laravel框架使用技巧之使用url()全局函数返回前一个页面的地址方法详解
2020/04/06 PHP
网页整体变灰白色(兼容各浏览器)实例
2013/04/21 Javascript
js下拉菜单语言选项简单实现
2013/09/23 Javascript
jQuery实现强制cookie过期方法汇总
2015/05/22 Javascript
详解JavaScript中jQuery和Ajax以及JSONP的联合使用
2015/08/13 Javascript
jquery利用拖拽方式在图片上添加热链接
2015/11/24 Javascript
Js的Array数组对象详解
2016/02/22 Javascript
浅谈js的url解析函数封装
2016/06/28 Javascript
微信开发 js实现tabs选项卡效果
2016/10/28 Javascript
js+html5实现半透明遮罩层弹框效果
2020/08/24 Javascript
JavaScript函数绑定用法实例分析
2017/11/14 Javascript
使用Vue实现简单计算器
2020/02/25 Javascript
小程序接入腾讯位置服务的详细流程
2020/03/03 Javascript
使用python实现省市三级菜单效果
2016/01/20 Python
Python基于identicon库创建类似Github上用的头像功能
2017/09/25 Python
python最小生成树kruskal与prim算法详解
2019/01/17 Python
python石头剪刀布小游戏(三局两胜制)
2021/01/20 Python
python调用摄像头拍摄数据集
2019/06/01 Python
在pytorch 中计算精度、回归率、F1 score等指标的实例
2020/01/18 Python
Django 后台带有字典的列表数据与页面js交互实例
2020/04/03 Python
详解python实现可视化的MD5、sha256哈希加密小工具
2020/09/14 Python
selenium学习教程之定位以及切换frame(iframe)
2021/01/04 Python
荷兰最大的鞋子、服装和运动折扣店:Bristol
2021/01/07 全球购物
大学本科毕业生的自我鉴定范文
2013/11/19 职场文书
机电一体化职业规划书
2014/01/07 职场文书
手机促销活动方案
2014/02/05 职场文书
学生无故旷课检讨书
2014/09/20 职场文书
语文教师个人工作总结
2015/02/06 职场文书
2015高中教师个人工作总结
2015/07/21 职场文书
微信小程序结合ThinkPHP5授权登陆后获取手机号
2021/11/23 PHP