python爬虫模拟浏览器访问-User-Agent过程解析


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

模拟浏览器访问-User-Agent:

import urllib2

#User-Agent 模拟浏览器访问
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}

#通过urllib2.Request()方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = headers)


#向指定的URL地址发送请求,并返回服务器响应的类文件对象
#response是服务器响应的类文件,除了支持文件操作的方法外,还支持以下常用的方法:
response = urllib2.urlopen(request)



#服务器返回的类文件对象支持python文件对象的操作方法
#read()方法就是读取文件里的全部内容,返回字符串
html = response.read()

#返回HTTP的响应码,成功返回200,4服务器页面出错;5.服务器问题
print response.getcode()

#返回实际数据的实际URL,防止重定向问题
print response.geturl()

#返回服务器响应的HTTP报头
print response.info()


#打印响应内容
print(html)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Docker上开始部署Python应用的教程
Apr 17 Python
python实现简单ftp客户端的方法
Jun 28 Python
python比较两个列表大小的方法
Jul 11 Python
Python 查看文件的编码格式方法
Dec 21 Python
python实现单向链表详解
Feb 08 Python
图解Python变量与赋值
Apr 03 Python
python数字图像处理之骨架提取与分水岭算法
Apr 27 Python
Python修改文件往指定行插入内容的实例
Jan 30 Python
OpenCV图像颜色反转算法详解
May 13 Python
Python Pandas实现数据分组求平均值并填充nan的示例
Jul 04 Python
python 实现仿微信聊天时间格式化显示的代码
Apr 17 Python
详解python的xlwings库读写excel操作总结
Feb 26 Python
python爬虫添加请求头代码实例
Dec 28 #Python
python使用rsa非对称加密过程解析
Dec 28 #Python
Python遍历字典方式就实例详解
Dec 28 #Python
python基于opencv检测程序运行效率
Dec 28 #Python
把vgg-face.mat权重迁移到pytorch模型示例
Dec 27 #Python
Pytorch 多维数组运算过程的索引处理方式
Dec 27 #Python
Pytorch 之修改Tensor部分值方式
Dec 27 #Python
You might like
使用PHP维护文件系统
2006/10/09 PHP
php 代码优化之经典示例
2011/03/24 PHP
php判断手机访问还是电脑访问示例分享
2014/01/20 PHP
php的ajax简单实例
2014/02/27 PHP
Codeigniter实现智能裁剪图片的方法
2014/06/12 PHP
在WordPress中使用wp-cron插件来设置定时任务
2015/12/10 PHP
THINKPHP-Apache服务器中使用Alias虚拟目录URL重写 隐藏index.php
2021/03/09 PHP
Nigma vs Alliance BO5 第五场2.14
2021/03/10 DOTA
createElement动态创建HTML对象脚本代码
2008/11/24 Javascript
javascript 表单验证常见正则
2009/09/28 Javascript
jQuery随机切换图片的小例子
2013/04/18 Javascript
JS定时刷新页面及跳转页面的方法
2013/07/04 Javascript
Javascript判断文件是否存在(客户端/服务器端)
2014/09/16 Javascript
js简单实现标签云效果实例
2015/08/06 Javascript
javascript巧用eval函数组装表单输入项为json对象的方法
2015/11/25 Javascript
connection reset by peer问题总结及解决方案
2016/10/21 Javascript
基于jquery实现二级联动效果
2017/03/30 jQuery
JavaScript数据结构之优先队列与循环队列实例详解
2017/10/27 Javascript
详解React-Router中Url参数改变页面不刷新的解决办法
2018/05/08 Javascript
JS实现前端页面的搜索功能
2018/06/12 Javascript
Vue.js实现双向数据绑定方法(表单自动赋值、表单自动取值)
2018/08/27 Javascript
记录vue做微信自定义分享的一些问题
2019/09/12 Javascript
怎样使用Python脚本日志功能
2016/08/14 Python
Python抓取手机号归属地信息示例代码
2016/11/28 Python
python 对txt中每行内容进行批量替换的方法
2018/07/11 Python
pygame游戏之旅 游戏中添加显示文字
2018/11/20 Python
python进行文件对比的方法
2018/12/24 Python
python代码 FTP备份交换机配置脚本实例解析
2019/08/01 Python
关于numpy中eye和identity的区别详解
2019/11/29 Python
Html5 web本地存储实例详解
2016/07/28 HTML / CSS
Html5页面上如何禁止手机虚拟键盘弹出
2020/03/19 HTML / CSS
For Art’s Sake官网:手工制作的奢华眼镜
2018/12/15 全球购物
大学校务公开实施方案
2014/03/31 职场文书
司法局2014法制宣传日活动总结
2014/11/01 职场文书
幼儿园班级管理心得体会
2016/01/07 职场文书
JavaScript中document.activeELement焦点元素介绍
2021/11/27 Javascript