python爬虫模拟浏览器访问-User-Agent过程解析


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

模拟浏览器访问-User-Agent:

import urllib2

#User-Agent 模拟浏览器访问
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}

#通过urllib2.Request()方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = headers)


#向指定的URL地址发送请求,并返回服务器响应的类文件对象
#response是服务器响应的类文件,除了支持文件操作的方法外,还支持以下常用的方法:
response = urllib2.urlopen(request)



#服务器返回的类文件对象支持python文件对象的操作方法
#read()方法就是读取文件里的全部内容,返回字符串
html = response.read()

#返回HTTP的响应码,成功返回200,4服务器页面出错;5.服务器问题
print response.getcode()

#返回实际数据的实际URL,防止重定向问题
print response.geturl()

#返回服务器响应的HTTP报头
print response.info()


#打印响应内容
print(html)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
分享几道你可能遇到的python面试题
Jul 24 Python
Python实现的十进制小数与二进制小数相互转换功能
Oct 12 Python
Python单元测试实例详解
May 25 Python
深入理解Python中的 __new__ 和 __init__及区别介绍
Sep 17 Python
Python实现程序判断季节的代码示例
Jan 28 Python
Python 20行简单实现有道在线翻译的详解
May 15 Python
Python适配器模式代码实现解析
Aug 02 Python
python selenium登录豆瓣网过程解析
Aug 10 Python
django迁移文件migrations的实现
Mar 31 Python
为2021年的第一场雪锦上添花:用matplotlib绘制雪花和雪景
Jan 05 Python
Django实现翻页的示例代码
May 24 Python
python使用opencv对图像添加噪声(高斯/椒盐/泊松/斑点)
Apr 06 Python
python爬虫添加请求头代码实例
Dec 28 #Python
python使用rsa非对称加密过程解析
Dec 28 #Python
Python遍历字典方式就实例详解
Dec 28 #Python
python基于opencv检测程序运行效率
Dec 28 #Python
把vgg-face.mat权重迁移到pytorch模型示例
Dec 27 #Python
Pytorch 多维数组运算过程的索引处理方式
Dec 27 #Python
Pytorch 之修改Tensor部分值方式
Dec 27 #Python
You might like
千呼万唤始出来,DOTA2勇士令状不朽宝藏Ⅱ现已推出
2020/08/25 DOTA
php中将数组转成字符串并保存到数据库中的函数代码
2013/09/29 PHP
jquery蒙版控件实现代码
2010/12/08 Javascript
Js sort排序使用方法
2011/10/17 Javascript
jQuery实现仿美橙互联两级导航菜单的方法
2015/03/09 Javascript
jQuery实现简单下拉导航效果
2015/09/07 Javascript
实例讲解jQuery中对事件的命名空间的运用
2016/05/24 Javascript
javascript 将共享属性迁移到原型中去的实现方法
2016/08/31 Javascript
setTimeout学习小结
2017/02/08 Javascript
Bootstrap 3 进度条的实现
2017/02/22 Javascript
使用angular帮你实现拖拽的示例
2017/07/05 Javascript
vue学习之mintui picker选择器实现省市二级联动示例
2017/10/12 Javascript
使用百度地图实现地图网格的示例
2018/02/06 Javascript
JS对象和字符串之间互换操作实例分析
2019/02/02 Javascript
JavaScript中常用的3种弹出提示框(alert、confirm、prompt)
2020/11/10 Javascript
[51:26]DOTA2上海特级锦标赛主赛事日 - 2 胜者组第一轮#3Secret VS OG第二局
2016/03/03 DOTA
[01:04]DOTA2上海特锦赛现场采访 FreeAgain遭众解说围攻
2016/03/25 DOTA
Pyramid Mako模板引入helper对象的步骤方法
2013/11/27 Python
让Python代码更快运行的5种方法
2015/06/21 Python
python 删除非空文件夹的实例
2018/04/26 Python
python通过Windows下远程控制Linux系统
2018/06/20 Python
python: 自动安装缺失库文件的方法
2018/10/22 Python
Django添加KindEditor富文本编辑器的使用
2018/10/24 Python
很酷的python表白工具 你喜欢我吗
2019/04/11 Python
python logging模块书写日志以及日志分割详解
2019/07/22 Python
python 实现生成均匀分布的点
2019/12/05 Python
Solaris操作系统的线程机制
2012/12/23 面试题
物流专业大学生的自我鉴定
2013/11/13 职场文书
大一自我鉴定范文
2013/12/27 职场文书
报到证丢失证明
2014/01/11 职场文书
态度决定一切演讲稿
2014/05/20 职场文书
2014学习十八届四中全会精神思想汇报范文
2014/10/23 职场文书
学校运动会通讯稿
2015/07/18 职场文书
Java使用httpRequest+Jsoup爬取红蓝球号码
2021/07/02 Java/Android
Python利用zhdate模块实现农历日期处理
2022/03/31 Python
JavaScript实现九宫格拖拽效果
2022/06/28 Javascript