python爬虫模拟浏览器访问-User-Agent过程解析


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

模拟浏览器访问-User-Agent:

import urllib2

#User-Agent 模拟浏览器访问
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}

#通过urllib2.Request()方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = headers)


#向指定的URL地址发送请求,并返回服务器响应的类文件对象
#response是服务器响应的类文件,除了支持文件操作的方法外,还支持以下常用的方法:
response = urllib2.urlopen(request)



#服务器返回的类文件对象支持python文件对象的操作方法
#read()方法就是读取文件里的全部内容,返回字符串
html = response.read()

#返回HTTP的响应码,成功返回200,4服务器页面出错;5.服务器问题
print response.getcode()

#返回实际数据的实际URL,防止重定向问题
print response.geturl()

#返回服务器响应的HTTP报头
print response.info()


#打印响应内容
print(html)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 实现归并排序算法
Jun 05 Python
一步步解析Python斗牛游戏的概率
Feb 12 Python
详解利用python+opencv识别图片中的圆形(霍夫变换)
Jul 01 Python
python向图片里添加文字
Nov 26 Python
django框架单表操作之增删改实例分析
Dec 16 Python
django数据模型(Model)的字段类型解析
Dec 25 Python
PyCharm汉化安装及永久激活详细教程(靠谱)
Jan 16 Python
解决pycharm中opencv-python导入cv2后无法自动补全的问题(不用作任何文件上的修改)
Mar 05 Python
PyCharm中Matplotlib绘图不能显示UI效果的问题解决
Mar 12 Python
详解Python的爬虫框架 Scrapy
Aug 03 Python
python实现人性化显示金额数字实例详解
Sep 25 Python
使用numpy实现矩阵的翻转(flip)与旋转
Jun 03 Python
python爬虫添加请求头代码实例
Dec 28 #Python
python使用rsa非对称加密过程解析
Dec 28 #Python
Python遍历字典方式就实例详解
Dec 28 #Python
python基于opencv检测程序运行效率
Dec 28 #Python
把vgg-face.mat权重迁移到pytorch模型示例
Dec 27 #Python
Pytorch 多维数组运算过程的索引处理方式
Dec 27 #Python
Pytorch 之修改Tensor部分值方式
Dec 27 #Python
You might like
PHP之COOKIE支持详解
2010/09/20 PHP
PHP错误Parse error: syntax error, unexpected end of file in test.php on line 12解决方法
2014/06/23 PHP
php实现设计模式中的单例模式详解
2014/10/11 PHP
THINKPHP3.2使用soap连接webservice的解决方法
2017/12/13 PHP
BOOM vs RR BO5 第一场 2.14
2021/03/10 DOTA
动态加载外部javascript文件的函数代码分享
2011/07/28 Javascript
基于datagrid框架的查询
2013/04/08 Javascript
JQuery文字列表向上滚动的代码
2013/11/13 Javascript
jQuery基础知识小结
2014/12/22 Javascript
微信小程序 下拉菜单的实现
2017/04/06 Javascript
jQuery实现web页面樱花坠落的特效
2017/06/01 jQuery
微信小程序-getUserInfo回调的实例详解
2017/10/27 Javascript
ES6 javascript中class静态方法、属性与实例属性用法示例
2017/10/30 Javascript
node链接mongodb数据库的方法详解【阿里云服务器环境ubuntu】
2019/03/07 Javascript
js作用域和作用域链及预解析
2019/04/11 Javascript
了解前端理论:rscss和rsjs
2019/05/23 Javascript
axios如何利用promise无痛刷新token的实现方法
2019/08/27 Javascript
Python版实现微信公众号扫码登陆
2020/05/28 Javascript
Vue中 axios delete请求参数操作
2020/08/25 Javascript
如何使用 vue-cli 创建模板项目
2020/11/19 Vue.js
[03:32]2014DOTA2西雅图邀请赛 CIS外卡赛赛前black专访
2014/07/09 DOTA
python实现的AES双向对称加密解密与用法分析
2017/05/02 Python
python使用 HTMLTestRunner.py生成测试报告
2017/10/20 Python
Python批处理更改文件名os.rename的方法
2018/10/26 Python
Python面向对象基础入门之编码细节与注意事项
2018/12/11 Python
浅谈python元素如何去重,去重后如何保持原来元素的顺序不变
2020/02/28 Python
Django 多对多字段的更新和插入数据实例
2020/03/31 Python
python如何操作mysql
2020/08/17 Python
python实现邮件循环自动发件功能
2020/09/11 Python
委托书样本
2014/04/02 职场文书
处级干部反四风个人对照检查材料思想汇报
2014/09/27 职场文书
学生上课说话检讨书
2014/10/25 职场文书
新年晚会主持词开场白
2015/05/28 职场文书
浅谈JavaScript浅拷贝和深拷贝
2021/11/07 Javascript
【DOTA2】半决赛强强对话~ PSG LGD vs EHOME - DPC 2022 CN REGIONAL FINALS WINTER
2022/04/02 DOTA
Python可视化神器pyecharts绘制地理图表
2022/07/07 Python