python爬虫模拟浏览器访问-User-Agent过程解析


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

模拟浏览器访问-User-Agent:

import urllib2

#User-Agent 模拟浏览器访问
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}

#通过urllib2.Request()方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = headers)


#向指定的URL地址发送请求,并返回服务器响应的类文件对象
#response是服务器响应的类文件,除了支持文件操作的方法外,还支持以下常用的方法:
response = urllib2.urlopen(request)



#服务器返回的类文件对象支持python文件对象的操作方法
#read()方法就是读取文件里的全部内容,返回字符串
html = response.read()

#返回HTTP的响应码,成功返回200,4服务器页面出错;5.服务器问题
print response.getcode()

#返回实际数据的实际URL,防止重定向问题
print response.geturl()

#返回服务器响应的HTTP报头
print response.info()


#打印响应内容
print(html)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现从ftp服务器下载文件的方法
Apr 30 Python
Python的Django框架下管理站点的基本方法
Jul 17 Python
Python新手们容易犯的几个错误总结
Apr 01 Python
Python排序搜索基本算法之选择排序实例分析
Dec 09 Python
Python将多个excel表格合并为一个表格
Feb 22 Python
利用python实现对web服务器的目录探测的方法
Feb 26 Python
Django 创建新App及其常用命令的实现方法
Aug 04 Python
详解PyTorch中Tensor的高阶操作
Aug 18 Python
wxPython电子表格功能wx.grid实例教程
Nov 19 Python
python实现把两个二维array叠加成三维array示例
Nov 29 Python
Python中os模块的简单使用及重命名操作
Apr 17 Python
我对PyTorch dataloader里的shuffle=True的理解
May 20 Python
python爬虫添加请求头代码实例
Dec 28 #Python
python使用rsa非对称加密过程解析
Dec 28 #Python
Python遍历字典方式就实例详解
Dec 28 #Python
python基于opencv检测程序运行效率
Dec 28 #Python
把vgg-face.mat权重迁移到pytorch模型示例
Dec 27 #Python
Pytorch 多维数组运算过程的索引处理方式
Dec 27 #Python
Pytorch 之修改Tensor部分值方式
Dec 27 #Python
You might like
一个程序下载的管理程序(三)
2006/10/09 PHP
PHP 数据结构 算法 三元组 Triplet
2011/07/02 PHP
CodeIgniter实现更改view文件夹路径的方法
2014/07/04 PHP
ThinkPHP实现带验证码的文件上传功能实例
2014/11/01 PHP
PHP生成plist数据的方法
2015/06/16 PHP
php 的多进程操作实践案例分析
2020/02/28 PHP
Javascript封装DOMContentLoaded事件实例
2014/06/12 Javascript
js中window.open打开一个新的页面
2014/08/10 Javascript
AngularJS学习笔记之ng-options指令
2015/06/16 Javascript
javascript实现平滑无缝滚动
2020/08/09 Javascript
JavaScript必知必会(七)js对象继承
2016/06/08 Javascript
JavaScript读二进制文件并用ajax传输二进制流的方法
2016/07/18 Javascript
javascript鼠标滑过显示二级菜单特效
2020/11/18 Javascript
原生js实现可拖拽效果
2017/02/28 Javascript
Vue.js中的computed工作原理
2018/03/22 Javascript
用Node提供静态文件服务的方法
2018/07/06 Javascript
Javascript地址引用代码实例解析
2020/02/25 Javascript
JS实现audio音频剪裁剪切复制播放与上传(步骤详解)
2020/07/28 Javascript
python计算方程式根的方法
2015/05/07 Python
Python的Django框架安装全攻略
2015/07/15 Python
pandas数值计算与排序方法
2018/04/12 Python
详解Python 装饰器执行顺序迷思
2018/08/08 Python
Python基本socket通信控制操作示例
2019/01/30 Python
浅谈keras中的目标函数和优化函数MSE用法
2020/06/10 Python
基于python实现操作git过程代码解析
2020/07/27 Python
Python的3种运行方式:命令行窗口、Python解释器、IDLE的实现
2020/10/10 Python
python向xls写入数据(包括合并,边框,对齐,列宽)
2021/02/02 Python
Django与AJAX实现网页动态数据显示的示例代码
2021/02/24 Python
AJAX都有哪些有点和缺点
2012/11/03 面试题
中介公司区域经理岗位职责范本
2014/03/02 职场文书
爱牙日宣传活动总结
2015/02/05 职场文书
2015年财务工作总结范文
2015/03/31 职场文书
项目合作意向书
2015/05/08 职场文书
2016新年感言
2015/08/03 职场文书
2016年习主席讲话学习心得体会
2016/01/20 职场文书
学生会2016感恩节活动小结
2016/04/01 职场文书