python爬虫请求头的使用


Posted in Python onDecember 01, 2020

爬虫请求头

网页获取:

通过urlopen来进行获取

requset.urlopen(url,data,timeout)

第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。
第二三个参数是可以不传送的,data默认为空None,timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
第一个参数URL是必须要加入的,执行urlopen方法之后,返回一个response对象,返回信息便保存在这里面

from urllib.request import urlopen

url = "https://www.baidu.com/"
respons = urlopen(url)#最简单的爬取情况这样爬取大部分网页无法爬取成功

response对象:

response.read()
read()方法就是读取文件里的全部内容,返回bytes类型

print(type(respons.read()))#结果为bytes类型所以需要进行转码
print(type(respons.read().decode()))#通过decode转码结果为str

response.getcode()
返回 HTTP的响应码,成功返回200,4服务器页面出错,5服务器问题

response.geturl()
返回 返回实际数据的实际URL,防止重定向问题

response.info()
返回 服务器响应的HTTP报头

Request对象

Request对象,由于urlopen参数可以传入一个request请求(可以理解成为再加一步封装的功能)因为在构建请求时还需要加入好多内容,通过构建一个request,服务器响应请求得到应答,这样显得逻辑上清晰明确

from urllib.request import urlopen,Request
from fake_useragent import UserAgent#这个包可以随机生成User-Agent

url = "https://www.baidu.com/"
headers = {"User-Agent":UserAgent().firefox}#生成火狐的
request = Request(url,headers=headers)
response = urlopen(request)

a=response.read().decode()

Get请求

浏览器通过GET方法发出请求
爬虫主要通过get再url中加入请求的参数,由于中文的需要转码通过
Urllib.parse.urlencode() 针对多个参数进行转码操作输入格式为字典类型
Urllib.parse.quote() 针对单个字符串进行转码操作
Str格式.format( ) 用于拼接字符串

post请求

一般在需要登录的地方用的比较多
需要在request请求中加如一个data用来传入参数
参数的形式要以字典格式通过urllib.parse.urlencode()进行转换成字符串形式
再通过encode()函数对字符串进行转码(默认值就可以)

发送请求/响应header头的含义

名称 含义
Accept 告诉服务器,客户端支持的数据类型
Accept-Charset 告诉服务器,客户端采用的编码
Accept-Encoding 告诉服务器,客户机支持的数据压缩格式
Accept-Language 告诉服务器,客户机的语言环境
Host 客户机通过这个头告诉服务器,想访问的主机名
If-Modified-Since 客户机通过这个头告诉服务器,资源的缓存时间
Referer 客户机通过这个头告诉服务器,它是从哪个资源来访问服务器的。(一般用于防盗链)
User-Agent 客户机通过这个头告诉服务器,客户机的软件环境
Cookie 客户机通过这个头告诉服务器,可以向服务器带数据
Refresh 服务器通过这个头,告诉浏览器隔多长时间刷新一次
Content-Type 服务器通过这个头,回送数据的类型
Content-Language 服务器通过这个头,告诉服务器的语言环境
Server 服务器通过这个头,告诉浏览器服务器的类型
Content-Encoding 服务器通过这个头,告诉浏览器数据采用的压缩格式
Content-Length 服务器通过这个头,告诉浏览器回送数据的长度

Ajax请求
用于提取动态的页面 网页数据根据拖动进行显示
通过浏览器工具箱,查找包的信息,找到url的规律进行爬取
如果无法知道要循环多少次则规定一个死循环,爬取页面为空时停止循环
也可以通过改变url一次性输出更多的网页信息(只要服务器允许)

https请求
因为在有些浏览器中存在很多证书所以在大部分网页爬取的时候不用改变证书或者添加证书但有些自己写证书的网站需要进行这一步操作
https请求=在http上加ssl,http请求是明文直接可以看见,为了安全要加上ssl
可以选择忽略证书进行爬取 context = ssl._create_unverified_context()

到此这篇关于python爬虫请求头的使用的文章就介绍到这了,更多相关python爬虫请求头内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
小结Python用fork来创建子进程注意事项
Jul 03 Python
在centos7中分布式部署pyspider
May 03 Python
Python实现的手机号归属地相关信息查询功能示例
Jun 08 Python
python 图像平移和旋转的实例
Jan 10 Python
Windows下python3安装tkinter的问题及解决方法
Jan 06 Python
python数据预处理 :样本分布不均的解决(过采样和欠采样)
Feb 29 Python
Python编程快速上手——strip()函数的正则表达式实现方法分析
Feb 29 Python
Python读写压缩文件的方法
Jul 30 Python
Python截图并保存的具体实例
Jan 14 Python
python实现ROA算子边缘检测算法
Apr 05 Python
Python机器学习之KNN近邻算法
May 14 Python
Python中使用Opencv开发停车位计数器功能
Apr 04 Python
在pycharm创建scrapy项目的实现步骤
Dec 01 #Python
Python实现迪杰斯特拉算法并生成最短路径的示例代码
Dec 01 #Python
python 检测图片是否有马赛克
Dec 01 #Python
python中pop()函数的语法与实例
Dec 01 #Python
python爬虫多次请求超时的几种重试方法(6种)
Dec 01 #Python
python爬虫搭配起Bilibili唧唧的流程分析
Dec 01 #Python
python爬虫看看虎牙女主播中谁最“顶”步骤详解
Dec 01 #Python
You might like
深入了解php4(2)--重访过去
2006/10/09 PHP
Ajax+PHP 边学边练 之二 实例
2009/11/24 PHP
php is_file()和is_dir()用于遍历目录时用法注意事项
2010/03/02 PHP
通过PHP的内置函数,通过DES算法对数据加密和解密
2012/06/21 PHP
php 模拟POST提交的2种方法详解
2013/06/17 PHP
配置php网页显示各种语法错误
2013/09/23 PHP
php 判断是否是中文/英文/数字示例代码
2013/09/30 PHP
php发送html格式文本邮件的方法
2015/06/10 PHP
js创建对象的几种常用方式小结(推荐)
2010/10/24 Javascript
修改file按钮的默认样式实现代码
2013/04/23 Javascript
js渐变显示渐变消失示例代码
2013/08/01 Javascript
Extjs实现进度条的两种便捷方式
2013/09/26 Javascript
js 通过html()及text()方法获取并设置p标签的显示值
2014/05/14 Javascript
基于javascript实现页面加载loading效果
2020/09/15 Javascript
JS实现一个简单的日历
2017/02/22 Javascript
angularJs使用$watch和$filter过滤器制作搜索筛选实例
2017/06/01 Javascript
Vue 滚动行为的具体使用方法
2017/09/13 Javascript
vue数据传递--我有特殊的实现技巧
2018/03/20 Javascript
新版vue-cli模板下本地开发环境使用node服务器跨域的方法
2018/04/03 Javascript
jquery实现联想词搜索框和搜索结果分页的示例
2018/10/10 jQuery
python使用scrapy解析js示例
2014/01/23 Python
Python的print用法示例
2014/02/11 Python
Python创建系统目录的方法
2015/03/11 Python
在Python下使用Txt2Html实现网页过滤代理的教程
2015/04/11 Python
python自动化脚本安装指定版本python环境详解
2017/09/14 Python
Python tkinter事件高级用法实例
2018/01/31 Python
在Python中通过getattr获取对象引用的方法
2019/01/21 Python
Django 实现图片上传和显示过程详解
2019/07/18 Python
Python多进程编程multiprocessing代码实例
2020/03/12 Python
Python+Appium实现自动化测试的使用步骤
2020/03/24 Python
浅谈keras中的后端backend及其相关函数(K.prod,K.cast)
2020/06/29 Python
介绍一下Python下range()函数的用法
2013/11/07 面试题
淘宝客服专员岗位职责
2014/04/11 职场文书
2015年采购部工作总结
2015/04/23 职场文书
2015暑假打工实践报告
2015/07/13 职场文书
Java 中的 Unsafe 魔法类的作用大全
2021/06/26 Java/Android