python爬虫请求头的使用


Posted in Python onDecember 01, 2020

爬虫请求头

网页获取:

通过urlopen来进行获取

requset.urlopen(url,data,timeout)

第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。
第二三个参数是可以不传送的,data默认为空None,timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
第一个参数URL是必须要加入的,执行urlopen方法之后,返回一个response对象,返回信息便保存在这里面

from urllib.request import urlopen

url = "https://www.baidu.com/"
respons = urlopen(url)#最简单的爬取情况这样爬取大部分网页无法爬取成功

response对象:

response.read()
read()方法就是读取文件里的全部内容,返回bytes类型

print(type(respons.read()))#结果为bytes类型所以需要进行转码
print(type(respons.read().decode()))#通过decode转码结果为str

response.getcode()
返回 HTTP的响应码,成功返回200,4服务器页面出错,5服务器问题

response.geturl()
返回 返回实际数据的实际URL,防止重定向问题

response.info()
返回 服务器响应的HTTP报头

Request对象

Request对象,由于urlopen参数可以传入一个request请求(可以理解成为再加一步封装的功能)因为在构建请求时还需要加入好多内容,通过构建一个request,服务器响应请求得到应答,这样显得逻辑上清晰明确

from urllib.request import urlopen,Request
from fake_useragent import UserAgent#这个包可以随机生成User-Agent

url = "https://www.baidu.com/"
headers = {"User-Agent":UserAgent().firefox}#生成火狐的
request = Request(url,headers=headers)
response = urlopen(request)

a=response.read().decode()

Get请求

浏览器通过GET方法发出请求
爬虫主要通过get再url中加入请求的参数,由于中文的需要转码通过
Urllib.parse.urlencode() 针对多个参数进行转码操作输入格式为字典类型
Urllib.parse.quote() 针对单个字符串进行转码操作
Str格式.format( ) 用于拼接字符串

post请求

一般在需要登录的地方用的比较多
需要在request请求中加如一个data用来传入参数
参数的形式要以字典格式通过urllib.parse.urlencode()进行转换成字符串形式
再通过encode()函数对字符串进行转码(默认值就可以)

发送请求/响应header头的含义

名称 含义
Accept 告诉服务器,客户端支持的数据类型
Accept-Charset 告诉服务器,客户端采用的编码
Accept-Encoding 告诉服务器,客户机支持的数据压缩格式
Accept-Language 告诉服务器,客户机的语言环境
Host 客户机通过这个头告诉服务器,想访问的主机名
If-Modified-Since 客户机通过这个头告诉服务器,资源的缓存时间
Referer 客户机通过这个头告诉服务器,它是从哪个资源来访问服务器的。(一般用于防盗链)
User-Agent 客户机通过这个头告诉服务器,客户机的软件环境
Cookie 客户机通过这个头告诉服务器,可以向服务器带数据
Refresh 服务器通过这个头,告诉浏览器隔多长时间刷新一次
Content-Type 服务器通过这个头,回送数据的类型
Content-Language 服务器通过这个头,告诉服务器的语言环境
Server 服务器通过这个头,告诉浏览器服务器的类型
Content-Encoding 服务器通过这个头,告诉浏览器数据采用的压缩格式
Content-Length 服务器通过这个头,告诉浏览器回送数据的长度

Ajax请求
用于提取动态的页面 网页数据根据拖动进行显示
通过浏览器工具箱,查找包的信息,找到url的规律进行爬取
如果无法知道要循环多少次则规定一个死循环,爬取页面为空时停止循环
也可以通过改变url一次性输出更多的网页信息(只要服务器允许)

https请求
因为在有些浏览器中存在很多证书所以在大部分网页爬取的时候不用改变证书或者添加证书但有些自己写证书的网站需要进行这一步操作
https请求=在http上加ssl,http请求是明文直接可以看见,为了安全要加上ssl
可以选择忽略证书进行爬取 context = ssl._create_unverified_context()

到此这篇关于python爬虫请求头的使用的文章就介绍到这了,更多相关python爬虫请求头内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python写的ARP攻击代码实例
Jun 04 Python
python使用calendar输出指定年份全年日历的方法
Apr 04 Python
【python】matplotlib动态显示详解
Apr 11 Python
Python利用lxml模块爬取豆瓣读书排行榜的方法与分析
Apr 15 Python
Python实现平行坐标图的两种方法小结
Jul 04 Python
Python函数装饰器原理与用法详解
Aug 16 Python
Python3如何在Windows和Linux上打包
Feb 25 Python
Python生成六万个随机,唯一的8位数字和数字组成的随机字符串实例
Mar 03 Python
使用jupyter notebook将文件保存为Markdown,HTML等文件格式
Apr 14 Python
如何利用python读取micaps文件详解
Oct 18 Python
Python还能这么玩之用Python修改了班花的开机密码
Jun 04 Python
python中filter,map,reduce的作用
Jun 10 Python
在pycharm创建scrapy项目的实现步骤
Dec 01 #Python
Python实现迪杰斯特拉算法并生成最短路径的示例代码
Dec 01 #Python
python 检测图片是否有马赛克
Dec 01 #Python
python中pop()函数的语法与实例
Dec 01 #Python
python爬虫多次请求超时的几种重试方法(6种)
Dec 01 #Python
python爬虫搭配起Bilibili唧唧的流程分析
Dec 01 #Python
python爬虫看看虎牙女主播中谁最“顶”步骤详解
Dec 01 #Python
You might like
php 文件上传类代码
2011/08/06 PHP
PHP新手用的Insert和Update语句构造类
2012/03/31 PHP
php注销代码(session注销)
2012/05/31 PHP
php中使用exec,system等函数调用系统命令的方法(不建议使用,可导致安全问题)
2012/09/07 PHP
解析thinkphp中的导入文件标签
2013/06/20 PHP
phpmyadmin出现Cannot start session without errors问题解决方法
2014/08/14 PHP
PHP+Ajax+JS实现多图上传
2016/05/07 PHP
手把手编写PHP框架 深入了解MVC运行流程
2016/09/19 PHP
Yii框架的路由配置方法分析
2019/09/09 PHP
将光标定位于输入框最右侧实现代码
2012/12/04 Javascript
jqeury-easyui-layout问题解决方法
2014/03/24 Javascript
jQuery实现仿QQ在线客服效果的滚动层代码
2015/10/15 Javascript
JS实现图文并茂的tab选项卡效果示例【附demo源码下载】
2016/09/21 Javascript
easyui中combotree循环获取父节点至根节点并输出路径实现方法
2016/11/10 Javascript
怎样判断jQuery当前元素是隐藏还是显示
2016/11/23 Javascript
用jQuery实现圆点图片轮播效果
2017/03/19 Javascript
javascript数据结构之串的概念与用法分析
2017/04/12 Javascript
微信小程序实现移动端滑动分页效果(ajax)
2017/06/13 Javascript
微信小程序实现天气预报功能
2018/07/18 Javascript
js实现星星打分效果
2020/07/05 Javascript
JavaScript 常见的继承方式汇总
2020/09/17 Javascript
python中元类用法实例
2014/10/10 Python
Python设置默认编码为utf8的方法
2016/07/01 Python
python使用两种发邮件的方式smtp和outlook示例
2017/06/02 Python
Python编程给numpy矩阵添加一列方法示例
2017/12/04 Python
Django的用户模块与权限系统的示例代码
2019/07/24 Python
postman传递当前时间戳实例详解
2019/09/14 Python
python 密码学示例——凯撒密码的实现
2020/09/21 Python
Regatta官网:英国最受欢迎的户外服装和鞋类品牌
2019/05/01 全球购物
美国杰西潘尼官网:JCPenney
2019/06/12 全球购物
高一地理教学反思
2014/01/18 职场文书
农村面貌改造提升实施方案
2014/03/18 职场文书
小学教师培训方案
2014/06/09 职场文书
舞蹈教育学专业自荐信
2014/06/15 职场文书
奥巴马开学演讲观后感
2015/06/12 职场文书
Mysql数据库索引面试题(程序员基础技能)
2021/05/31 MySQL