Python爬虫基础讲解之请求


Posted in Python onMay 13, 2021

一、请求目标(URL)

URL又叫作统一资源定位符,是用于完整地描述Internet上网页和其他资源的地址的一种方法。类似于windows的文件路径。

Python爬虫基础讲解之请求

二、网址的组成:

1.http://:这个是协议,也就是HTTP超文本传输协议,也就是网页在网上传输的协议。

2.mail:这个是服务器名,代表着是一个邮箱服务器,所以是mail。

3.163.com:这个是域名,是用来定位网站的独一无二的名字。

4.mail.163.com:这个是网站名,由服务器名+域名组成。

5./:这个是根目录,也就是说,通过网站名找到服务器,然后在服务器存放网页的根目录。

6.index.html:这个是根目录下的网页。

7.http://mail.163.com/index.html:这个叫做URL,统一资源定位符,全球性地址,用于定位网上的资源。

三、请求体(response)

就像打电话一样,HTTP到底和服务器说了什么,才能让服务器返回正确的消息的,其实客户端的请求告诉了服务器这些内容:请求行、请求头部、空行、请求数据

Python爬虫基础讲解之请求

四、请求方法(Method)

HTTP请求可以使用多种请求方法,但是爬虫最主要就两种方法:GETPOST方法。

get请求:一般情况下,只从服务器获取数据下来,并不会对服务器资源产生任何影响的时候会使用get请求。

post请求:向服务器发送数据(登录)、上传文件等,会对服务器资源产生影响的时候会使用
post请求。

以上是在网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。但是有的网站和服务器为了做反爬虫机制,也经常会不按常理出牌,有可能一个应该使用get方法的请求就一定要改成post请求,这个要视情况而定。

GET与POST方法的区别:

1.GET是从服务器上获取数据,POST是向服务器传送数据

2.GET请求参数都显示在浏览器网址上,即Get"请求的参数是URL的一部分。例如: http://www.baidu.com/s?wd=Chinese

3.POST请求参数在请求体当中,消息长度没有限制而且以隐式的方式进行发送,通常用来向HTTP服务器提交量比较大的数据。请求的参数类型包含在"Content-Type"消息头里,指明发送请求时要提交的数据格式。

注意:

网站制作者一般不会使用Get方式提交表单,因为有可能会导致安全问题。比如说在登陆表单中用Get方式,用户输入的用户名和密码将在地址栏中暴露无遗。并且浏览器会记录历史信息,导致账号不安全的因素存在。

五、常用的请求报头

请求头描述了客户端向服务器发送请求时所使用的编码,以及发送内容的长度,告诉服务器自己有没有登陆,采用的什么浏览器访问的等等。

1.Accept:浏览器告诉服务器自己接受什么数据类型,文字,图片等。

2.Accept-charset:浏览器申明自己接收的字符集。

3.Accept-Encoding:浏览器申明自己接收的编码方法,通常指定压缩方法,是否支持压缩,支持什么压缩方法(gzip, deflate,br)。

4.Accept-Language:浏览器申明自己接收的语言。

5.Authorization:授权信息,通常出现在对服务器发送的WWW-Authenticate头的应答中。

6.content-Length表示请求消息正文的长度。

7.origin:声明请求资源的起始位置

8.connection:处理完这次请求后,是断开连接还是继续保持连接。9.Cookie:发送给WEB服务器的Cookie内容,经常用来判断是否登陆了。

9.Cookie:发送给WEB服务器的Cookie内容,经常用来判断是否登陆了。

10.Host:客户端指定自己想访问的WEB服务器的域名/IP地址和端口号。

11.If-Modified-since:客户机通过这个头告诉服务器,资源的缓存时间。只有当所请求的内容在指定的时间后又经过修改才返回它,否则返回304"Not Modified"应答。

12.Pragma:指定"no-cache"值表示服务器必须返回一个刷新后的文档,即使它是代理服务器而且已经有了页面的本地拷贝。

13.Referer:告诉服务器该页面从哪个页面链接的。

14.From∶请求发送者的email地址,由一些特殊的Web客户程序使用,浏览器不会用到它。

15.(user-Agent:浏览器表明自己的身份(是哪种浏览器)

16.upgrade-insecure-requests∶申明浏览器支持从http请求自动升级为https请求,并且在以后发送请求的时候都使用https。

UA-Pixels,uA-Color,uA-oS,UA-CPU:由某些版本的IE浏览器所发送的非标准的请求头,表示屏幕大小、颜色深度、操作系统和CPu类型。

六、requests模块查看请求体

在我们用requests模块请求数据的时候携带上诉请求报头的字段信息,将我们的爬虫代码进行伪装。同样的伪装之后我们也可以通过代码查看请求体的字段信息,有如下几种常见的属性:

#查看请求体中的url地址
response.request.url
#查看请求体中的请求头信息
response.request.headers
#查看请求体中的请求方法
response.request.method

到此这篇关于Python爬虫基础讲解之请求的文章就介绍到这了,更多相关Python请求内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python通过正则查找微博@(at)用户的方法
Mar 13 Python
Python中几个比较常见的名词解释
Jul 04 Python
Python中的urllib模块使用详解
Jul 07 Python
python去除文件中空格、Tab及回车的方法
Apr 12 Python
python 字典中取值的两种方法小结
Aug 02 Python
python pcm音频添加头转成Wav格式文件的方法
Jan 09 Python
python将excel转换为csv的代码方法总结
Jul 03 Python
python调用其他文件函数或类的示例
Jul 16 Python
TFRecord格式存储数据与队列读取实例
Jan 21 Python
Python 字典一个键对应多个值的方法
Sep 29 Python
Python爬取科目四考试题库的方法实现
Mar 30 Python
python 通过使用Yolact训练数据集
Apr 06 Python
自己搭建resnet18网络并加载torchvision自带权重的操作
May 13 #Python
如何使用flask将模型部署为服务
May 13 #Python
教你用python控制安卓手机
Python数据分析入门之数据读取与存储
May 13 #Python
python执行js代码的方法
pytorch加载预训练模型与自己模型不匹配的解决方案
May 13 #Python
Python数据分析入门之教你怎么搭建环境
You might like
ip签名探针
2006/10/09 PHP
PHP7.0版本备注
2015/07/23 PHP
PHP常见数组函数用法小结
2016/03/21 PHP
php原生导出excel文件的两种方法(推荐)
2016/11/19 PHP
php分享朋友圈的实现代码
2019/02/18 PHP
PHP创建XML的方法示例【基于DOMDocument类及SimpleXMLElement类】
2019/09/10 PHP
use jscript Create a SQL Server database
2007/06/16 Javascript
javascript实现动态CSS换肤技术的脚本
2007/06/29 Javascript
Prototype String对象 学习
2009/07/19 Javascript
Jquery利用mouseenter和mouseleave实现鼠标经过弹出层且可以点击
2014/02/12 Javascript
jquery实现拖拽调整Div大小
2015/01/30 Javascript
提交按钮的name='submit'引起的js失效问题及原因
2015/02/25 Javascript
JavaScript和HTML DOM的区别与联系及Javascript和DOM的关系
2015/11/15 Javascript
基于javascript实现简单计算器功能
2016/01/03 Javascript
nodejs入门教程二:创建一个简单应用示例
2017/04/24 NodeJs
vue 之 css module的使用方法
2018/12/04 Javascript
在Vue环境下利用worker运行interval计时器的步骤
2019/08/01 Javascript
vue组件中实现嵌套子组件案例
2020/08/31 Javascript
Vue实现购物小球抛物线的方法实例
2020/11/22 Vue.js
python类和函数中使用静态变量的方法
2015/05/09 Python
python+VTK环境搭建及第一个简单程序代码
2017/12/13 Python
python实现批量解析邮件并下载附件
2018/06/19 Python
Python二进制串转换为通用字符串的方法
2018/07/23 Python
详解pandas.DataFrame中删除包涵特定字符串所在的行
2019/04/04 Python
11个Python3字典内置方法大全与示例汇总
2019/05/13 Python
使用Python画出小人发射爱心的代码
2019/11/23 Python
Pytorch对Himmelblau函数的优化详解
2020/02/29 Python
Python Pandas list列表数据列拆分成多行的方法实现
2020/12/14 Python
美国高档百货Nordstrom的折扣店:Nordstrom Rack
2017/11/13 全球购物
英国户外装备商店:Ultimate Outdoors
2019/05/07 全球购物
安全生产检查通报
2014/01/29 职场文书
离职报告范文
2014/11/04 职场文书
手术室消毒隔离制度
2015/08/05 职场文书
防震减灾主题班会
2015/08/14 职场文书
springboot @ConfigurationProperties和@PropertySource的区别
2021/06/11 Java/Android
python异步的ASGI与Fast Api实现
2021/07/16 Python