Python爬虫基础讲解之请求


Posted in Python onMay 13, 2021

一、请求目标(URL)

URL又叫作统一资源定位符,是用于完整地描述Internet上网页和其他资源的地址的一种方法。类似于windows的文件路径。

Python爬虫基础讲解之请求

二、网址的组成:

1.http://:这个是协议,也就是HTTP超文本传输协议,也就是网页在网上传输的协议。

2.mail:这个是服务器名,代表着是一个邮箱服务器,所以是mail。

3.163.com:这个是域名,是用来定位网站的独一无二的名字。

4.mail.163.com:这个是网站名,由服务器名+域名组成。

5./:这个是根目录,也就是说,通过网站名找到服务器,然后在服务器存放网页的根目录。

6.index.html:这个是根目录下的网页。

7.http://mail.163.com/index.html:这个叫做URL,统一资源定位符,全球性地址,用于定位网上的资源。

三、请求体(response)

就像打电话一样,HTTP到底和服务器说了什么,才能让服务器返回正确的消息的,其实客户端的请求告诉了服务器这些内容:请求行、请求头部、空行、请求数据

Python爬虫基础讲解之请求

四、请求方法(Method)

HTTP请求可以使用多种请求方法,但是爬虫最主要就两种方法:GETPOST方法。

get请求:一般情况下,只从服务器获取数据下来,并不会对服务器资源产生任何影响的时候会使用get请求。

post请求:向服务器发送数据(登录)、上传文件等,会对服务器资源产生影响的时候会使用
post请求。

以上是在网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。但是有的网站和服务器为了做反爬虫机制,也经常会不按常理出牌,有可能一个应该使用get方法的请求就一定要改成post请求,这个要视情况而定。

GET与POST方法的区别:

1.GET是从服务器上获取数据,POST是向服务器传送数据

2.GET请求参数都显示在浏览器网址上,即Get"请求的参数是URL的一部分。例如: http://www.baidu.com/s?wd=Chinese

3.POST请求参数在请求体当中,消息长度没有限制而且以隐式的方式进行发送,通常用来向HTTP服务器提交量比较大的数据。请求的参数类型包含在"Content-Type"消息头里,指明发送请求时要提交的数据格式。

注意:

网站制作者一般不会使用Get方式提交表单,因为有可能会导致安全问题。比如说在登陆表单中用Get方式,用户输入的用户名和密码将在地址栏中暴露无遗。并且浏览器会记录历史信息,导致账号不安全的因素存在。

五、常用的请求报头

请求头描述了客户端向服务器发送请求时所使用的编码,以及发送内容的长度,告诉服务器自己有没有登陆,采用的什么浏览器访问的等等。

1.Accept:浏览器告诉服务器自己接受什么数据类型,文字,图片等。

2.Accept-charset:浏览器申明自己接收的字符集。

3.Accept-Encoding:浏览器申明自己接收的编码方法,通常指定压缩方法,是否支持压缩,支持什么压缩方法(gzip, deflate,br)。

4.Accept-Language:浏览器申明自己接收的语言。

5.Authorization:授权信息,通常出现在对服务器发送的WWW-Authenticate头的应答中。

6.content-Length表示请求消息正文的长度。

7.origin:声明请求资源的起始位置

8.connection:处理完这次请求后,是断开连接还是继续保持连接。9.Cookie:发送给WEB服务器的Cookie内容,经常用来判断是否登陆了。

9.Cookie:发送给WEB服务器的Cookie内容,经常用来判断是否登陆了。

10.Host:客户端指定自己想访问的WEB服务器的域名/IP地址和端口号。

11.If-Modified-since:客户机通过这个头告诉服务器,资源的缓存时间。只有当所请求的内容在指定的时间后又经过修改才返回它,否则返回304"Not Modified"应答。

12.Pragma:指定"no-cache"值表示服务器必须返回一个刷新后的文档,即使它是代理服务器而且已经有了页面的本地拷贝。

13.Referer:告诉服务器该页面从哪个页面链接的。

14.From∶请求发送者的email地址,由一些特殊的Web客户程序使用,浏览器不会用到它。

15.(user-Agent:浏览器表明自己的身份(是哪种浏览器)

16.upgrade-insecure-requests∶申明浏览器支持从http请求自动升级为https请求,并且在以后发送请求的时候都使用https。

UA-Pixels,uA-Color,uA-oS,UA-CPU:由某些版本的IE浏览器所发送的非标准的请求头,表示屏幕大小、颜色深度、操作系统和CPu类型。

六、requests模块查看请求体

在我们用requests模块请求数据的时候携带上诉请求报头的字段信息,将我们的爬虫代码进行伪装。同样的伪装之后我们也可以通过代码查看请求体的字段信息,有如下几种常见的属性:

#查看请求体中的url地址
response.request.url
#查看请求体中的请求头信息
response.request.headers
#查看请求体中的请求方法
response.request.method

到此这篇关于Python爬虫基础讲解之请求的文章就介绍到这了,更多相关Python请求内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现调用其他python脚本的方法
Oct 05 Python
使用Python设置tmpfs来加速项目的教程
Apr 17 Python
Python对列表中的各项进行关联详解
Aug 15 Python
python中for用来遍历range函数的方法
Jun 08 Python
用Python解决x的n次方问题
Feb 08 Python
Python爬取数据保存为Json格式的代码示例
Apr 09 Python
pyqt5、qtdesigner安装和环境设置教程
Sep 25 Python
python单向循环链表原理与实现方法示例
Dec 03 Python
3分钟看懂Python后端必须知道的Django的信号机制
Jul 26 Python
jupyter notebook更换皮肤主题的实现
Jan 07 Python
Python 如何将integer转化为罗马数(3999以内)
Jun 05 Python
分析Python感知线程状态的解决方案之Event与信号量
Jun 16 Python
自己搭建resnet18网络并加载torchvision自带权重的操作
May 13 #Python
如何使用flask将模型部署为服务
May 13 #Python
教你用python控制安卓手机
Python数据分析入门之数据读取与存储
May 13 #Python
python执行js代码的方法
pytorch加载预训练模型与自己模型不匹配的解决方案
May 13 #Python
Python数据分析入门之教你怎么搭建环境
You might like
PHP产生不重复随机数的5个方法总结
2014/11/12 PHP
php中的单引号、双引号和转义字符详解
2017/02/16 PHP
PHP实现发送微博消息功能完整示例
2019/12/04 PHP
Javascript里使用Dom操作Xml
2007/01/22 Javascript
DOM2非标准但却支持很好的几个属性小结
2012/01/21 Javascript
JavaScript高级程序设计 读书笔记之九 本地对象Array
2012/02/27 Javascript
实用的JS正则表达式(手机号码/IP正则/邮编正则/电话等)
2013/01/11 Javascript
限制上传文件大小和格式的jQuery插件实例
2015/01/24 Javascript
Javascript中获取对象的原型对象的方法小结
2015/02/25 Javascript
JavaScript实现简单的二级导航菜单实例
2015/04/15 Javascript
浅谈JavaScript字符串拼接
2015/06/25 Javascript
简单实现jQuery手风琴效果
2017/08/18 jQuery
jQuery实现的弹幕效果完整实例
2017/09/06 jQuery
Node.js中Bootstrap-table的两种分页的实现方法
2017/09/18 Javascript
Node.js的Koa实现JWT用户认证方法
2018/05/05 Javascript
vue中v-text / v-html使用实例代码详解
2019/04/02 Javascript
koa router 多文件引入的方法示例
2019/05/22 Javascript
python list语法学习(带例子)
2013/11/01 Python
Python实现的数据结构与算法之快速排序详解
2015/04/22 Python
Python 删除连续出现的指定字符的实例
2018/06/29 Python
实例讲解Python中浮点型的基本内容
2019/02/11 Python
详解canvas多边形(蜘蛛图)的画法示例
2018/01/29 HTML / CSS
英国最受欢迎的平价女士时装零售商:Roman Originals
2019/11/02 全球购物
Wiggle澳大利亚:自行车、跑步、游泳商店
2020/11/07 全球购物
为什么使用接口?
2014/08/13 面试题
XMLHttpRequest对象在IE和Firefox中创建方式有没有不同
2016/03/23 面试题
毕业生找工作的求职信范文
2013/12/24 职场文书
祖国在我心中的演讲稿
2014/05/04 职场文书
对党的十八届四中全会的期盼
2014/10/17 职场文书
教师党的群众路线学习心得体会
2014/11/04 职场文书
幼儿园辞职信范文
2015/02/27 职场文书
酒店前台接待岗位职责
2015/04/02 职场文书
三八妇女节主持词
2015/07/04 职场文书
2016年中秋节慰问信
2015/12/01 职场文书
《中彩那天》教学反思
2016/02/24 职场文书
调研报告的主要写法
2019/04/18 职场文书