python爬虫中get和post方法介绍以及cookie作用


Posted in Python onFebruary 08, 2018

首先确定你要爬取的目标网站的表单提交方式,可以通过开发者工具看到。这里推荐使用chrome。

这里我用163邮箱为例

打开工具后再Network中,在Name选中想要了解的网站,右侧headers里的request method就是提交方式。status如果是200表示成功访问下面的有头信息,cookie是你登录之后产生的存储会话(session)信息的。第一次访问该网页需要提供用户名和密码,之后只需要在headers里提供cookie就可以登陆进去。

引入requests库,会提供get和post的方法。

代码示例:

import requests
import ssl

user_agent="Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0"
accept='text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
accept_language='zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3'
upgrade='1'
headers={
  'User-Agent':user_agent,
  'Accept':accept,
  'Accept-Language':accept_language,
'Cookie':'....'#这里填入你登陆后产生的cookie
}
r = requests.get("http://mail.163.com/js6/main.jsp?sid=OAwUtGgglzEJoANLHPggrsKKAhsyheAT&df=mail163_letter#module=welcome.WelcomeModule%7C%7B%7D",headers=headers,verify=False)
fp = open("/temp/csdn.txt","w",encoding='utf-8')
fp.write(str(r.content,'utf-8'))
fp.close()

这里我引入了ssl库,因为我第一次访问的网页证书过期。如果我们使用爬虫进入这样的网站时,会报错:SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)

在requests的get和post方法中,有一个参数为verify,把他设为False后会禁掉证书的要求

Python 相关文章推荐
python中使用urllib2获取http请求状态码的代码例子
Jul 07 Python
在Python的循环体中使用else语句的方法
Mar 30 Python
python实现将汉字转换成汉语拼音的库
May 05 Python
Python编程入门的一些基本知识
May 13 Python
python读写ini配置文件方法实例分析
Jun 30 Python
python简单实现获取当前时间
Aug 27 Python
Linux系统(CentOS)下python2.7.10安装
Sep 26 Python
python实现按首字母分类查找功能
Oct 31 Python
使用 Python 清理收藏夹里已失效的网站
Dec 03 Python
django多种支付、并发订单处理实例代码
Dec 13 Python
Python reversed函数及使用方法解析
Mar 17 Python
python3发送request请求及查看返回结果实例
Apr 30 Python
Python OpenCV 直方图的计算与显示的方法示例
Feb 08 #Python
python OpenCV学习笔记之绘制直方图的方法
Feb 08 #Python
Python列表推导式与生成器表达式用法示例
Feb 08 #Python
详解python OpenCV学习笔记之直方图均衡化
Feb 08 #Python
python OpenCV学习笔记实现二维直方图
Feb 08 #Python
Python数据分析之双色球基于线性回归算法预测下期中奖结果示例
Feb 08 #Python
Python编程argparse入门浅析
Feb 07 #Python
You might like
Fedora下安装php Redis扩展笔记
2014/09/03 PHP
PHP缓存集成库phpFastCache用法
2014/12/15 PHP
php可生成缩略图的文件上传类实例
2014/12/17 PHP
laravel5.2实现区分前后台用户登录的方法
2017/01/11 PHP
学习ExtJS form布局
2009/10/08 Javascript
js获取图片长和宽度的代码
2009/11/24 Javascript
javascript 跳转代码集合
2009/12/03 Javascript
javascrip客户端验证文件大小及文件类型并重置上传
2011/01/12 Javascript
js获取下拉列表的值和元素个数示例
2014/05/07 Javascript
js实现当前输入框高亮显示的方法
2015/08/19 Javascript
js实现图片无缝滚动
2015/12/23 Javascript
JQuery.validate在ie8下不支持的快速解决方法
2016/05/18 Javascript
Vue.js render方法使用详解
2017/04/05 Javascript
react实现一个优雅的图片占位模块组件详解
2017/10/30 Javascript
p5.js入门教程之小球动画示例代码
2018/03/15 Javascript
jQuery实现图片上传预览效果功能完整实例【测试可用】
2018/05/28 jQuery
微信小程序网络请求封装示例
2018/07/24 Javascript
Vue实现table上下移动功能示例
2019/02/21 Javascript
vue+axios实现post文件下载
2019/09/25 Javascript
详解JavaScript 异步编程
2020/07/13 Javascript
[01:13:01]2018DOTA2亚洲邀请赛 4.4 淘汰赛 TNC vs VG 第三场
2018/04/05 DOTA
深入讲解Java编程中类的生命周期
2016/02/05 Python
django2用iframe标签完成网页内嵌播放b站视频功能
2018/06/20 Python
python 简单照相机调用系统摄像头实现方法 pygame
2018/08/03 Python
对python创建及引用动态变量名的示例讲解
2018/11/10 Python
利用python读取YUV文件 转RGB 8bit/10bit通用
2019/12/09 Python
PyTorch的SoftMax交叉熵损失和梯度用法
2020/01/15 Python
你可能不知道的Python 技巧小结
2020/01/29 Python
html5模拟平抛运动(模拟小球平抛运动过程)
2013/07/25 HTML / CSS
台湾乐天市场:日本No.1的网路购物网站
2017/03/22 全球购物
西班牙宠物用品和食品网上商店:Tiendanimal
2019/06/06 全球购物
医学院学生求职简历的自我评价
2013/10/24 职场文书
人力资源专业推荐信
2013/11/29 职场文书
五好家庭申报材料
2014/12/20 职场文书
给老婆的检讨书(搞笑版)
2015/05/06 职场文书
JavaScript实现外溢动态爱心的效果的示例代码
2022/03/21 Javascript