Python3爬虫之urllib携带cookie爬取网页的方法


Posted in Python onDecember 28, 2018

如下所示:

import urllib.request
import urllib.parse
 
url = 'https://weibo.cn/5273088553/info'
#正常的方式进行访问
# headers = {
#  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
# }
# 携带cookie进行访问
headers = {
'GET https':'//weibo.cn/5273088553/info HTTP/1.1',
'Host':' weibo.cn',
'Connection':' keep-alive',
'Upgrade-Insecure-Requests':' 1',
'User-Agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Accept':' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
# 'Referer: https':'//weibo.cn/',
'Accept-Language':' zh-CN,zh;q=0.9',
'Cookie':' _T_WM=c1913301844388de10cba9d0bb7bbf1e; SUB=_2A253Wy_dDeRhGeNM7FER-CbJzj-IHXVUp7GVrDV6PUJbkdANLXPdkW1NSesPJZ6v1GA5MyW2HEUb9ytQW3NYy19U; SUHB=0bt8SpepeGz439; SCF=Aua-HpSw5-z78-02NmUv8CTwXZCMN4XJ91qYSHkDXH4W9W0fCBpEI6Hy5E6vObeDqTXtfqobcD2D32r0O_5jSRk.; SSOLoginState=1516199821',
}
request = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(request)
#输出所有
# print(response.read().decode('gbk'))
#将内容写入文件中
with open('weibo.html','wb') as fp:
 fp.write(response.read())

以上这篇Python3爬虫之urllib携带cookie爬取网页的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python高效编程技巧
Jan 07 Python
在ironpython中利用装饰器执行SQL操作的例子
May 02 Python
Python解析最简单的验证码
Jan 07 Python
Python判断文本中消息重复次数的方法
Apr 27 Python
Python将多个excel文件合并为一个文件
Jan 03 Python
浅谈Matplotlib简介和pyplot的简单使用——文本标注和箭头
Jan 09 Python
python 遍历目录(包括子目录)下所有文件的实例
Jul 11 Python
Python 一句话生成字母表的方法
Jan 02 Python
Python实现获取当前目录下文件名代码详解
Mar 10 Python
python实现输入三角形边长自动作图求面积案例
Apr 12 Python
Python多线程threading创建及使用方法解析
Jun 17 Python
Python 装饰器(decorator)常用的创建方式及解析
Apr 24 Python
Python编程图形库之Pillow使用方法讲解
Dec 28 #Python
对python中大文件的导入与导出方法详解
Dec 28 #Python
Python编程深度学习计算库之numpy
Dec 28 #Python
python将txt文档每行内容循环插入数据库的方法
Dec 28 #Python
pandas 把数据写入txt文件每行固定写入一定数量的值方法
Dec 28 #Python
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
Dec 28 #Python
Python编程深度学习绘图库之matplotlib
Dec 28 #Python
You might like
PHP 中的一些经验积累
2006/10/09 PHP
php 模拟POST|GET操作实现代码
2010/07/20 PHP
php接口与接口引用的深入解析
2013/08/09 PHP
PHP生成指定随机字符串的简单实现方法
2015/04/01 PHP
PHP递归调用数组值并用其执行指定函数的方法
2015/04/01 PHP
PHP实现的多维数组去重操作示例
2018/07/21 PHP
Django中通过定时任务触发页面静态化的处理方式
2018/08/29 PHP
PHP设计模式之单例模式定义与用法分析
2019/03/26 PHP
Laravel使用原生sql语句并调用的方法
2019/10/09 PHP
js函数中onmousedown和onclick的区别和联系探讨
2013/05/19 Javascript
js实现继承的5种方式
2015/12/01 Javascript
jquery实现简单文字提示效果
2015/12/02 Javascript
微信小程序 radio单选框组件详解及实例代码
2017/01/10 Javascript
js实现随机点名小功能
2017/08/17 Javascript
vue中axios处理http发送请求的示例(Post和get)
2017/10/13 Javascript
详细分析jsonp的原理和实现方式
2017/11/20 Javascript
html+vue.js 实现漂亮分页功能可兼容IE
2020/11/07 Javascript
vuex的使用步骤
2021/01/06 Vue.js
用实例解释Python中的继承和多态的概念
2015/04/27 Python
python3实现公众号每日定时发送日报和图片
2018/02/24 Python
Python3实现爬取指定百度贴吧页面并保存页面数据生成本地文档的方法
2018/04/22 Python
pyside+pyqt实现鼠标右键菜单功能
2020/12/08 Python
PyQt5下拉式复选框QComboCheckBox的实例
2019/06/25 Python
Django 框架模型操作入门教程
2019/11/05 Python
pytorch实现Tensor变量之间的转换
2020/02/17 Python
Spring Boot中使用IntelliJ IDEA插件EasyCode一键生成代码详细方法
2020/03/20 Python
超级实用的8个Python列表技巧
2020/08/24 Python
商场经理竞聘演讲稿
2014/01/01 职场文书
承办会议欢迎词
2014/01/17 职场文书
教师竞聘演讲稿
2014/05/16 职场文书
英语邀请函范文
2015/02/02 职场文书
大学学生会竞选稿
2015/11/19 职场文书
当你找不到方向的时候,不妨读读刘备的一生
2019/08/05 职场文书
导游词之沈阳清昭陵
2019/12/28 职场文书
PyQt5爬取12306车票信息程序的实现
2021/05/14 Python
CSS变量实现主题切换的方法
2021/06/23 HTML / CSS