Python3爬虫之urllib携带cookie爬取网页的方法


Posted in Python onDecember 28, 2018

如下所示:

import urllib.request
import urllib.parse
 
url = 'https://weibo.cn/5273088553/info'
#正常的方式进行访问
# headers = {
#  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
# }
# 携带cookie进行访问
headers = {
'GET https':'//weibo.cn/5273088553/info HTTP/1.1',
'Host':' weibo.cn',
'Connection':' keep-alive',
'Upgrade-Insecure-Requests':' 1',
'User-Agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Accept':' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
# 'Referer: https':'//weibo.cn/',
'Accept-Language':' zh-CN,zh;q=0.9',
'Cookie':' _T_WM=c1913301844388de10cba9d0bb7bbf1e; SUB=_2A253Wy_dDeRhGeNM7FER-CbJzj-IHXVUp7GVrDV6PUJbkdANLXPdkW1NSesPJZ6v1GA5MyW2HEUb9ytQW3NYy19U; SUHB=0bt8SpepeGz439; SCF=Aua-HpSw5-z78-02NmUv8CTwXZCMN4XJ91qYSHkDXH4W9W0fCBpEI6Hy5E6vObeDqTXtfqobcD2D32r0O_5jSRk.; SSOLoginState=1516199821',
}
request = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(request)
#输出所有
# print(response.read().decode('gbk'))
#将内容写入文件中
with open('weibo.html','wb') as fp:
 fp.write(response.read())

以上这篇Python3爬虫之urllib携带cookie爬取网页的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python比较两个列表大小的方法
Jul 11 Python
Python的requests网络编程包使用教程
Jul 11 Python
Python实战小程序利用matplotlib模块画图代码分享
Dec 09 Python
python3+PyQt5+Qt Designer实现扩展对话框
Apr 20 Python
python 获得任意路径下的文件及其根目录的方法
Feb 16 Python
Python+PyQt5实现美剧爬虫可视工具的方法
Apr 25 Python
Python学习笔记之While循环用法分析
Aug 14 Python
Python PO设计模式的具体使用
Aug 16 Python
Python FTP文件定时自动下载实现过程解析
Nov 12 Python
Pymysql实现往表中插入数据过程解析
Jun 02 Python
自学python用什么系统好
Jun 23 Python
如何正确理解python装饰器
Jun 15 Python
Python编程图形库之Pillow使用方法讲解
Dec 28 #Python
对python中大文件的导入与导出方法详解
Dec 28 #Python
Python编程深度学习计算库之numpy
Dec 28 #Python
python将txt文档每行内容循环插入数据库的方法
Dec 28 #Python
pandas 把数据写入txt文件每行固定写入一定数量的值方法
Dec 28 #Python
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
Dec 28 #Python
Python编程深度学习绘图库之matplotlib
Dec 28 #Python
You might like
PHP 杂谈《重构-改善既有代码的设计》之三 重新组织数据
2012/04/09 PHP
php如何连接sql server
2015/10/16 PHP
详解PHP+AJAX无刷新分页实现方法
2015/11/03 PHP
表单(FORM)的一些实用效果代码
2007/03/25 Javascript
JavaScript中几种常见排序算法小结
2011/02/22 Javascript
JS无限极树形菜单,json格式、数组格式通用示例
2013/07/30 Javascript
设置jsf的选择框h:selectOneMenu为不可编辑状态的方法
2014/01/07 Javascript
jquery中的ajax方法怎样通过JSONP进行远程调用
2014/05/04 Javascript
javascript 判断两个日期之差的示例代码
2015/09/05 Javascript
jQuery拖动元素并对元素进行重新排序
2015/12/30 Javascript
JQuery点击行tr实现checkBox选中的简单实例
2016/05/26 Javascript
js简单获取表单中单选按钮值的方法
2016/08/23 Javascript
jQuery使用getJSON方法获取json数据完整示例
2016/09/13 Javascript
微信小程序 开发之顶部导航栏实例代码
2017/02/23 Javascript
Angular.js中处理页面闪烁的方法详解
2017/03/09 Javascript
Vuejs在v-for中,利用index来对第一项添加class的方法
2018/03/03 Javascript
Vue.directive 自定义指令的问题小结
2018/03/04 Javascript
vue+element-ui+ajax实现一个表格的实例
2018/03/09 Javascript
vue组件之间通信实例总结(点赞功能)
2018/12/05 Javascript
利用python3随机生成中文字符的实现方法
2017/11/24 Python
为什么选择python编程语言入门黑客攻防 给你几个理由!
2018/02/02 Python
TensorFlow实现Logistic回归
2018/09/07 Python
python实现大战外星人小游戏实例代码
2019/12/26 Python
Python标准库itertools的使用方法
2020/01/17 Python
Django 项目布局方法(值得推荐)
2020/03/22 Python
python相对企业语言优势在哪
2020/06/12 Python
总结Pyinstaller的坑及终极解决方法(小结)
2020/09/21 Python
谈谈python垃圾回收机制
2020/09/27 Python
Swisse官方海外旗舰店:澳大利亚销量领先,自然健康品牌
2017/12/15 全球购物
Java里面StringBuilder和StringBuffer有什么区别
2016/06/06 面试题
大学班长的职责
2014/01/27 职场文书
学校三节实施方案
2014/06/09 职场文书
教师自我剖析材料(群众路线)
2014/09/29 职场文书
高中生逃课检讨书
2014/10/10 职场文书
2015年检察院个人工作总结
2015/05/20 职场文书
基层党建工作简报
2015/07/21 职场文书