Python爬虫后获取重定向url的两种方法


Posted in Python onJanuary 19, 2021

下面给大家分享Python爬虫后获取重定向url的两种方法,具体内容如下所示;

方法(一)

# 获得重定向url
 from urllib import request
 # https://zhidao.baidu.com/question/681501874175782812.html
 url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
 print(request.urlopen(url).geturl())

方法(二)

# 请求头,这里我设置了浏览器代理
 headers = headers = {'User-Agent': 'xx'}
 # 这里chrome的user-agent获取方式:在浏览器地址栏输入 about://version 即可得到结果
 url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
 # 请求网页
 response = requests.get(url, headers=headers)
 # print(response.status_code) # 打印响应的状态码
 print(response.url) # 打印重定向后的网址

# 两个结果都是:https://zhidao.baidu.com/question/681501874175782812.html

到此这篇关于Python爬虫后获取重定向url的两种方法的文章就介绍到这了,更多相关python爬虫获取url内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python查找相似单词的方法
Mar 05 Python
在Python中使用列表生成式的教程
Apr 27 Python
部署Python的框架下的web app的详细教程
Apr 30 Python
python实现多线程抓取知乎用户
Dec 12 Python
python使用Plotly绘图工具绘制散点图、线形图
Apr 02 Python
十行代码使用Python写一个USB病毒
Jun 21 Python
python+logging+yaml实现日志分割
Jul 22 Python
基于梯度爆炸的解决方法:clip gradient
Feb 04 Python
python实现信号时域统计特征提取代码
Feb 26 Python
Python yield生成器和return对比代码实例
Apr 20 Python
Django实现简单的分页功能
Feb 22 Python
python tkinter Entry控件的焦点移动操作
May 22 Python
详解Python+Selenium+ChromeDriver的配置和问题解决
Jan 19 #Python
VSCODE配置Markdown及Markdown基础语法详解
Jan 19 #Python
python+selenium自动化实战携带cookies模拟登陆微博
Jan 19 #Python
selenium携带cookies模拟登陆CSDN的实现
Jan 19 #Python
django项目中使用云片网发送短信验证码的实现
Jan 19 #Python
windows系统Tensorflow2.x简单安装记录(图文)
Jan 18 #Python
Python结合百度语音识别实现实时翻译软件的实现
Jan 18 #Python
You might like
php && 逻辑与运算符使用说明
2010/03/04 PHP
php使用exec shell命令注入的方法讲解
2013/11/12 PHP
Thinkphp中import的几个用法详细介绍
2014/07/02 PHP
php判断数组中是否存在指定键(key)的方法
2015/03/17 PHP
你应该知道PHP浮点数知识
2015/05/13 PHP
PHP explode()函数的几个应用和implode()函数有什么区别
2015/11/05 PHP
CI框架无限级分类+递归的实现代码
2016/11/01 PHP
PHP使用zlib扩展实现GZIP压缩输出的方法详解
2018/04/09 PHP
不错的asp中显示新闻的功能
2006/10/13 Javascript
JavaScript 仿关机效果的图片层
2008/12/26 Javascript
JavaScript 对象模型 执行模型
2009/12/06 Javascript
js页面跳转常用的几种方式
2010/11/25 Javascript
ASP.NET jQuery 实例18 通过使用jQuery validation插件校验DropDownList
2012/02/03 Javascript
了解了这些才能开始发挥jQuery的威力
2013/10/10 Javascript
jQuery中scrollLeft()方法用法实例
2015/01/16 Javascript
js的flv视频播放器插件使用方法
2015/06/23 Javascript
ECMA5数组的新增方法有哪些及forEach()模仿实现
2015/11/03 Javascript
JavaScript实现点击单元格改变背景色的方法
2016/02/12 Javascript
jQuery检查元素存在性(推荐)
2016/09/17 Javascript
JSON键值对序列化和反序列化解析
2017/01/24 Javascript
angular中ui calendar的一些使用心得(推荐)
2017/11/03 Javascript
vue element-ui table组件动态生成表头和数据并修改单元格格式 父子组件通信
2019/08/15 Javascript
vue-router结合vuex实现用户权限控制功能
2019/11/14 Javascript
[49:20]VG vs TNC Supermajor小组赛B组败者组决赛 BO3 第二场 6.2
2018/06/03 DOTA
Python文件的读写和异常代码示例
2017/10/31 Python
Python实现的微信好友数据分析功能示例
2018/06/21 Python
Python读取excel中的图片完美解决方法
2018/07/27 Python
Python使用itchat模块实现群聊转发,自动回复功能示例
2019/08/26 Python
python下载卫星云图合成gif的方法示例
2020/02/18 Python
django-利用session机制实现唯一登录的例子
2020/03/16 Python
CSS3教程:边框属性border的极致应用
2009/04/02 HTML / CSS
澳大利亚相机之家:Camera House
2017/11/30 全球购物
美国领先的男士和女士内衣购物网站:Freshpair
2019/02/25 全球购物
2014村务公开实施方案
2014/02/25 职场文书
优秀实习生感言
2014/03/01 职场文书
python控制台打印log输出重复的解决方法
2021/05/14 Python