Python爬虫后获取重定向url的两种方法


Posted in Python onJanuary 19, 2021

下面给大家分享Python爬虫后获取重定向url的两种方法,具体内容如下所示;

方法(一)

# 获得重定向url
 from urllib import request
 # https://zhidao.baidu.com/question/681501874175782812.html
 url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
 print(request.urlopen(url).geturl())

方法(二)

# 请求头,这里我设置了浏览器代理
 headers = headers = {'User-Agent': 'xx'}
 # 这里chrome的user-agent获取方式:在浏览器地址栏输入 about://version 即可得到结果
 url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
 # 请求网页
 response = requests.get(url, headers=headers)
 # print(response.status_code) # 打印响应的状态码
 print(response.url) # 打印重定向后的网址

# 两个结果都是:https://zhidao.baidu.com/question/681501874175782812.html

到此这篇关于Python爬虫后获取重定向url的两种方法的文章就介绍到这了,更多相关python爬虫获取url内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中使用glob和rmtree删除目录子目录及所有文件的例子
Nov 21 Python
Python中用Spark模块的使用教程
Apr 13 Python
实例解析Python的Twisted框架中Deferred对象的用法
May 25 Python
Java Web开发过程中登陆模块的验证码的实现方式总结
May 25 Python
python获取当前用户的主目录路径方法(推荐)
Jan 12 Python
对python同一个文件夹里面不同.py文件的交叉引用方法详解
Dec 15 Python
python Tkinter的图片刷新实例
Jun 14 Python
利用python numpy+matplotlib绘制股票k线图的方法
Jun 26 Python
python实现windows倒计时锁屏功能
Jul 30 Python
python爬虫之遍历单个域名
Nov 20 Python
python中time.ctime()实例用法
Feb 03 Python
python中scipy.stats产生随机数实例讲解
Feb 19 Python
详解Python+Selenium+ChromeDriver的配置和问题解决
Jan 19 #Python
VSCODE配置Markdown及Markdown基础语法详解
Jan 19 #Python
python+selenium自动化实战携带cookies模拟登陆微博
Jan 19 #Python
selenium携带cookies模拟登陆CSDN的实现
Jan 19 #Python
django项目中使用云片网发送短信验证码的实现
Jan 19 #Python
windows系统Tensorflow2.x简单安装记录(图文)
Jan 18 #Python
Python结合百度语音识别实现实时翻译软件的实现
Jan 18 #Python
You might like
2019十大人气国漫
2020/03/13 国漫
基于mysql的bbs设计(一)
2006/10/09 PHP
php实现根据身份证获取精准年龄
2020/02/26 PHP
基于php+MySql实现学生信息管理系统实例
2020/08/04 PHP
javascript深入理解js闭包
2010/07/03 Javascript
JS target与currentTarget区别说明
2011/08/28 Javascript
JS对img进行操作(换图片/切图/轮换/停止)
2013/04/17 Javascript
window.open 以post方式传递参数示例代码
2014/02/27 Javascript
AspNet中使用JQuery上传插件Uploadify详解
2015/05/20 Javascript
分享12个实用的jQuery代码片段
2016/03/09 Javascript
jquery+html仿翻页相册功能
2016/12/20 Javascript
利用JS实现简单的日期选择插件
2017/01/23 Javascript
JavaScript正则表达式的贪婪匹配和非贪婪匹配
2017/09/05 Javascript
详解10分钟学会vue滚动行为
2017/09/21 Javascript
vue+element-ui+ajax实现一个表格的实例
2018/03/09 Javascript
vue获取当前点击的元素并传值的实例
2018/03/09 Javascript
JavaScript事件委托原理与用法实例分析
2018/06/07 Javascript
layui监听单元格编辑前后交互的例子
2019/09/16 Javascript
使用vue打包进行云服务器上传的问题
2020/03/02 Javascript
vue项目实现设置根据路由高亮对应的菜单项操作
2020/08/06 Javascript
[01:14]DOTA2亚洲邀请赛 ShowOpen
2015/02/07 DOTA
Python二叉搜索树与双向链表转换实现方法
2016/04/29 Python
在python2.7中用numpy.reshape 对图像进行切割的方法
2018/12/05 Python
深入理解Python异常处理的哲学
2019/02/01 Python
Python的log日志功能及设置方法
2019/07/11 Python
Python底层封装实现方法详解
2020/01/22 Python
Python实现Excel自动分组合并单元格
2021/02/22 Python
CSS3制作翻转效果_动力节点Java学院整理
2017/07/11 HTML / CSS
企业形象策划方案
2014/05/29 职场文书
2014年高中生自我评价范文
2014/09/26 职场文书
国庆节标语大全
2014/10/08 职场文书
2014年学生会工作总结范文
2014/11/07 职场文书
个性与发展自我评价
2015/03/06 职场文书
教你快速开启Apache SkyWalking的自监控
2021/04/25 Servers
聊聊Python中关于a=[[]]*3的反思
2021/06/02 Python
Python尝试实现蒙特卡罗模拟期权定价
2022/04/21 Python