python 重定向获取真实url的方法


Posted in Python onMay 11, 2018

楼主在做公司项目的时候遇到url重定向的问题,因此上网简单查找,作出如下结果

由于使用的是语言是python所以以下是python的简单解决方案

http_headers = { 'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'}

def get_real_url(url):
 rs = requests.get(url,headers=http_headers,timeout=10)
 rs.url

以上代码未有重试机制,下面加上重试机制加以完善

def get_real_url(url,try_count = 1):
if try_count > 3:
 return url
try:
 rs = requests.get(url,headers=http_headers,timeout=10)
 if rs.status_code > 400:
 return get_real_url(url,try_count+1)
 return rs.url
except:
 return get_real_url(url, try_count + 1)

以上这篇python 重定向获取真实url的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python简单读取json文件功能示例
Nov 30 Python
详解python函数传参是传值还是传引用
Jan 16 Python
详解Pytorch 使用Pytorch拟合多项式(多项式回归)
May 24 Python
Python函数中不定长参数的写法
Feb 13 Python
python numpy实现文件存取的示例代码
May 26 Python
通过python实现弹窗广告拦截过程详解
Jul 10 Python
Pandas之groupby( )用法笔记小结
Jul 23 Python
Python远程开发环境部署与调试过程图解
Dec 09 Python
Django import export实现数据库导入导出方式
Apr 03 Python
pytorch随机采样操作SubsetRandomSampler()
Jul 07 Python
Selenium python时间控件输入问题解决方案
Jul 22 Python
学会Python数据可视化必须尝试这7个库
Jun 16 Python
基于python 爬虫爬到含空格的url的处理方法
May 11 #Python
解决Python 爬虫URL中存在中文或特殊符号无法请求的问题
May 11 #Python
解决Python网页爬虫之中文乱码问题
May 11 #Python
解决python爬虫中有中文的url问题
May 11 #Python
利用Python yagmail三行代码实现发送邮件
May 11 #Python
解决Pandas to_json()中文乱码,转化为json数组的问题
May 10 #Python
解决python3 json数据包含中文的读写问题
May 10 #Python
You might like
php 文本文件的读取效率
2012/02/10 PHP
php_screw 1.5:php加密: 安装与使用详解
2013/06/20 PHP
php格式化时间戳显示友好的时间实现思路及代码
2014/10/23 PHP
PHP实现的Redis多库选择功能单例类
2017/07/27 PHP
javascript动画效果类封装代码
2007/08/28 Javascript
javascript 面向对象编程 聊聊对象的事
2009/09/17 Javascript
stream.js 一个很小、完全独立的Javascript类库
2011/10/28 Javascript
使用原生js实现页面蒙灰(mask)效果示例代码
2014/06/20 Javascript
node.js中的buffer.length方法使用说明
2014/12/14 Javascript
nodejs事件的监听与触发的理解分析
2015/02/12 NodeJs
js确认框confirm()用法实例详解
2016/01/07 Javascript
javascript小数精度丢失的完美解决方法
2016/05/31 Javascript
Vue数据驱动模拟实现1
2017/01/11 Javascript
深入解析js轮播插件核心代码的实现过程
2017/04/14 Javascript
js实现放大镜特效
2017/05/18 Javascript
angular8和ngrx8结合使用的步骤介绍
2019/12/01 Javascript
JavaScript 实现自己的安卓手机自动化工具脚本(推荐)
2020/05/13 Javascript
Python编程之多态用法实例详解
2015/05/19 Python
Python实现将DOC文档转换为PDF的方法
2015/07/25 Python
Python文件操作之合并文本文件内容示例代码
2017/09/19 Python
Python xlwt设置excel单元格字体及格式
2020/04/18 Python
python网络爬虫学习笔记(1)
2018/04/09 Python
Python使用googletrans报错的解决方法
2018/09/25 Python
python实现AES和RSA加解密的方法
2019/03/28 Python
numpy库与pandas库axis=0,axis= 1轴的用法详解
2019/05/27 Python
使用python采集Excel表中某一格数据
2020/05/14 Python
是什么让J2EE适合用来开发多层的分布式的应用
2015/01/16 面试题
初中物理教学反思
2014/01/14 职场文书
会计师职业生涯规划范文
2014/02/18 职场文书
四风问题个人对照检查剖析材料
2014/09/27 职场文书
回复函范文
2015/07/14 职场文书
中学图书馆工作总结
2015/08/11 职场文书
导游词之海南天涯海角
2019/12/05 职场文书
7个你应该知道的JS原生错误类型
2021/04/29 Javascript
详解python的异常捕获
2022/03/03 Python
Go获取两个时区的时间差
2022/04/20 Golang