python 重定向获取真实url的方法


Posted in Python onMay 11, 2018

楼主在做公司项目的时候遇到url重定向的问题,因此上网简单查找,作出如下结果

由于使用的是语言是python所以以下是python的简单解决方案

http_headers = { 'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'}

def get_real_url(url):
 rs = requests.get(url,headers=http_headers,timeout=10)
 rs.url

以上代码未有重试机制,下面加上重试机制加以完善

def get_real_url(url,try_count = 1):
if try_count > 3:
 return url
try:
 rs = requests.get(url,headers=http_headers,timeout=10)
 if rs.status_code > 400:
 return get_real_url(url,try_count+1)
 return rs.url
except:
 return get_real_url(url, try_count + 1)

以上这篇python 重定向获取真实url的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
利用Python脚本生成sitemap.xml的实现方法
Jan 31 Python
利用python将图片转换成excel文档格式
Dec 30 Python
python实现简单登陆流程的方法
Apr 22 Python
数据清洗--DataFrame中的空值处理方法
Jul 03 Python
Django添加KindEditor富文本编辑器的使用
Oct 24 Python
python 使用re.search()筛选后 选取部分结果的方法
Nov 28 Python
Python面向对象基础入门之设置对象属性
Dec 11 Python
对python 中class与变量的使用方法详解
Jun 26 Python
python 引用传递和值传递详解(实参,形参)
Jun 05 Python
python判断是空的实例分享
Jul 06 Python
利用python批量爬取百度任意类别的图片的实现方法
Oct 07 Python
Python爬虫之Selenium实现关闭浏览器
Dec 04 Python
基于python 爬虫爬到含空格的url的处理方法
May 11 #Python
解决Python 爬虫URL中存在中文或特殊符号无法请求的问题
May 11 #Python
解决Python网页爬虫之中文乱码问题
May 11 #Python
解决python爬虫中有中文的url问题
May 11 #Python
利用Python yagmail三行代码实现发送邮件
May 11 #Python
解决Pandas to_json()中文乱码,转化为json数组的问题
May 10 #Python
解决python3 json数据包含中文的读写问题
May 10 #Python
You might like
基于PHP 面向对象之成员方法详解
2013/05/04 PHP
php生成图形验证码几种方法小结
2013/08/15 PHP
php使用ob_flush不能每隔一秒输出原理分析
2015/06/02 PHP
php导出生成word的方法
2015/12/25 PHP
CakePHP框架Model关联对象用法分析
2017/08/04 PHP
jQuery 1.0.4 - New Wave Javascript(js源文件)
2007/01/15 Javascript
JQuery 返回布尔值Is()条件判断方法代码
2012/05/14 Javascript
自己做的模拟模态对话框实现代码
2012/05/23 Javascript
JS动态添加与删除select中的Option对象(示例代码)
2013/12/25 Javascript
javascript闭包的理解
2015/04/01 Javascript
jQuery插件Skippr实现焦点图幻灯片特效
2015/04/12 Javascript
七夕情人节丘比特射箭小游戏
2015/08/20 Javascript
ashx文件获取$.ajax()方法发送的数据
2016/05/26 Javascript
Angularjs实现分页和分页算法的示例代码
2016/12/23 Javascript
jQuery仿IOS弹出框插件
2017/02/18 Javascript
js模拟微博发布消息
2017/02/23 Javascript
JS弹窗 JS弹出DIV并使整个页面背景变暗功能的实现代码
2018/04/21 Javascript
JavaScript折半查找(二分查找)算法原理与实现方法示例
2018/08/06 Javascript
微信小程序视图容器(swiper)组件创建轮播图
2020/06/19 Javascript
VueJS 组件参数名命名与组件属性转化问题
2018/12/03 Javascript
微信小程序实现购物页面左右联动
2019/02/15 Javascript
Python中声明只包含一个元素的元组数据方法
2014/08/25 Python
Python中解析JSON并同时进行自定义编码处理实例
2015/02/08 Python
Python写的一个定时重跑获取数据库数据
2016/12/28 Python
Python使用百度翻译开发平台实现英文翻译为中文功能示例
2019/08/08 Python
英国在线泳装店:Simply Swim
2019/05/05 全球购物
汽车检测与维修个人求职信
2013/09/24 职场文书
新学期家长寄语
2014/01/19 职场文书
冰淇淋开店创业计划书
2014/02/01 职场文书
低碳环保标语
2014/06/12 职场文书
质量月口号
2014/06/20 职场文书
金融保险专业求职信
2014/09/03 职场文书
2014年小学教师工作总结
2014/11/10 职场文书
2014年测量员工作总结
2014/12/12 职场文书
逃出克隆岛观后感
2015/06/09 职场文书
2015迎新晚会活动总结
2015/07/16 职场文书