python 重定向获取真实url的方法


Posted in Python onMay 11, 2018

楼主在做公司项目的时候遇到url重定向的问题,因此上网简单查找,作出如下结果

由于使用的是语言是python所以以下是python的简单解决方案

http_headers = { 'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'}

def get_real_url(url):
 rs = requests.get(url,headers=http_headers,timeout=10)
 rs.url

以上代码未有重试机制,下面加上重试机制加以完善

def get_real_url(url,try_count = 1):
if try_count > 3:
 return url
try:
 rs = requests.get(url,headers=http_headers,timeout=10)
 if rs.status_code > 400:
 return get_real_url(url,try_count+1)
 return rs.url
except:
 return get_real_url(url, try_count + 1)

以上这篇python 重定向获取真实url的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python读大数据txt
Mar 28 Python
python的socket编程入门
Jan 29 Python
Python针对给定字符串求解所有子序列是否为回文序列的方法
Apr 21 Python
Django实现支付宝付款和微信支付的示例代码
Jul 25 Python
Python中的Numpy矩阵操作
Aug 12 Python
pandas DataFrame行或列的删除方法的实现示例
Aug 02 Python
Python进度条的制作代码实例
Aug 31 Python
python、Matlab求定积分的实现
Nov 20 Python
Python 如何操作 SQLite 数据库
Aug 17 Python
python中spy++的使用超详细教程
Jan 29 Python
matplotlib部件之套索Lasso的使用
Feb 24 Python
关于python爬虫应用urllib库作用分析
Sep 04 Python
基于python 爬虫爬到含空格的url的处理方法
May 11 #Python
解决Python 爬虫URL中存在中文或特殊符号无法请求的问题
May 11 #Python
解决Python网页爬虫之中文乱码问题
May 11 #Python
解决python爬虫中有中文的url问题
May 11 #Python
利用Python yagmail三行代码实现发送邮件
May 11 #Python
解决Pandas to_json()中文乱码,转化为json数组的问题
May 10 #Python
解决python3 json数据包含中文的读写问题
May 10 #Python
You might like
在任意字符集下正常显示网页的方法一
2007/04/01 PHP
PHP去除数组中重复的元素并按键名排序函数
2008/08/18 PHP
php单件模式结合命令链模式使用说明
2008/09/07 PHP
PHP 抓取网页图片并且另存为的实现代码
2010/03/24 PHP
PHP 用session与gd库实现简单验证码生成与验证的类方法
2016/11/15 PHP
yii2 上传图片的示例代码
2018/11/02 PHP
laravel5.5添加echarts实现画图功能的方法
2019/10/09 PHP
一页面多XMLHttpRequest对象
2007/01/22 Javascript
ajax无刷新动态调用股票信息(改良版)
2008/11/01 Javascript
基于JavaScript自定义构造函数的详解说明
2013/04/24 Javascript
使用JavaScript判断图片是否加载完成的三种实现方式
2014/05/04 Javascript
NODE.JS加密模块CRYPTO常用方法介绍
2014/06/05 Javascript
uploadify多文件上传参数设置技巧
2015/11/16 Javascript
jquery+ajax+text文本框实现智能提示完整实例
2016/07/09 Javascript
CSS3 media queries结合jQuery实现响应式导航
2016/09/30 Javascript
jquery加载单文件vue组件的方法
2017/06/20 jQuery
10行原生JS实现文字无缝滚动(超简单)
2018/01/02 Javascript
nodejs爬虫初试superagent和cheerio
2018/03/05 NodeJs
vue之父子组件间通信实例讲解(props、$ref、$emit)
2018/05/22 Javascript
微信小程序学习笔记之获取位置信息操作图文详解
2019/03/29 Javascript
jquery实现垂直无限轮播的方法分析
2019/07/16 jQuery
关于在LayUI中使用AJAX提交巨坑记录
2019/10/25 Javascript
javascript设计模式 ? 建造者模式原理与应用实例分析
2020/04/10 Javascript
vue+Element-ui前端实现分页效果
2020/11/15 Javascript
Python通过matplotlib绘制动画简单实例
2017/12/13 Python
使用python实现ANN
2017/12/20 Python
python 求一个列表中所有元素的乘积实例
2019/06/11 Python
Tensorflow模型实现预测或识别单张图片
2019/07/19 Python
Python3将ipa包中的文件按大小排序
2020/04/17 Python
美国床垫和床上用品公司:Nest Bedding
2017/06/12 全球购物
MyBag中文网:英国著名的时尚包袋电商零售网站
2020/07/31 全球购物
班主任经验交流会主持词
2014/04/01 职场文书
2014年底工作总结
2014/12/15 职场文书
旷工检讨书1000字
2015/01/01 职场文书
单位实习鉴定评语
2015/01/04 职场文书
水知道答案观后感
2015/06/08 职场文书