python检查URL是否正常访问的小技巧


Posted in Python onFebruary 25, 2017

今天,项目经理问我一个问题,问我这里有2000个URL要检查是否能正常打开,其实我是拒绝的,我知道因为要写代码了,正好学了点Python,一想,python处理起来容易,就选了python,开始把思路想好:

1.首先2000个URL。可以放在一个txt文本内
2.通过python 把内容内的URL一条一条放进数组内
3.打开一个模拟的浏览器,进行访问。
4.如果正常访问就输出正常,错误就输出错误

直接简单粗暴甩代码。因为涉及到隐私,图片打了码

import urllib.request 
import time 
 
opener = urllib.request.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/49.0.2')] 
#这个是你放网址的文件名,改过来就可以了 
file = open('test.txt') 
lines = file.readlines() 
aa=[] 
for line in lines: 
  temp=line.replace('\n','') 
  aa.append(temp) 
print(aa) 
 
print('开始检查:') 
for a in aa: 
  tempUrl = a 
  try : 
    opener.open(tempUrl) 
    print(tempUrl+'没问题') 
  except urllib.error.HTTPError: 
    print(tempUrl+'=访问页面出错') 
    time.sleep(2) 
  except urllib.error.URLError: 
    print(tempUrl+'=访问页面出错') 
    time.sleep(2) 
  time.sleep(0.1)

效果图:

python检查URL是否正常访问的小技巧

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python random模块(获取随机数)常用方法和使用例子
May 13 Python
详解Python中的装饰器、闭包和functools的教程
Apr 02 Python
Python中使用gzip模块压缩文件的简单教程
Apr 08 Python
Python读写Json涉及到中文的处理方法
Sep 12 Python
python中使用psutil查看内存占用的情况
Jun 11 Python
Python读取excel中的图片完美解决方法
Jul 27 Python
python 实现一次性在文件中写入多行的方法
Jan 28 Python
详解pandas.DataFrame.plot() 画图函数
Jun 14 Python
Python直接赋值及深浅拷贝原理详解
Sep 05 Python
Python Tkinter实例——模拟掷骰子
Oct 24 Python
利用Python pandas对Excel进行合并的方法示例
Nov 04 Python
Python图片验证码降噪和8邻域降噪
Aug 30 Python
python解析基于xml格式的日志文件
Feb 25 #Python
Python中防止sql注入的方法详解
Feb 25 #Python
Python 数据结构之旋转链表
Feb 25 #Python
Python数据结构之翻转链表
Feb 25 #Python
浅析python中SQLAlchemy排序的一个坑
Feb 24 #Python
python函数的5种参数详解
Feb 24 #Python
Python实现读取文件最后n行的方法
Feb 23 #Python
You might like
php二分法在IP地址查询中的应用
2008/08/12 PHP
ecshop 批量上传(加入自定义属性)
2012/03/20 PHP
ThinkPHP提示错误Fatal error: Allowed memory size的解决方法
2015/02/12 PHP
php使用mysqli向数据库添加数据的方法
2015/03/20 PHP
PHP sdk实现在线打包代码示例
2020/12/09 PHP
jQuery 加上最后自己的验证
2009/11/04 Javascript
js变换显示图片的实例
2013/04/16 Javascript
基于MVC3方式实现下拉列表联动(JQuery)
2013/09/02 Javascript
js利用事件的阻止冒泡实现点击空白模态框的隐藏
2014/01/24 Javascript
超级简单实现JavaScript MVC 样式框架
2015/03/24 Javascript
js实现带圆角的两级导航菜单效果代码
2015/08/24 Javascript
浅谈jquery.form.js的ajaxSubmit和ajaxForm的使用
2016/09/09 Javascript
vue组件中使用iframe元素的示例代码
2017/12/13 Javascript
React数据传递之组件内部通信的方法
2017/12/31 Javascript
jQuery实现左右两个列表框的内容相互移动功能示例
2019/01/27 jQuery
微信小程序实现星级评价
2019/11/20 Javascript
vue移动端的左右滑动事件详解
2020/06/17 Javascript
[04:48]DOTA2上海特锦赛小组赛第三日 TOP10精彩集锦
2016/02/28 DOTA
[48:46]完美世界DOTA2联赛PWL S2 SZ vs FTD.C 第二场 11.19
2020/11/19 DOTA
详解Python3中的Sequence type的使用
2015/08/01 Python
使用python实现省市三级菜单效果
2016/01/20 Python
Python实现简单文本字符串处理的方法
2018/01/22 Python
python 计算平均平方误差(MSE)的实例
2019/06/29 Python
利用CSS3的transform做的动态时钟效果
2011/09/21 HTML / CSS
使用CSS3实现SVG路径描边动画效果入门教程
2019/10/21 HTML / CSS
Html5页面在微信端的分享的实现方法
2018/08/30 HTML / CSS
html5使用canvas画一条线
2014/12/15 HTML / CSS
曼城官方网上商店:Manchester City
2019/09/10 全球购物
编写类String的构造函数、析构函数和赋值函数
2012/05/29 面试题
电子信息专业学生自荐信
2013/11/09 职场文书
新闻学毕业生自荐信
2013/11/15 职场文书
党员创先争优心得体会
2014/09/11 职场文书
党员学习新党章思想汇报
2014/10/25 职场文书
分家协议书范本
2016/03/22 职场文书
Tensorflow与RNN、双向LSTM等的踩坑记录及解决
2021/05/31 Python
Spring Security中用JWT退出登录时遇到的坑
2021/10/16 Java/Android