python检查URL是否正常访问的小技巧


Posted in Python onFebruary 25, 2017

今天,项目经理问我一个问题,问我这里有2000个URL要检查是否能正常打开,其实我是拒绝的,我知道因为要写代码了,正好学了点Python,一想,python处理起来容易,就选了python,开始把思路想好:

1.首先2000个URL。可以放在一个txt文本内
2.通过python 把内容内的URL一条一条放进数组内
3.打开一个模拟的浏览器,进行访问。
4.如果正常访问就输出正常,错误就输出错误

直接简单粗暴甩代码。因为涉及到隐私,图片打了码

import urllib.request 
import time 
 
opener = urllib.request.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/49.0.2')] 
#这个是你放网址的文件名,改过来就可以了 
file = open('test.txt') 
lines = file.readlines() 
aa=[] 
for line in lines: 
  temp=line.replace('\n','') 
  aa.append(temp) 
print(aa) 
 
print('开始检查:') 
for a in aa: 
  tempUrl = a 
  try : 
    opener.open(tempUrl) 
    print(tempUrl+'没问题') 
  except urllib.error.HTTPError: 
    print(tempUrl+'=访问页面出错') 
    time.sleep(2) 
  except urllib.error.URLError: 
    print(tempUrl+'=访问页面出错') 
    time.sleep(2) 
  time.sleep(0.1)

效果图:

python检查URL是否正常访问的小技巧

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python随机生成信用卡卡号的实现方法
May 14 Python
利用Python开发实现简单的记事本
Nov 15 Python
python使用pil库实现图片合成实例代码
Jan 20 Python
tensorflow实现简单的卷积网络
May 24 Python
Python操作mongodb数据库进行模糊查询操作示例
Jun 09 Python
Python图片转换成矩阵,矩阵数据转换成图片的实例
Jul 02 Python
Python中的枚举类型示例介绍
Jan 09 Python
selenium+python自动化测试之使用webdriver操作浏览器的方法
Jan 23 Python
如何用Python破解wifi密码过程详解
Jul 12 Python
Python使用python-docx读写word文档
Aug 26 Python
python 实现单通道转3通道
Dec 03 Python
opencv 图像加法与图像融合的实现代码
Jul 08 Python
python解析基于xml格式的日志文件
Feb 25 #Python
Python中防止sql注入的方法详解
Feb 25 #Python
Python 数据结构之旋转链表
Feb 25 #Python
Python数据结构之翻转链表
Feb 25 #Python
浅析python中SQLAlchemy排序的一个坑
Feb 24 #Python
python函数的5种参数详解
Feb 24 #Python
Python实现读取文件最后n行的方法
Feb 23 #Python
You might like
php xml实例 留言本
2009/03/20 PHP
基于pear auth实现登录验证
2010/02/26 PHP
php截取中文字符串不乱码的方法
2013/12/25 PHP
jQuery+PHP实现的掷色子抽奖游戏实例
2015/01/04 PHP
linux中cd命令使用详解
2015/01/08 PHP
php实现的http请求封装示例
2016/11/08 PHP
PHP定义字符串的四种方式详解
2018/02/06 PHP
PHP实现Huffman编码/解码的示例代码
2018/04/20 PHP
JavaScript 在网页上单击鼠标的地方显示层及关闭层
2012/12/30 Javascript
JavaScript中变量声明有var和没var的区别示例介绍
2014/09/15 Javascript
nodejs中简单实现Javascript Promise机制的实例
2014/12/06 NodeJs
原生js的数组除重复简单实例
2016/05/24 Javascript
AngularJs实现聊天列表实时刷新功能
2017/06/15 Javascript
原生js实现简单的模态框示例
2017/09/08 Javascript
使用3D引擎threeJS实现星空粒子移动效果
2020/09/13 Javascript
vue2.0 + ele的循环表单及验证字段方法
2018/09/18 Javascript
Postman无法正常返回结果问题解决
2020/08/28 Javascript
在vue中获取wangeditor的html和text的操作
2020/10/23 Javascript
[47:42]Fnatic vs Liquid 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
解决Python中由于logging模块误用导致的内存泄露
2015/04/23 Python
Python实现二分查找与bisect模块详解
2017/01/13 Python
使用pyecharts在jupyter notebook上绘图
2020/04/23 Python
python使用pandas处理excel文件转为csv文件的方法示例
2019/07/18 Python
pytorch加载自定义网络权重的实现
2020/01/07 Python
世界知名接发和假发品牌:Poze Hair
2017/03/08 全球购物
英国女士和男士时尚服装网上购物:Top Labels Online
2018/03/25 全球购物
应用化学专业本科生求职信
2013/09/29 职场文书
九年级家长会邀请函
2014/01/15 职场文书
给老师的一封建议书
2014/03/13 职场文书
活动总结怎么写啊
2014/05/07 职场文书
幼儿园户外活动总结
2014/07/04 职场文书
先进典型事迹材料
2014/12/29 职场文书
新入职员工工作总结
2015/10/15 职场文书
python基础之模块的导入
2021/10/24 Python
详解Mysq MVCC多版本的并发控制
2022/04/29 MySQL
MySQL表字段数量限制及行大小限制详情
2022/07/23 MySQL