python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python处理PHP数组文本文件实例
Sep 18 Python
python通过自定义isnumber函数判断字符串是否为数字的方法
Apr 23 Python
Python对列表排序的方法实例分析
May 16 Python
Python matplotlib 画图窗口显示到gui或者控制台的实例
May 24 Python
python爱心表白 每天都是浪漫七夕!
Aug 18 Python
Python 多线程不加锁分块读取文件的方法
Dec 11 Python
关于Python核心框架tornado的异步协程的2种方法详解
Aug 28 Python
python @propert装饰器使用方法原理解析
Dec 25 Python
PyTorch-GPU加速实例
Jun 23 Python
python使用matplotlib绘制折线图的示例代码
Sep 22 Python
Pycharm常用快捷键总结及配置方法
Nov 14 Python
python-地图可视化组件folium的操作
Dec 14 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
实用函数8
2007/11/08 PHP
PHP中使用localhost连接Mysql不成功的解决方法
2014/08/20 PHP
php打印输出棋盘的实现方法
2014/12/23 PHP
简单的php+mysql聊天室实现方法(附源码)
2016/01/05 PHP
在IIS下安装PHP扩展的方法(超简单)
2017/04/10 PHP
Laravel5中Cookie的使用详解
2017/05/03 PHP
使用ExtJS技术实现的拖动树结点
2010/08/05 Javascript
关于UTF-8的客户端用AJAX方式获取GB2312的服务器端乱码问题的解决办法
2010/11/30 Javascript
js 判断js函数、变量是否存在的简单示例代码
2014/03/04 Javascript
js使用html()或text()方法获取设置p标签的显示的值
2014/08/01 Javascript
jquery和js实现对div的隐藏和显示方法
2014/09/26 Javascript
JQuery中属性过滤选择器用法实例分析
2015/05/18 Javascript
Atitit.js的键盘按键事件捆绑and事件调度
2016/04/01 Javascript
JS判断是否在微信浏览器打开的简单实例(推荐)
2016/08/24 Javascript
自己封装的一个原生JS拖动方法(推荐)
2016/11/22 Javascript
Web 开发中Ajax的Session 超时处理方法
2017/01/19 Javascript
微信小程序自定义组件
2017/08/16 Javascript
利用jquery如何从json中读取数据追加到html中
2017/12/01 jQuery
npm 更改默认全局路径以及国内镜像的方法
2018/05/16 Javascript
微信小程序仿朋友圈发布动态功能
2018/07/15 Javascript
jQuery实现侧边栏隐藏与显示的方法详解
2018/12/22 jQuery
微信小程序加载机制及运行机制图解
2019/11/27 Javascript
uni-app如何实现增量更新功能
2020/01/03 Javascript
解决vue单页面多个组件嵌套监听浏览器窗口变化问题
2020/07/30 Javascript
[02:17]快乐加倍!DOTA2食人魔魔法师至宝+迎霜节活动上线
2019/12/22 DOTA
在Python的Django框架中包装视图函数
2015/07/20 Python
实例讲解python中的序列化知识点
2018/10/08 Python
python实现文件的备份流程详解
2019/06/18 Python
python切片的步进、添加、连接简单操作示例
2019/07/11 Python
Python turtle库绘制菱形的3种方式小结
2019/11/23 Python
pytorch 指定gpu训练与多gpu并行训练示例
2019/12/31 Python
Python判断远程服务器上Excel文件是否被人打开的方法
2020/07/13 Python
Myprotein葡萄牙官方网站:英国优质运动营养品牌
2016/09/12 全球购物
优秀毕业生自我鉴定
2014/01/19 职场文书
《乘法分配律》教学反思
2016/02/24 职场文书
恶魔之树最顶端的三颗果实 震震果实上榜,第一可以制造岩浆
2022/03/18 日漫