python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python常见文件操作的函数示例代码
Nov 15 Python
详解Python的单元测试
Apr 28 Python
python创建关联数组(字典)的方法
May 04 Python
将TensorFlow的模型网络导出为单个文件的方法
Apr 23 Python
python根据list重命名文件夹里的所有文件实例
Oct 25 Python
在Pycharm中使用GitHub的方法步骤
Jun 13 Python
解析python实现Lasso回归
Sep 11 Python
python kafka 多线程消费者&amp;手动提交实例
Dec 21 Python
使用Jupyter notebooks上传文件夹或大量数据到服务器
Apr 14 Python
Python新手学习装饰器
Jun 04 Python
Python pysnmp使用方法及代码实例
Aug 24 Python
python regex库实例用法总结
Jan 03 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
提高php运行速度的一些小技巧分享
2012/07/03 PHP
php setcookie(name, value, expires, path, domain, secure) 参数详解
2013/06/28 PHP
WordPress中转义HTML与过滤链接的相关PHP函数使用解析
2015/12/22 PHP
JQuery 1.3.2以上版本中出现pareseerror错误的解决方法
2011/01/11 Javascript
Jquery插件写法笔记整理
2012/09/06 Javascript
jquery 操作css样式、位置、尺寸方法汇总
2014/11/28 Javascript
node.js中的fs.lstatSync方法使用说明
2014/12/16 Javascript
深入探讨JavaScript String对象
2015/03/09 Javascript
javascript实现淡蓝色的鼠标拖动选择框实例
2015/05/09 Javascript
浅谈Jquery核心函数
2015/06/18 Javascript
javascript解决IE6下hover问题的方法
2015/07/28 Javascript
javascript实现鼠标放上后下边对应内容变换的效果
2015/08/06 Javascript
JavaScript实现简单精致的图片左右无缝滚动效果
2017/03/16 Javascript
Vue.js如何优雅的进行form validation
2017/04/07 Javascript
深入解析js轮播插件核心代码的实现过程
2017/04/14 Javascript
Vue中的作用域CSS和CSS模块的区别
2018/10/09 Javascript
详解处理Vue单页面应用SEO的另一种思路
2018/11/09 Javascript
Vue中computed、methods与watch的区别总结
2019/04/10 Javascript
基于vue的tab-list类目切换商品列表组件的示例代码
2020/02/14 Javascript
vue在线动态切换主题色方案
2020/03/26 Javascript
解决vue安装less报错Failed to compile with 1 errors的问题
2020/10/22 Javascript
vant-ui组件调用Dialog弹窗异步关闭操作
2020/11/04 Javascript
[15:35]教你分分钟做大人:天怒法师
2014/10/30 DOTA
Python实现针对json中某个关键字段进行排序操作示例
2018/12/25 Python
Python 支付整合开发包的实现
2019/01/23 Python
python实现图片转字符小工具
2019/04/30 Python
Django models.py应用实现过程详解
2019/07/29 Python
Python 分发包中添加额外文件的方法
2019/08/16 Python
基于keras输出中间层结果的2种实现方式
2020/01/24 Python
浅谈Html5多线程开发之WebWorkers
2018/05/02 HTML / CSS
公司领导九九重阳节发言稿2014
2014/09/25 职场文书
单位作风建设剖析材料
2014/10/11 职场文书
大学军训决心书
2015/02/05 职场文书
胡雪岩故居导游词
2015/02/06 职场文书
工作简报怎么写
2015/07/21 职场文书
IDEA中sout快捷键无效问题的解决方法
2022/07/23 Java/Android