python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python datetime时间格式化去掉前导0
Jul 31 Python
浅析Python中的多重继承
Apr 28 Python
构建Python包的五个简单准则简介
Jun 15 Python
python字典操作实例详解
Nov 16 Python
python 保存float类型的小数的位数方法
Oct 17 Python
python实现批量注册网站用户的示例
Feb 22 Python
WxPython实现无边框界面
Nov 18 Python
pygame编写音乐播放器的实现代码示例
Nov 19 Python
Python列表去重复项的N种方法(实例代码)
May 12 Python
Python使用Numpy模块读取文件并绘制图片
May 13 Python
pytorch 计算ConvTranspose1d输出特征大小方式
Jun 23 Python
Python可变与不可变数据和深拷贝与浅拷贝
Apr 06 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
Smarty foreach控制循环次数的实现详解
2013/07/03 PHP
详解PHP序列化反序列化的方法
2015/10/27 PHP
php中序列化与反序列化详解
2017/02/13 PHP
PDO实现学生管理系统
2020/03/21 PHP
[原创]js与自动伸缩图片 自动缩小图片的多浏览器兼容的方法总结
2007/03/12 Javascript
基于jquery的设置页面文本框 只能输入数字的实现代码
2011/04/19 Javascript
js 鼠标移动显示图片的简单实例
2013/12/25 Javascript
根据当前时间在jsp页面上显示上午或下午
2014/08/18 Javascript
javascript中Object使用详解
2015/01/26 Javascript
vue ssr 指南详读
2018/06/29 Javascript
js Array.slice的8种不同用法示例
2019/07/10 Javascript
改进 JavaScript 和 Rust 的互操作性并深入认识 wasm-bindgen 组件
2019/07/13 Javascript
uni-app自定义导航栏按钮|uniapp仿微信顶部导航条功能
2019/11/12 Javascript
js实现3D粒子酷炫动态旋转特效
2020/09/13 Javascript
Python中使用copy模块实现列表(list)拷贝
2015/04/14 Python
python操作ie登陆土豆网的方法
2015/05/09 Python
Python函数中的函数(闭包)用法实例
2016/03/15 Python
Python基于Socket实现的简单聊天程序示例
2017/08/05 Python
python处理数据,存进hive表的方法
2018/07/04 Python
Python 元组操作总结
2019/09/18 Python
Pandas时间序列:时期(period)及其算术运算详解
2020/02/25 Python
Meli Melo官网:名媛们钟爱的英国奢侈手包品牌
2017/04/17 全球购物
女装和独特珠宝:Sundance Catalog
2018/09/19 全球购物
香港通票:Hong Kong Pass
2019/02/26 全球购物
法学专业本科生自荐信范文
2013/12/17 职场文书
贸易跟单员英文求职信
2014/04/19 职场文书
关工委先进个人事迹材料
2014/05/23 职场文书
教师国庆节演讲稿范文2014
2014/09/21 职场文书
婚礼庆典答谢词
2015/01/20 职场文书
对外汉语教师推荐信
2015/03/27 职场文书
新闻报道稿范文
2015/07/23 职场文书
幼儿园亲子活动感想
2015/08/07 职场文书
关于Javascript闭包与应用的详解
2021/04/22 Javascript
pytorch中的numel函数用法说明
2021/05/13 Python
Java循环队列与非循环队列的区别总结
2021/06/22 Java/Android
Navicat Premium自定义 sql 标签的创建方式
2022/09/23 数据库