python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python EOL while scanning string literal问题解决方法
Sep 18 Python
详解常用查找数据结构及算法(Python实现)
Dec 09 Python
详解python发送各类邮件的主要方法
Dec 22 Python
利用Python进行异常值分析实例代码
Dec 07 Python
对numpy.append()里的axis的用法详解
Jun 28 Python
python 读取Linux服务器上的文件方法
Dec 27 Python
python程序快速缩进多行代码方法总结
Jun 23 Python
详解Python并发编程之创建多线程的几种方法
Aug 23 Python
TensorFlow——Checkpoint为模型添加检查点的实例
Jan 21 Python
利用PyQt中的QThread类实现多线程
Feb 18 Python
django列表筛选功能的实现代码
Mar 27 Python
Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤
Mar 29 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
dede3.1分页文字采集过滤规则详说(图文教程)续二
2007/04/03 PHP
在PHP中养成7个面向对象的好习惯
2010/07/17 PHP
php对mongodb的扩展(初出茅庐)
2012/11/11 PHP
php/js获取客户端mac地址的实现代码
2013/07/08 PHP
php把数据表导出为Excel表的最简单、最快的方法(不用插件)
2014/05/10 PHP
php提高网站效率的技巧
2015/09/29 PHP
WordPress中用于更新伪静态规则的PHP代码实例讲解
2015/12/18 PHP
yii2中关于加密解密的那些事儿
2018/06/12 PHP
JS通过ajax动态读取xml文件内容的方法
2015/03/24 Javascript
详解Javascript事件驱动编程
2016/01/03 Javascript
原生js实现addClass,removeClass,hasClass方法
2016/04/27 Javascript
Vue.js 表单校验插件
2016/08/14 Javascript
原生JS实现首页进度加载动画
2016/09/14 Javascript
在localStorage中存储对象数组并读取的方法
2016/09/24 Javascript
JS实现直接运行html代码的方法
2017/03/13 Javascript
详解基于node的前端项目编译时内存溢出问题
2017/08/01 Javascript
JS实现将链接生成二维码并转为图片的方法
2018/03/17 Javascript
webpack css加载和图片加载的方法示例
2018/09/11 Javascript
小程序开发中如何使用async-await并封装公共异步请求的方法
2019/01/20 Javascript
详解vue-cli中使用rem,vue自适应
2019/05/06 Javascript
vue中axios的二次封装实例讲解
2019/10/14 Javascript
Vue.js标签页组件使用方法详解
2019/10/19 Javascript
微信小程序实现上拉加载功能
2019/11/20 Javascript
微信小程序纯文本实现@功能
2020/04/08 Javascript
[01:07:46]完美世界DOTA2联赛循环赛 Magma vs IO BO2第二场 11.01
2020/11/02 DOTA
对python修改xml文件的节点值方法详解
2018/12/24 Python
python实现贪吃蛇小游戏
2020/03/21 Python
python实现AES加密和解密
2019/03/27 Python
CSS3实现渐变背景兼容问题
2020/05/06 HTML / CSS
PHP中如何创建和修改数组
2012/05/02 面试题
定义一结构体变量,用其表示点坐标,并输入两点坐标,求两点之间的距离
2015/08/17 面试题
高中军训感言600字
2014/03/11 职场文书
台风停课通知
2015/04/24 职场文书
销售口号霸气押韵
2015/12/24 职场文书
2019中小学生安全过暑期倡议书
2019/06/24 职场文书
Java实现斗地主之洗牌发牌
2021/06/14 Java/Android