python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python对列表排序的方法实例分析
May 16 Python
Python实现的视频播放器功能完整示例
Feb 01 Python
python实现拓扑排序的基本教程
Mar 11 Python
pandas.DataFrame的pivot()和unstack()实现行转列
Jul 06 Python
Python实现点云投影到平面显示
Jan 18 Python
Win10下安装并使用tensorflow-gpu1.8.0+python3.6全过程分析(显卡MX250+CUDA9.0+cudnn)
Feb 17 Python
如何理解Python中的变量
Jun 01 Python
Python 爬虫性能相关总结
Aug 03 Python
基于Python采集爬取微信公众号历史数据
Nov 27 Python
粗暴解决CUDA out of memory的问题
May 22 Python
python可视化分析绘制带趋势线的散点图和边缘直方图
Jun 25 Python
python+pyhyper实现识别图片中的车牌号思路详解
Dec 24 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
用PHP读取flv文件的播放时间长度
2009/09/03 PHP
PHP下编码转换函数mb_convert_encoding与iconv的使用说明
2009/12/16 PHP
PHP中数组合并的两种方法及区别介绍
2012/09/14 PHP
destoon实现公司新闻详细页添加评论功能的方法
2014/07/15 PHP
ie 调试javascript的工具
2009/04/29 Javascript
锋利的jQuery jQuery中的DOM操作
2010/03/21 Javascript
JavaScript实用技巧(一)
2010/08/16 Javascript
用dtree实现树形菜单 dtree使用说明
2011/10/17 Javascript
javascript中var的重要性分析
2015/02/11 Javascript
JS获取图片lowsrc属性的方法
2015/04/01 Javascript
深入理解jQuery之防止冒泡事件
2016/05/24 Javascript
探讨跨域请求资源的几种方式(总结)
2016/12/02 Javascript
JS正则表达式修饰符中multiline(/m)用法分析
2016/12/27 Javascript
js实现省市级联效果分享
2017/08/10 Javascript
JavaScript实现短暂提示框功能
2018/04/04 Javascript
vue.js中ref及$refs的使用方法解析
2019/10/08 Javascript
JS字符串和数组如何实现相互转化
2020/07/02 Javascript
[49:05]Newbee vs TNC 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
Python and、or以及and-or语法总结
2015/04/14 Python
详解 Python 读写XML文件的实例
2017/08/02 Python
python使用magic模块进行文件类型识别方法
2018/12/08 Python
详解python中的index函数用法
2019/08/06 Python
Django之form组件自动校验数据实现
2020/01/14 Python
在脚本中单独使用django的ORM模型详解
2020/04/01 Python
使用python检查yaml配置文件是否符合要求
2020/04/09 Python
200行python代码实现贪吃蛇游戏
2020/04/24 Python
使用Python爬虫爬取小红书完完整整的全过程
2021/01/19 Python
CSS3 实现侧边栏展开收起动画
2014/12/22 HTML / CSS
Quiksilver美国官网:始于1969年的优质冲浪服和滑雪板外套
2020/04/20 全球购物
Python里面如何拷贝一个对象
2014/02/17 面试题
调研汇报材料范文
2014/08/17 职场文书
起诉离婚协议书样本
2014/11/25 职场文书
学生会自荐信
2019/05/16 职场文书
MySQL 视图(View)原理解析
2021/05/19 MySQL
 python中的元类metaclass详情
2022/05/30 Python
mysql数据库隔离级别详解
2022/06/16 MySQL