python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python黑魔法之参数传递
Feb 12 Python
Python自动化运维和部署项目工具Fabric使用实例
Sep 18 Python
python利用Guetzli批量压缩图片
Mar 23 Python
Python实现从log日志中提取ip的方法【正则提取】
Mar 31 Python
python跳过第一行快速读取文件内容的实例
Jul 12 Python
详解Python3注释知识点
Feb 19 Python
Python 抓取微信公众号账号信息的方法
Jun 14 Python
kali中python版本的切换方法
Jul 11 Python
详解Python3 中的字符串格式化语法
Jan 15 Python
完美解决pycharm 不显示代码提示问题
Jun 02 Python
使用Keras画神经网络准确性图教程
Jun 15 Python
python和JavaScript哪个容易上手
Jun 23 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
基于PHP实现通过照片获取ip地址
2016/04/26 PHP
ThinkPHP框架实现的邮箱激活功能示例
2018/06/15 PHP
php使用redis的有序集合zset实现延迟队列应用示例
2020/02/20 PHP
使Ext的Template可以解析二层的json数据的方法
2007/12/22 Javascript
JS option location 页面跳转实现代码
2008/12/27 Javascript
jqeury eval将字符串转换json的方法
2011/01/20 Javascript
Tab切换组件(选项卡功能)实例代码
2013/11/21 Javascript
JavaScript事件委托实例分析
2015/05/26 Javascript
JS如何设置iOS中微信浏览器的title
2016/11/22 Javascript
详解通过JSON数据使用VUE.JS
2017/05/26 Javascript
阿里大于短信验证码node koa2的实现代码(最新)
2017/09/07 Javascript
基于jQuery ztree实现表格风格的树状结构
2018/08/31 jQuery
详解elementui之el-image-viewer(图片查看器)
2019/08/30 Javascript
在react-antd中弹出层form内容传递给父组件的操作
2020/10/24 Javascript
在Python中用split()方法分割字符串的使用介绍
2015/05/20 Python
详解Python的Django框架中的Cookie相关处理
2015/07/22 Python
深入理解python中的浅拷贝和深拷贝
2016/05/30 Python
Python调用C++程序的方法详解
2017/01/24 Python
python消除序列的重复值并保持顺序不变的实例
2018/11/08 Python
Python面向对象封装操作案例详解
2019/12/31 Python
python脚本第一行如何写
2020/08/30 Python
五分钟学会怎么用python做一个简单的贪吃蛇
2021/01/12 Python
大门门卫岗位职责
2013/11/30 职场文书
元旦晚会上单位领导演讲稿
2014/01/05 职场文书
母亲追悼会答谢词
2014/01/27 职场文书
《桃花心木》教学反思
2014/02/17 职场文书
捐助贫困学生倡议书
2014/05/16 职场文书
一般党员对照检查材料
2014/09/24 职场文书
高考学习决心书
2015/02/04 职场文书
工程部主管岗位职责
2015/02/12 职场文书
煤矿百日安全活动总结
2015/05/07 职场文书
当幸福来敲门英文观后感
2015/06/01 职场文书
思想工作总结范文
2015/08/12 职场文书
JavaScript高级程序设计之基本引用类型
2021/11/17 Javascript
Python制作春联的示例代码
2022/01/22 Python
python manim实现排序算法动画示例
2022/08/14 Python