python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现的一个p2p文件传输实例
Jun 04 Python
对变量赋值的理解--Pyton中让两个值互换的实现方法
Nov 29 Python
Python中的函数作用域
May 07 Python
python消除序列的重复值并保持顺序不变的实例
Nov 08 Python
用python写一个定时提醒程序的实现代码
Jul 22 Python
python/Matplotlib绘制复变函数图像教程
Nov 21 Python
Python实现在Windows平台修改文件属性
Mar 05 Python
jupyter notebook插入本地图片的实现
Apr 13 Python
解决IDEA 的 plugins 搜不到任何的插件问题
May 04 Python
ITK 实现多张图像转成单个nii.gz或mha文件案例
Jul 01 Python
Django集成MongoDB实现过程解析
Dec 01 Python
如何通过安装HomeBrew来安装Python3
Dec 23 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
QueryPath PHP 中的jQuery
2010/04/11 PHP
php页面消耗内存过大的处理办法
2013/03/18 PHP
php+ajax 实现输入读取数据库显示匹配信息
2015/10/08 PHP
Zend Framework动作助手Url用法详解
2016/03/05 PHP
js CSS操作方法集合
2008/10/31 Javascript
javascript oop开发滑动(slide)菜单控件
2010/08/25 Javascript
JavaScript计算字符串中每个字符出现次数的小例子
2013/07/02 Javascript
intro.js 页面引导简单用法 分享
2013/08/06 Javascript
如何在指定的地方插入html内容和文本内容
2013/12/23 Javascript
无限树Jquery插件zTree的常用功能特性总结
2014/09/11 Javascript
Jquery常用的方法汇总
2015/09/01 Javascript
js实现跨域访问的三种方法
2015/12/09 Javascript
浅谈JS继承_借用构造函数 &amp; 组合式继承
2016/08/16 Javascript
解决ajax不能访问本地文件问题(利用js跨域原理)
2017/01/24 Javascript
基于Echarts图表在div动态切换时不显示的解决方式
2020/07/20 Javascript
VUE 实现element upload上传图片到阿里云
2020/08/12 Javascript
pydev使用wxpython找不到路径的解决方法
2013/02/10 Python
Python实现周期性抓取网页内容的方法
2015/11/04 Python
Python爬取京东的商品分类与链接
2016/08/26 Python
简单谈谈Python中的几种常见的数据类型
2017/02/10 Python
python 递归遍历文件夹,并打印满足条件的文件路径实例
2017/08/30 Python
python装饰器-限制函数调用次数的方法(10s调用一次)
2018/04/21 Python
解决pandas.DataFrame.fillna 填充Nan失败的问题
2018/11/06 Python
python orm 框架中sqlalchemy用法实例详解
2020/02/02 Python
python多维数组分位数的求取方式
2020/03/03 Python
英国最大的女性服装零售商:Dorothy Perkins
2017/03/30 全球购物
大学生年度自我鉴定
2013/10/31 职场文书
学习党的群众路线教育实践活动心得体会
2014/03/01 职场文书
一年级学生期末评语
2014/04/21 职场文书
土建专业毕业生自荐书
2014/07/04 职场文书
成绩单评语
2015/01/04 职场文书
2016年大学迎新晚会工作总结
2015/10/15 职场文书
爱岗敬业事迹材料
2019/06/20 职场文书
JavaScript 定时器详情
2021/11/11 Javascript
Python中request的基本使用解决乱码问题
2022/04/12 Python
MySQL 原理与优化之原数据锁的应用
2022/08/14 MySQL