python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
从零学python系列之从文件读取和保存数据
May 23 Python
利用Python命令行传递实例化对象的方法
Nov 02 Python
Python 详解基本语法_函数_返回值
Jan 22 Python
selenium+python 去除启动的黑色cmd窗口方法
May 22 Python
Flask框架信号用法实例分析
Jul 24 Python
django最快程序开发流程详解
Jul 19 Python
完美解决Django2.0中models下的ForeignKey()问题
May 19 Python
python 代码实现k-means聚类分析的思路(不使用现成聚类库)
Jun 01 Python
Python openpyxl模块实现excel读写操作
Jun 30 Python
详细分析Python可变对象和不可变对象
Jul 09 Python
Python json格式化打印实现过程解析
Jul 21 Python
Pyside2中嵌入Matplotlib的绘图的实现
Feb 22 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
利用PHP实现与ASP Banner组件相似的类
2006/10/09 PHP
PHP中使用localhost连接Mysql不成功的解决方法
2014/08/20 PHP
从零开始学YII2框架(二)通过 Composer 安装扩展插件
2014/08/20 PHP
php redis实现对200w用户的即时推送
2017/03/04 PHP
php字符串过滤strip_tags()函数用法实例分析
2019/06/24 PHP
模拟用户操作Input元素,不会触发相应事件
2007/05/11 Javascript
学习ExtJS TextField常用方法
2009/10/07 Javascript
Chrome中JSON.parse的特殊实现
2011/01/12 Javascript
JS实现标签页效果(配合css)
2013/04/03 Javascript
jsPDF导出pdf示例
2014/05/02 Javascript
JS+HTML5 FileReader实现文件上传前本地预览功能
2020/03/27 Javascript
vue中配置mint-ui报css错误问题的解决方法
2017/10/11 Javascript
Angular17之Angular自定义指令详解
2018/01/21 Javascript
vue中Axios的封装与API接口的管理详解
2018/08/09 Javascript
解决vue中使用Axios调用接口时出现的ie数据处理问题
2018/08/13 Javascript
mock.js实现模拟生成假数据功能示例
2019/01/15 Javascript
layui 关闭open弹出框 刷新table表格页面的方法
2019/09/16 Javascript
JS实现网站吸顶条
2020/01/08 Javascript
简单了解three.js 着色器材质
2020/08/03 Javascript
[00:12]2018DOTA2亚洲邀请赛 Sccc亮相SOLO赛,今年他又会有什么样的战绩?
2018/04/06 DOTA
在Python中操作文件之truncate()方法的使用教程
2015/05/25 Python
python比较两个列表是否相等的方法
2015/07/28 Python
python3操作mysql数据库的方法
2017/06/23 Python
flask使用session保存登录状态及拦截未登录请求代码
2018/01/19 Python
python发送邮件脚本
2018/05/22 Python
Django REST 异常处理详解
2020/07/15 Python
Python 获取异常(Exception)信息的几种方法
2020/12/29 Python
Django2.1.7 查询数据返回json格式的实现
2020/12/29 Python
详解Python 中的 defaultdict 数据类型
2021/02/22 Python
纯CSS3实现的8种Loading动画效果
2014/07/05 HTML / CSS
丝芙兰巴西官方商城:SEPHORA巴西
2016/10/31 全球购物
新西兰床上用品和家居用品购物网站:Adairs
2018/04/27 全球购物
青年创业培训欢迎词
2014/01/10 职场文书
提取视频中的音频 Python只需要三行代码!
2021/05/10 Python
vue-cropper插件实现图片截取上传组件封装
2021/05/27 Vue.js
JS的深浅复制详细
2021/10/16 Javascript