python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python字符串替换实例分析
May 11 Python
Python学生成绩管理系统简洁版
Apr 05 Python
Python中常见的异常总结
Feb 20 Python
Django中反向生成models.py的实例讲解
May 30 Python
多个应用共存的Django配置方法
May 30 Python
python3使用SMTP发送HTML格式邮件
Jun 19 Python
python使用scrapy发送post请求的坑
Sep 04 Python
python将list转为matrix的方法
Dec 12 Python
Python中format()格式输出全解
Apr 12 Python
Django为窗体加上防机器人的验证码功能过程解析
Aug 14 Python
Pytorch中.new()的作用详解
Feb 18 Python
python安装mysql的依赖包mysql-python操作
Jan 01 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
简单的页面缓冲技术
2006/10/09 PHP
PHP生成静态页面详解
2006/11/19 PHP
php创建桌面快捷方式实现方法
2015/12/31 PHP
PHP中单例模式与工厂模式详解
2017/02/17 PHP
PHP常用算法和数据结构示例(必看篇)
2017/03/15 PHP
PHP简单实现遍历目录下特定文件的方法小结
2017/05/22 PHP
多广告投放代码 推荐
2006/11/13 Javascript
dess中一个简单的多路委托的实现
2010/07/20 Javascript
JS维吉尼亚密码算法实现代码
2010/11/09 Javascript
JavaScript加强之自定义callback示例
2013/09/21 Javascript
div模拟滚动条效果示例代码
2013/10/16 Javascript
JQuery给元素绑定click事件多次执行的解决方法
2014/05/29 Javascript
jQuery通过点击行来删除HTML表格行的实现示例
2014/09/10 Javascript
JavaScript获取DOM元素的11种方法总结
2015/04/25 Javascript
javascript框架设计之种子模块
2015/06/23 Javascript
JavaScript电子时钟倒计时第二款
2016/01/10 Javascript
jQuery学习笔记之回调函数
2016/08/15 Javascript
JS敏感词过滤代码
2016/12/23 Javascript
使用BootStrap实现表格隔行变色及hover变色并在需要时出现滚动条
2017/01/04 Javascript
简单实现bootstrap选项卡效果
2017/02/08 Javascript
jQuery.ajax向后台传递数组问题的解决方法
2017/05/12 jQuery
详解基于 axios 的 Vue 项目 http 请求优化
2017/09/04 Javascript
vue项目中应用ueditor自定义上传按钮功能
2018/04/27 Javascript
layui 表格的属性的显示转换方法
2018/08/14 Javascript
JQuery样式操作、click事件以及索引值-选项卡应用示例
2019/05/14 jQuery
JS面试题中深拷贝的实现讲解
2020/05/07 Javascript
[01:00:12]2018DOTA2亚洲邀请赛 4.7 淘汰赛 VP vs LGD 第一场
2018/04/09 DOTA
[54:18]DOTA2-DPC中国联赛 正赛 PSG.LGD vs LBZS BO3 第一场 1月22日
2021/03/11 DOTA
书单|人生苦短,你还不用python!
2017/12/29 Python
django中send_mail功能实现详解
2018/02/06 Python
Django框架实现分页显示内容的方法详解
2019/05/10 Python
使用python+whoosh实现全文检索
2019/12/09 Python
详解使用CSS3的@media来编写响应式的页面
2017/11/01 HTML / CSS
纯CSS3实现运行时钟的示例代码
2021/01/25 HTML / CSS
信号量和自旋锁的区别?如何选择使用?
2015/09/08 面试题
2015大学迎新标语
2015/07/16 职场文书