python抓取网页图片并放到指定文件夹


Posted in Python onApril 24, 2014

python抓取网站图片并放到指定文件夹

# -*- coding=utf-8 -*-
import urllib2
import urllib
import socket
import os
import re
def Docment():
    print u'把文件存在E:\Python\图(请输入数字或字母)'
    h=raw_input()
    path=u'E:\Python\图'+str(h)
    if not os.path.exists(path):
        os.makedirs(path)
    return path
def getallurl(html):
    reg=r"a href='(.*?\.htm)'"
    allurl= re.compile(reg)
    allList = re.findall(allurl,html)
    return allList
def getHTML(url):
    url=url
    req_header = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    req_timeout = 20
    html='cuowu'
    try:
        req = urllib2.Request(url,None,req_header)
        resp = urllib2.urlopen(req,None,req_timeout)
        html = resp.read()
    except urllib2.URLError as e:
        print e.message
    except socket.timeout as e:
        getHTML(url,fu)
    return html
def getImg(html,path):
    reg = r'img class=IMG_show border=0 src=(.*?\.jpg)'
    imgre= re.compile(reg)
    imgList = re.findall(imgre, html)
    if imgList:
        print 'ghasghg',path
        for imgurl in imgList:
            print imgurl
            content2=urllib2.urlopen(imgurl).read()
            with open(path+'/'+imgurl[-7:],'wb') as code:
                code.write(content2)
    else:
        return 0
def getallurl(html):
    reg=r"a href='(.*?\.htm)'"
    allurl= re.compile(reg)
    allList = re.findall(allurl,html)
    return allList
j=1
i=0
print u'请输入网址:'
ul=raw_input()
print u'开始下载'
print u'第'+str(j)+u'页'
html=getHTML(ul)
allList=getallurl(html)
path=Docment()
getImg(html,path)
while i<len(allList):
    for lis in allList:
        l=lis[i]
        url=r'http://www.umei.cc/p/gaoqing/rihan/'+lis
        i=i+1
        j=j+1
        html=getHTML(url)
        getImg(html,path)
        print u'第'+str(j)+u'页'
    else:
        print u'下载完毕'
Python 相关文章推荐
Python3基础之基本运算符概述
Aug 13 Python
Python全局变量操作详解
Apr 14 Python
python3音乐播放器简单实现代码
Apr 20 Python
Python数据结构与算法之链表定义与用法实例详解【单链表、循环链表】
Sep 28 Python
Python实现XML文件解析的示例代码
Feb 05 Python
Python cookbook(数据结构与算法)将序列分解为单独变量的方法
Feb 13 Python
浅谈python中拼接路径os.path.join斜杠的问题
Oct 23 Python
python广度优先搜索得到两点间最短路径
Jan 17 Python
python时间序列按频率生成日期的方法
May 14 Python
python多线程高级锁condition简单用法示例
Nov 07 Python
手把手教你用Django执行原生SQL的方法
Feb 18 Python
Python实现位图分割的效果
Nov 20 Python
python字符串替换示例
Apr 24 #Python
python自动安装pip
Apr 24 #Python
python网络编程示例(客户端与服务端)
Apr 24 #Python
python使用PyFetion来发送短信的例子
Apr 22 #Python
Python BeautifulSoup中文乱码问题的2种解决方法
Apr 22 #Python
python中使用smtplib和email模块发送邮件实例
Apr 22 #Python
python用字典统计单词或汉字词个数示例
Apr 22 #Python
You might like
PHP数组排序函数合集 以及它们之间的联系分析
2013/06/27 PHP
codeigniter上传图片不能正确识别图片类型问题解决方法
2014/07/25 PHP
浅谈json_encode用法
2015/03/05 PHP
PHP基于rabbitmq操作类的生产者和消费者功能示例
2018/06/16 PHP
PHP7匿名类的用法示例
2019/04/05 PHP
php中get_object_vars()在数组的实例用法
2021/02/22 PHP
JavaScript 构造函数 面相对象学习必备知识
2010/06/09 Javascript
JavaScript 浏览器验证代码(来自discuz)
2010/07/17 Javascript
百度移动版的url编码解码示例
2014/04/29 Javascript
Node.js实现的简易网页抓取功能示例
2014/12/05 Javascript
Node.js的项目构建工具Grunt的安装与配置教程
2016/05/12 Javascript
大型JavaScript应用程序架构设计模式
2016/06/29 Javascript
jQuery中的select操作详解
2016/11/29 Javascript
jQuery实现背景滑动菜单
2016/12/02 Javascript
微信小程序 http请求的session管理
2017/06/07 Javascript
详解vue-cli 快速搭建单页应用之遇到的问题及解决办法
2018/03/01 Javascript
vue 国际化 vue-i18n 双语言 语言包
2018/06/07 Javascript
小程序实现发表评论功能
2018/07/06 Javascript
vue鼠标移入添加class样式,鼠标移出去除样式(active)实现方法
2018/08/22 Javascript
Vue实现剪切板图片压缩功能
2020/02/04 Javascript
以视频爬取实例讲解Python爬虫神器Beautiful Soup用法
2016/01/20 Python
python使用Tesseract库识别验证
2018/03/21 Python
Python带动态参数功能的sqlite工具类
2018/05/26 Python
python Gunicorn服务器使用方法详解
2019/07/22 Python
Python通过socketserver处理多个链接
2020/03/18 Python
Python OpenCV实现测量图片物体宽度
2020/05/27 Python
用gpu训练好的神经网络,用tensorflow-cpu跑出错的原因及解决方案
2021/03/03 Python
CSS3实现淘宝留白的方法
2020/06/05 HTML / CSS
HTML5拖放效果的实现代码
2016/11/17 HTML / CSS
如何让pre和textarea等HTML元素去掉滚动条自动换行自适应文本内容高度
2019/08/01 HTML / CSS
2014全国两会学习心得体会1000字
2014/03/10 职场文书
物业总经理助理岗位职责
2014/06/29 职场文书
临床医学生职业规划书范文
2014/10/25 职场文书
文明班级申报材料
2014/12/24 职场文书
情况说明书怎么写
2015/10/08 职场文书
2016幼儿园新学期寄语
2015/12/03 职场文书