python抓取网页图片并放到指定文件夹


Posted in Python onApril 24, 2014

python抓取网站图片并放到指定文件夹

# -*- coding=utf-8 -*-
import urllib2
import urllib
import socket
import os
import re
def Docment():
    print u'把文件存在E:\Python\图(请输入数字或字母)'
    h=raw_input()
    path=u'E:\Python\图'+str(h)
    if not os.path.exists(path):
        os.makedirs(path)
    return path
def getallurl(html):
    reg=r"a href='(.*?\.htm)'"
    allurl= re.compile(reg)
    allList = re.findall(allurl,html)
    return allList
def getHTML(url):
    url=url
    req_header = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    req_timeout = 20
    html='cuowu'
    try:
        req = urllib2.Request(url,None,req_header)
        resp = urllib2.urlopen(req,None,req_timeout)
        html = resp.read()
    except urllib2.URLError as e:
        print e.message
    except socket.timeout as e:
        getHTML(url,fu)
    return html
def getImg(html,path):
    reg = r'img class=IMG_show border=0 src=(.*?\.jpg)'
    imgre= re.compile(reg)
    imgList = re.findall(imgre, html)
    if imgList:
        print 'ghasghg',path
        for imgurl in imgList:
            print imgurl
            content2=urllib2.urlopen(imgurl).read()
            with open(path+'/'+imgurl[-7:],'wb') as code:
                code.write(content2)
    else:
        return 0
def getallurl(html):
    reg=r"a href='(.*?\.htm)'"
    allurl= re.compile(reg)
    allList = re.findall(allurl,html)
    return allList
j=1
i=0
print u'请输入网址:'
ul=raw_input()
print u'开始下载'
print u'第'+str(j)+u'页'
html=getHTML(ul)
allList=getallurl(html)
path=Docment()
getImg(html,path)
while i<len(allList):
    for lis in allList:
        l=lis[i]
        url=r'http://www.umei.cc/p/gaoqing/rihan/'+lis
        i=i+1
        j=j+1
        html=getHTML(url)
        getImg(html,path)
        print u'第'+str(j)+u'页'
    else:
        print u'下载完毕'
Python 相关文章推荐
Python2.5/2.6实用教程 入门基础篇
Nov 29 Python
从Python的源码浅要剖析Python的内存管理
Apr 16 Python
python django 访问静态文件出现404或500错误
Jan 20 Python
python 实时得到cpu和内存的使用情况方法
Jun 11 Python
基于PyQt4和PySide实现输入对话框效果
Feb 27 Python
Linux上使用Python统计每天的键盘输入次数
Apr 17 Python
Linux下通过python获取本机ip方法示例
Sep 06 Python
python 实现将list转成字符串,中间用空格隔开
Dec 25 Python
python用pip install时安装失败的一系列问题及解决方法
Feb 24 Python
Django Form常用功能及代码示例
Oct 13 Python
python 检测nginx服务邮件报警的脚本
Dec 31 Python
Python Pygame实战之塔防游戏的实现
Mar 17 Python
python字符串替换示例
Apr 24 #Python
python自动安装pip
Apr 24 #Python
python网络编程示例(客户端与服务端)
Apr 24 #Python
python使用PyFetion来发送短信的例子
Apr 22 #Python
Python BeautifulSoup中文乱码问题的2种解决方法
Apr 22 #Python
python中使用smtplib和email模块发送邮件实例
Apr 22 #Python
python用字典统计单词或汉字词个数示例
Apr 22 #Python
You might like
PHP 读取和修改大文件的某行内容的代码
2009/10/30 PHP
php for 循环语句使用方法详细说明
2010/05/09 PHP
如何使用Strace调试工具
2013/06/03 PHP
PHP配置把错误日志以邮件方式发送方法(Windows系统)
2015/06/23 PHP
Yii隐藏URL中index.php的方法
2016/07/12 PHP
Yii2实现多域名跨域同步登录退出
2017/02/04 PHP
thinkPHP5框架接口写法简单示例
2019/08/05 PHP
动态加载dtree.js树treeview(示例代码)
2013/12/17 Javascript
结合JQ1.9通过js正则判断各种浏览器版本的方法
2013/12/30 Javascript
jQuery.parseJSON(json)将JSON字符串转换成js对象
2014/07/27 Javascript
javascript使用prototype完成单继承
2014/12/24 Javascript
jquery判断至少有一个checkbox被选中的方法
2015/06/05 Javascript
JS鼠标拖拽实例分析
2015/11/23 Javascript
基于Node.js的强大爬虫 能直接发布抓取的文章哦
2016/01/10 Javascript
JS使用cookie设置样式的方法
2016/06/30 Javascript
原生JS仿QQ阅读点击展开、收起效果
2017/03/08 Javascript
JS简单获取当前日期和农历日期的方法
2017/04/17 Javascript
JS基于正则实现数字千分位用逗号分隔的方法
2017/06/16 Javascript
JavaScript门面模式详解
2017/10/19 Javascript
vue-cli下的vuex的简单Demo图解(实现加1减1操作)
2018/02/26 Javascript
js防抖和节流的深入讲解
2018/12/06 Javascript
怎样使你的 JavaScript 代码简单易读(推荐)
2019/04/16 Javascript
微信小程序 函数防抖 解决重复点击消耗性能问题实现代码
2019/09/12 Javascript
使用TS来编写express服务器的方法步骤
2020/10/29 Javascript
[01:56]2014DOTA2西雅图邀请赛 MVP外卡赛老队长精辟点评
2014/07/09 DOTA
python matplotlib画图库学习绘制常用的图
2019/03/19 Python
python多线程下信号处理程序示例
2019/05/31 Python
django如何实现视图重定向
2019/07/24 Python
python [:3] 实现提取数组中的数
2019/11/27 Python
Java方面的关于数组和继承的笔面试题
2015/09/18 面试题
销售经理工作职责范文
2013/12/03 职场文书
学生安全责任书
2014/04/15 职场文书
甘南现象心得体会
2014/09/11 职场文书
反腐倡廉剖析材料
2014/09/30 职场文书
2015年行政人事部工作总结
2015/05/13 职场文书
煤矿施工安全协议书
2016/03/22 职场文书