python抓取网页图片并放到指定文件夹


Posted in Python onApril 24, 2014

python抓取网站图片并放到指定文件夹

# -*- coding=utf-8 -*-
import urllib2
import urllib
import socket
import os
import re
def Docment():
    print u'把文件存在E:\Python\图(请输入数字或字母)'
    h=raw_input()
    path=u'E:\Python\图'+str(h)
    if not os.path.exists(path):
        os.makedirs(path)
    return path
def getallurl(html):
    reg=r"a href='(.*?\.htm)'"
    allurl= re.compile(reg)
    allList = re.findall(allurl,html)
    return allList
def getHTML(url):
    url=url
    req_header = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    req_timeout = 20
    html='cuowu'
    try:
        req = urllib2.Request(url,None,req_header)
        resp = urllib2.urlopen(req,None,req_timeout)
        html = resp.read()
    except urllib2.URLError as e:
        print e.message
    except socket.timeout as e:
        getHTML(url,fu)
    return html
def getImg(html,path):
    reg = r'img class=IMG_show border=0 src=(.*?\.jpg)'
    imgre= re.compile(reg)
    imgList = re.findall(imgre, html)
    if imgList:
        print 'ghasghg',path
        for imgurl in imgList:
            print imgurl
            content2=urllib2.urlopen(imgurl).read()
            with open(path+'/'+imgurl[-7:],'wb') as code:
                code.write(content2)
    else:
        return 0
def getallurl(html):
    reg=r"a href='(.*?\.htm)'"
    allurl= re.compile(reg)
    allList = re.findall(allurl,html)
    return allList
j=1
i=0
print u'请输入网址:'
ul=raw_input()
print u'开始下载'
print u'第'+str(j)+u'页'
html=getHTML(ul)
allList=getallurl(html)
path=Docment()
getImg(html,path)
while i<len(allList):
    for lis in allList:
        l=lis[i]
        url=r'http://www.umei.cc/p/gaoqing/rihan/'+lis
        i=i+1
        j=j+1
        html=getHTML(url)
        getImg(html,path)
        print u'第'+str(j)+u'页'
    else:
        print u'下载完毕'
Python 相关文章推荐
python的keyword模块用法实例分析
Jun 30 Python
python使用os.listdir和os.walk获得文件的路径的方法
Dec 16 Python
python实现矩阵打印
Mar 02 Python
Python函数基础实例详解【函数嵌套,命名空间,函数对象,闭包函数等】
Mar 30 Python
Python使用MyQR制作专属动态彩色二维码功能
Jun 04 Python
三步实现Django Paginator分页的方法
Jun 11 Python
pandas基于时间序列的固定时间间隔求均值的方法
Jul 04 Python
python爬虫模拟浏览器的两种方法实例分析
Dec 09 Python
安装python3.7编译器后如何正确安装opnecv的方法详解
Jun 16 Python
详解python中GPU版本的opencv常用方法介绍
Jul 24 Python
Python使用shutil模块实现文件拷贝
Jul 31 Python
python drf各类组件的用法和作用
Jan 12 Python
python字符串替换示例
Apr 24 #Python
python自动安装pip
Apr 24 #Python
python网络编程示例(客户端与服务端)
Apr 24 #Python
python使用PyFetion来发送短信的例子
Apr 22 #Python
Python BeautifulSoup中文乱码问题的2种解决方法
Apr 22 #Python
python中使用smtplib和email模块发送邮件实例
Apr 22 #Python
python用字典统计单词或汉字词个数示例
Apr 22 #Python
You might like
利用PHP动态生成VRML网页
2006/10/09 PHP
PHP中使用smarty生成静态文件的例子
2014/04/24 PHP
PHP IDE phpstorm 常用快捷键
2015/05/18 PHP
PHP使用http_build_query()构造URL字符串的方法
2016/04/02 PHP
Laravel定时任务的每秒执行代码
2019/10/22 PHP
js跨域问题之跨域iframe自适应大小实现代码
2010/07/17 Javascript
javascript开发技术大全 第4章 直接量与字符集
2011/07/03 Javascript
jQuery1.6 类型判断实现代码
2011/09/01 Javascript
很好用的js日历算法详细代码
2013/03/07 Javascript
节点的插入之append()和appendTo()的用法介绍
2014/01/13 Javascript
js原型链与继承解析(初体验)
2016/05/09 Javascript
聊一聊Vue.js过渡效果
2016/09/07 Javascript
微信小程序(应用号)简单实例应用及实例详解
2016/09/26 Javascript
jQuery 特性操作详解及实例代码
2016/09/29 Javascript
jQuery的Cookie封装,与PHP交互的简单实现
2016/10/05 Javascript
bootstrap的工具提示实例代码
2017/05/17 Javascript
vue中for循环更改数据的实例代码(数据变化但页面数据未变)
2017/09/15 Javascript
vue2.0路由切换后页面滚动位置不变BUG的解决方法
2018/03/14 Javascript
r.js来合并压缩css文件的示例
2018/04/26 Javascript
Vue中使用webpack别名的方法实例详解
2018/06/19 Javascript
微信小程序API—获取定位的详解
2019/04/30 Javascript
python实现查找excel里某一列重复数据并且剔除后打印的方法
2015/05/26 Python
python虚拟环境virualenv的安装与使用
2016/12/18 Python
python使用生成器实现可迭代对象
2018/03/20 Python
Python实现的绘制三维双螺旋线图形功能示例
2018/06/23 Python
解决Python 中英文混输格式对齐的问题
2018/07/16 Python
python shell命令行中import多层目录下的模块操作
2020/03/09 Python
Python读入mnist二进制图像文件并显示实例
2020/04/24 Python
精选奢华:THE LIST
2019/09/05 全球购物
Jones New York官网:美国女装品牌,受白领女性欢迎
2019/11/26 全球购物
PHP引擎php.ini参数优化深入讲解
2021/03/24 PHP
工程师岗位职责
2013/11/08 职场文书
班长自荐书范文
2014/02/11 职场文书
2014年食品安全工作总结
2014/12/04 职场文书
会计主管岗位职责
2015/04/02 职场文书
2016年12月份红领巾广播稿
2015/12/21 职场文书