python抓取网页图片示例(python爬虫)


Posted in Python onApril 27, 2014
#-*- encoding: utf-8 -*-
'''
Created on 2014-4-24
@author: Leon Wong
'''
import urllib2
import urllib
import re
import time
import os
import uuid
#获取二级页面url
def findUrl2(html):
    re1 = r'http://tuchong.com/\d+/\d+/|http://\w+(?<!photos).tuchong.com/\d+/'
    url2list = re.findall(re1,html)
    url2lstfltr = list(set(url2list))
    url2lstfltr.sort(key=url2list.index)
    #print url2lstfltr
    return url2lstfltr
#获取html文本
def getHtml(url):
    html = urllib2.urlopen(url).read().decode('utf-8')#解码为utf-8
    return html
#下载图片到本地
def download(html_page , pageNo):   
    #定义文件夹的名字
    x = time.localtime(time.time())
    foldername = str(x.__getattribute__("tm_year"))+"-"+str(x.__getattribute__("tm_mon"))+"-"+str(x.__getattribute__("tm_mday"))
    re2=r'http://photos.tuchong.com/.+/f/.+\.jpg'
    imglist=re.findall(re2,html_page)
    print imglist
    download_img=None
    for imgurl in imglist:
        picpath = 'D:\\TuChong\\%s\\%s'  % (foldername,str(pageNo))
        filename = str(uuid.uuid1())
        if not os.path.exists(picpath):
            os.makedirs(picpath)               
        target = picpath+"\\%s.jpg" % filename
        print "The photos location is:"+target
        download_img = urllib.urlretrieve(imgurl, target)#将图片下载到指定路径中
        time.sleep(1)
        print(imgurl)
    return download_img

# def callback(blocknum, blocksize, totalsize):
#     '''回调函数
#     @blocknum: 已经下载的数据块
#     @blocksize: 数据块的大小
#     @totalsize: 远程文件的大小
#     '''
#     print str(blocknum),str(blocksize),str(totalsize)
#     if blocknum * blocksize >= totalsize:
#         print '下载完成'
def quitit():
    print "Bye!"
    exit(0)
    
if __name__ == '__main__':
    print '''            *****************************************
            **    Welcome to Spider for TUCHONG    **
            **      Created on 2014-4-24           **
            **      @author: Leon Wong             **
            *****************************************'''
    pageNo = raw_input("Input the page number you want to scratch (1-100),please input 'quit' if you want to quit>")
    while not pageNo.isdigit() or int(pageNo) > 100 :
        if pageNo == 'quit':quitit()
        print "Param is invalid , please try again."
        pageNo = raw_input("Input the page number you want to scratch >")
    #针对图虫人像模块来爬取
    html = getHtml("http://tuchong.com/tags/%E4%BA%BA%E5%83%8F/?page="+str(pageNo))
    detllst = findUrl2(html)
    for detail in detllst:
        html2 = getHtml(detail)
        download(html2,pageNo)
    print "Finished."
Python 相关文章推荐
Python中文编码那些事
Jun 25 Python
Python随机生成一个6位的验证码代码分享
Mar 24 Python
基于python socketserver框架全面解析
Sep 21 Python
python: 判断tuple、list、dict是否为空的方法
Oct 22 Python
使用Python的toolz库开始函数式编程的方法
Nov 15 Python
Pycharm设置utf-8自动显示方法
Jan 17 Python
Python:slice与indices的用法
Nov 25 Python
python的slice notation的特殊用法详解
Dec 27 Python
python实现替换word中的关键文字(使用通配符)
Feb 13 Python
基于python生成英文版词云图代码实例
May 16 Python
Python threading模块condition原理及运行流程详解
Oct 05 Python
python多线程和多进程关系详解
Dec 14 Python
python实现sublime3的less编译插件示例
Apr 27 #Python
python中的实例方法、静态方法、类方法、类变量和实例变量浅析
Apr 26 #Python
Python设计模式之单例模式实例
Apr 26 #Python
Python设计模式之观察者模式实例
Apr 26 #Python
Python设计模式之代理模式实例
Apr 26 #Python
python中的列表推导浅析
Apr 26 #Python
Python中的Numpy入门教程
Apr 26 #Python
You might like
模拟flock实现文件锁定
2007/02/14 PHP
用PHP读取和编写XML DOM的实现代码
2011/02/03 PHP
php去除换行符的方法小结(PHP_EOL变量的使用)
2013/02/16 PHP
PHP生成随机用户名和密码的实现代码
2013/02/27 PHP
php使用curl并发减少后端访问时间的方法分析
2016/05/12 PHP
PHP中include()与require()的区别说明
2017/02/14 PHP
javascript 精粹笔记
2010/05/09 Javascript
Jquery attr(&quot;checked&quot;) 返回checked或undefined 获取选中失效
2013/10/10 Javascript
JS自定义选项卡函数及用法实例分析
2015/09/02 Javascript
jQuery实现的Tab滑动选项卡及图片切换(多种效果)小结
2015/09/14 Javascript
深入理解node exports和module.exports区别
2016/06/01 Javascript
手机图片预览插件photoswipe.js使用总结
2016/08/25 Javascript
EasyUI 结合JS导出Excel文件的实现方法
2016/11/10 Javascript
vuejs开发组件分享之H5图片上传、压缩及拍照旋转的问题处理
2017/03/06 Javascript
jquery实现图片放大点击切换
2017/06/06 jQuery
深入浅析javascript继承体系
2017/10/23 Javascript
jQuery内容过滤选择器与子元素过滤选择器用法实例分析
2019/02/20 jQuery
javascript中layim之查找好友查找群组
2021/02/06 Javascript
[01:08:09]DOTA2上海特级锦标赛主赛事日 - 1 胜者组第一轮#1Liquid VS Alliance第二局
2016/03/02 DOTA
python操作日期和时间的方法
2014/03/11 Python
Python使用xlrd模块操作Excel数据导入的方法
2015/05/26 Python
Python 3.x 判断 dict 是否包含某键值的实例讲解
2018/07/06 Python
python 缺失值处理的方法(Imputation)
2019/07/02 Python
pytorch 在sequential中使用view来reshape的例子
2019/08/20 Python
Python学习笔记之列表和成员运算符及列表相关方法详解
2019/08/22 Python
树莓派4B+opencv4+python 打开摄像头的实现方法
2019/10/18 Python
python基于pygame实现飞机大作战小游戏
2020/11/19 Python
德国玩具商店:Planet Happy DE
2021/01/16 全球购物
意大利在线药房:Saninforma
2021/02/11 全球购物
中科软测试工程师面试题
2012/06/16 面试题
运动会通讯稿50字
2014/01/30 职场文书
篮球比赛拉拉队口号
2014/06/10 职场文书
文案策划专业自荐信
2014/07/07 职场文书
治安消防安全责任书
2014/07/23 职场文书
考试保密承诺书
2014/08/30 职场文书
Python编程根据字典列表相同键的值进行合并
2021/10/05 Python