python抓取网页图片示例(python爬虫)


Posted in Python onApril 27, 2014
#-*- encoding: utf-8 -*-
'''
Created on 2014-4-24
@author: Leon Wong
'''
import urllib2
import urllib
import re
import time
import os
import uuid
#获取二级页面url
def findUrl2(html):
    re1 = r'http://tuchong.com/\d+/\d+/|http://\w+(?<!photos).tuchong.com/\d+/'
    url2list = re.findall(re1,html)
    url2lstfltr = list(set(url2list))
    url2lstfltr.sort(key=url2list.index)
    #print url2lstfltr
    return url2lstfltr
#获取html文本
def getHtml(url):
    html = urllib2.urlopen(url).read().decode('utf-8')#解码为utf-8
    return html
#下载图片到本地
def download(html_page , pageNo):   
    #定义文件夹的名字
    x = time.localtime(time.time())
    foldername = str(x.__getattribute__("tm_year"))+"-"+str(x.__getattribute__("tm_mon"))+"-"+str(x.__getattribute__("tm_mday"))
    re2=r'http://photos.tuchong.com/.+/f/.+\.jpg'
    imglist=re.findall(re2,html_page)
    print imglist
    download_img=None
    for imgurl in imglist:
        picpath = 'D:\\TuChong\\%s\\%s'  % (foldername,str(pageNo))
        filename = str(uuid.uuid1())
        if not os.path.exists(picpath):
            os.makedirs(picpath)               
        target = picpath+"\\%s.jpg" % filename
        print "The photos location is:"+target
        download_img = urllib.urlretrieve(imgurl, target)#将图片下载到指定路径中
        time.sleep(1)
        print(imgurl)
    return download_img

# def callback(blocknum, blocksize, totalsize):
#     '''回调函数
#     @blocknum: 已经下载的数据块
#     @blocksize: 数据块的大小
#     @totalsize: 远程文件的大小
#     '''
#     print str(blocknum),str(blocksize),str(totalsize)
#     if blocknum * blocksize >= totalsize:
#         print '下载完成'
def quitit():
    print "Bye!"
    exit(0)
    
if __name__ == '__main__':
    print '''            *****************************************
            **    Welcome to Spider for TUCHONG    **
            **      Created on 2014-4-24           **
            **      @author: Leon Wong             **
            *****************************************'''
    pageNo = raw_input("Input the page number you want to scratch (1-100),please input 'quit' if you want to quit>")
    while not pageNo.isdigit() or int(pageNo) > 100 :
        if pageNo == 'quit':quitit()
        print "Param is invalid , please try again."
        pageNo = raw_input("Input the page number you want to scratch >")
    #针对图虫人像模块来爬取
    html = getHtml("http://tuchong.com/tags/%E4%BA%BA%E5%83%8F/?page="+str(pageNo))
    detllst = findUrl2(html)
    for detail in detllst:
        html2 = getHtml(detail)
        download(html2,pageNo)
    print "Finished."
Python 相关文章推荐
python类定义的讲解
Nov 01 Python
python双向链表实现实例代码
Nov 21 Python
浅析Python中signal包的使用
Nov 13 Python
Python二叉树定义与遍历方法实例分析
May 25 Python
Django 查询数据库并返回页面的例子
Aug 12 Python
python+jinja2实现接口数据批量生成工具
Aug 28 Python
Python如何操作office实现自动化及win32com.client的运用
Apr 01 Python
Pycharm中安装wordcloud等库失败问题及终端通过pip安装的Python库如何添加到Pycharm解释器中(推荐)
May 10 Python
python爬虫爬取淘宝商品比价(附淘宝反爬虫机制解决小办法)
Dec 03 Python
python文件路径操作方法总结
Dec 21 Python
Python获取字典中某个key的value
Apr 13 Python
Python开发五子棋小游戏
May 02 Python
python实现sublime3的less编译插件示例
Apr 27 #Python
python中的实例方法、静态方法、类方法、类变量和实例变量浅析
Apr 26 #Python
Python设计模式之单例模式实例
Apr 26 #Python
Python设计模式之观察者模式实例
Apr 26 #Python
Python设计模式之代理模式实例
Apr 26 #Python
python中的列表推导浅析
Apr 26 #Python
Python中的Numpy入门教程
Apr 26 #Python
You might like
php将mysql数据库整库导出生成sql文件的具体实现
2014/01/08 PHP
destoon在各个服务器下设置URL Rewrite(伪静态)的方法
2014/06/21 Servers
PHP中读取照片exif信息的方法
2014/08/20 PHP
PHP数据库处理封装类实例
2016/12/24 PHP
PHP小白必须要知道的php基础知识(超实用)
2017/10/10 PHP
laravel 实现关闭CSRF(全部关闭、部分关闭)
2019/10/21 PHP
静态的动态续篇之来点XML
2006/12/23 Javascript
jQuery jqgrid 对含特殊字符json 数据的 Java 处理方法
2011/01/01 Javascript
JS继承 笔记
2011/07/13 Javascript
JavaScript 基础篇(一)
2012/03/30 Javascript
js自动闭合html标签(自动补全html标记)
2012/10/04 Javascript
解决jquery中美元符号命名冲突问题
2014/01/08 Javascript
常用的JS验证和函数汇总
2014/12/23 Javascript
PHPExcel中的一些常用方法汇总
2015/01/23 Javascript
简单谈谈javascript代码复用模式
2015/01/28 Javascript
JQuery实现图片轮播效果
2015/09/15 Javascript
javascript Promise简单学习使用方法小结
2016/05/17 Javascript
webpack2.0搭建前端项目的教程详解
2017/04/05 Javascript
微信小程序实现弹出菜单功能
2018/06/12 Javascript
Vue文件配置全局变量的实例
2018/09/06 Javascript
JS+CSS实现3D切割轮播图
2020/03/21 Javascript
js根据后缀判断文件文件类型的代码
2020/05/09 Javascript
[39:19]完美世界DOTA2联赛PWL S2 SZ vs LBZS 第二场 11.26
2020/11/30 DOTA
Python中使用hashlib模块处理算法的教程
2015/04/28 Python
Python实现爬取需要登录的网站完整示例
2017/08/19 Python
如何在sublime编辑器中安装python
2020/05/20 Python
keras得到每层的系数方式
2020/06/15 Python
简单了解Django项目应用创建过程
2020/07/06 Python
基于html5 canvas实现漫天飞雪效果实例
2014/09/10 HTML / CSS
科颜氏英国官网:Kiehl’s英国
2019/11/20 全球购物
2014年班组工作总结
2014/11/20 职场文书
党支部考察鉴定意见
2015/06/02 职场文书
获奖感言怎么写
2015/07/31 职场文书
带你了解CSS基础知识,样式
2021/07/21 HTML / CSS
Java 实现限流器处理Rest接口请求详解流程
2021/11/02 Java/Android
进阶篇之linux环境下安装MySQL数据库
2022/04/09 MySQL