编写Python脚本批量下载DesktopNexus壁纸的教程


Posted in Python onMay 06, 2015

DesktopNexus 是我最喜爱的一个壁纸下载网站,上面有许多高质量的壁纸,几乎每天必上, 每月也必会坚持分享我这个月来收集的壁纸

但是 DesktopNexus 壁纸的下载很麻烦,而且因为壁纸会通过浏览器检测你当前分辨率来展示 合适你当前分辨率的壁纸,再加上是国外的网站,速度上很不乐观。

于是我写了个脚本,检测输入的页面中壁纸页面的链接,然后批量下载到指定文件夹中。

脚本使用 python 写的,所以需要机器上安装有 python 。
用法:

$ python desktop_nexus.py -p http://www.desktopnexus.com/tag/cat/ -s 1280x800 -o wallpapers

    -p 包含 DesktopNexus 壁纸链接的页面,比如我的壁纸分享
    -s 壁纸尺寸,可选,缺省为 1440x900
    -o 壁纸输出的文件夹,可选,缺省为当前目录下的 wallpapers, 如果不存在会自动创建

代码:

#-*- coding: utf-8 -*-
from argparse import ArgumentParser

import os, re, sys
import urllib2, cookielib, urlparse

RE_WALLPAPER = r'http\:\/\/[^\/\.]+\.desktopnexus\.com\/wallpaper\/\d+\/'
CHUNK_SIZE = 1024 * 3

class DesktopNexus:
  def __init__(self, page=None, size=None, output_dir=None):
    self.page = page
    self.size = size
    self.output_dir = output_dir

  def start(self):
    print 'Making output directory:', self.output_dir
    if not os.path.exists(self.output_dir):
      os.makedirs(self.output_dir)

    # Setup cookie
    cookie = cookielib.CookieJar()
    processer = urllib2.HTTPCookieProcessor(cookie)
    opener = urllib2.build_opener(processer)
    urllib2.install_opener(opener)

    self._read_page()

  def _get_pic_info(self, url):
    pic_id = url.split('/')[-2]
    html = urllib2.urlopen(url).read()
    pattern = r'<a href=\"\/get\/%s\/\?t=(?P<token>.*?)\"' % pic_id
    match = re.search(pattern, html, flags=re.I|re.M|re.S)
    if match:
      return {'id': pic_id,
          'token': match.group('token'),
          'size': self.size}
    else:
      raise Exception('Cound not find wallpaper')

  def _get_pic_file(self, pic_info):
    redirect_url = 'http://www.desktopnexus.com/dl/inline/%(id)s/%(size)s/%(token)s' % pic_info

    request = urllib2.urlopen(redirect_url)
    return request.geturl()

  def _download_pic(self, url):
    pic_info = self._get_pic_info(url)
    pic_file = self._get_pic_file(pic_info)
    filename = os.path.split(urlparse.urlparse(pic_file).path)[-1]
    filename = os.path.join(self.output_dir, filename)
    with open(filename, 'wb') as output:
      resp = urllib2.urlopen(pic_file)
      total_size = int(resp.info().get('Content-Length'))
      saved_size = 0.0
      while saved_size != total_size:
        chunk = resp.read(CHUNK_SIZE)
        saved_size += len(chunk)
        output.write(chunk)
        self._print_progress('Saving file: %s' % filename, \
            saved_size / total_size * 100)

  def _print_progress(self, msg, progress):
    sys.stdout.write('%-71s%3d%%\r' \
        % (len(msg) <= 70 and msg or msg[:67] + '...', progress))
    sys.stdout.flush()
    if progress >= 100:
      sys.stdout.write('\n')

  def _read_page(self):
    try:
      print 'Fetching content:', self.page
      html = urllib2.urlopen(self.page).read()
      links = set(re.findall(RE_WALLPAPER, html, re.M|re.I))
      count = len(links)

      print 'Downloading wallpapers:'
      for i, link in enumerate(links):
        print '[%d/%d]: %s' % (i + 1, count, link)
        try:
          self._download_pic(link)
        except Exception as e:
          print 'Error downloading wallpaper.', e.message
    except Exception as e:
      print 'Error fetching content.', e

if __name__ == '__main__':
  # Setup argparser
  parser = ArgumentParser('python desktop_nexus.py')
  parser.add_argument('-p', '--page', dest='page', required=True, \
      help='specific a page that includes wallpaper list')
  parser.add_argument('-s', '--size', dest='size', default='1440x900', \
      help='specific the wallpaper size, default to 1440x900')
  parser.add_argument('-o', '--output', dest='output_dir', default='wallpapers', \
      help='specific the output directory, default to "wallpapers"')
  args = parser.parse_args()
  dn = DesktopNexus(**args.__dict__)
  dn.start()

Python 相关文章推荐
python原始套接字编程示例分享
Feb 21 Python
仅用500行Python代码实现一个英文解析器的教程
Apr 02 Python
Python使用matplotlib绘制动画的方法
May 20 Python
Python的Django框架中if标签的相关使用
Jul 15 Python
python中使用正则表达式的后向搜索肯定模式(推荐)
Nov 11 Python
Python 正则表达式 re.match/re.search/re.sub的使用解析
Jul 22 Python
pytorch方法测试——激活函数(ReLU)详解
Jan 15 Python
python怎么提高计算速度
Jun 11 Python
keras读取h5文件load_weights、load代码操作
Jun 12 Python
详解Flask前后端分离项目案例
Jul 24 Python
PyQt5结合matplotlib绘图的实现示例
Sep 15 Python
python数据抓取3种方法总结
Feb 07 Python
在Windows服务器下用Apache和mod_wsgi配置Python应用的教程
May 06 #Python
利用Python脚本在Nginx和uwsgi上部署MoinMoin的教程
May 05 #Python
Python实现的HTTP并发测试完整示例
Apr 23 #Python
安装dbus-python的简要教程
May 05 #Python
使用SAE部署Python运行环境的教程
May 05 #Python
在Python中使用PIL模块对图片进行高斯模糊处理的教程
May 05 #Python
在Python中使用mechanize模块模拟浏览器功能
May 05 #Python
You might like
php截取字符串并保留完整xml标签的函数代码
2013/02/06 PHP
Zend Framework教程之模型Model用法简单实例
2016/03/04 PHP
php 数组处理函数extract详解及实例代码
2016/11/23 PHP
LBS blog sql注射漏洞[All version]-官方已有补丁
2007/08/26 Javascript
基于JQuery的一句话搞定手风琴菜单
2012/09/14 Javascript
JS保留两位小数 四舍五入函数的小例子
2013/11/20 Javascript
JS实现自适应高度表单文本框的方法
2015/02/25 Javascript
深入理解JavaScript系列(41):设计模式之模板方法详解
2015/03/04 Javascript
vue.js事件处理器是什么
2017/03/20 Javascript
jquery实现全选、全不选以及单选功能
2017/03/23 jQuery
Angular resolve基础用法详解
2018/10/03 Javascript
深入浅析js原型链和vue构造函数
2018/10/25 Javascript
使用vue开发移动端管理后台的注意事项
2019/03/07 Javascript
js打开word文档预览操作示例【不是下载】
2019/05/23 Javascript
微信小程序 组件的外部样式externalClasses使用详解
2019/09/06 Javascript
vue滚动插件better-scroll使用详解
2019/10/18 Javascript
Javascript实现html转pdf高清版(提高分辨率)
2020/02/19 Javascript
原生js实现购物车功能
2020/09/23 Javascript
nodejs中使用worker_threads来创建新的线程的方法
2021/01/22 NodeJs
[01:03:03]VP vs Mineski 2018国际邀请赛淘汰赛BO3 第一场 8.22
2018/08/23 DOTA
Python2.x中str与unicode相关问题的解决方法
2015/03/30 Python
python计算牛顿迭代多项式实例分析
2015/05/07 Python
Python各类图像库的图片读写方式总结(推荐)
2018/02/23 Python
基于scrapy的redis安装和配置方法
2018/06/13 Python
利用Pycharm断点调试Python程序的方法
2018/11/29 Python
解决Pycharm界面的子窗口不见了的问题
2019/01/17 Python
flask 实现上传图片并缩放作为头像的例子
2020/01/09 Python
Python 格式化打印json数据方法(展开状态)
2020/02/27 Python
套娃式文件夹如何通过Python批量处理
2020/08/23 Python
CSS3弹性盒模型开发笔记(三)
2016/04/26 HTML / CSS
HTML5+JS实现俄罗斯方块原理及具体步骤
2013/11/29 HTML / CSS
Html5 new XMLHttpRequest()监听附件上传进度
2021/01/14 HTML / CSS
韩都衣舍天猫官方旗舰店:天猫女装销售总冠军
2017/10/10 全球购物
英国最大的滑板品牌选择:Route One
2019/09/22 全球购物
2014乡镇党政班子四风问题思想汇报
2014/09/14 职场文书
springboot 启动如何排除某些bean的注入
2021/08/02 Java/Android