python抓取豆瓣图片并自动保存示例学习


Posted in Python onJanuary 10, 2014

环境Python 2.7.6,BS4,在powershell或命令行均可运行。请确保安装了BS模块

# -*- coding:utf8 -*-
# 2013.12.36 19:41 wnlo-c209
# 抓取dbmei.com的图片。
from bs4 import BeautifulSoup
import os, sys, urllib2
# 创建文件夹,昨天刚学会
path = os.getcwd()          # 获取此脚本所在目录
new_path = os.path.join(path,u'豆瓣妹子')
if not os.path.isdir(new_path):
 os.mkdir(new_path)

def page_loop(page=0):
 url = 'http://www.dbmeizi.com/?p=%s' % page
 content = urllib2.urlopen(url)
 soup = BeautifulSoup(content)
 my_girl = soup.find_all('img')   
    # 加入结束检测,写的不好....
 if my_girl ==[]:
  print u'已经全部抓取完毕'
  sys.exit(0)
 print u'开始抓取'
 for girl in my_girl:
  link = girl.get('src')
  flink = 'http://www.dbmeizi.com/' + link
  print flink
  content2 = urllib2.urlopen(flink).read()
  with open(u'豆瓣妹子'+'/'+flink[-11:],'wb') as code:   #在OSC上现学的
   code.write(content2)
 page = int(page) + 1
 print u'开始抓取下一页'
 print 'the %s page' % page
 page_loop(page)
page_loop().
Python 相关文章推荐
Python 迭代器工具包【推荐】
May 06 Python
Python 数据结构之队列的实现
Jan 22 Python
Django如何实现内容缓存示例详解
Sep 24 Python
python 通过字符串调用对象属性或方法的实例讲解
Apr 21 Python
TensorFlow 模型载入方法汇总(小结)
Jun 19 Python
python 实现将字典dict、列表list中的中文正常显示方法
Jul 06 Python
python使用__slots__让你的代码更加节省内存
Sep 05 Python
Python3 jupyter notebook 服务器搭建过程
Nov 30 Python
pytorch自定义初始化权重的方法
Aug 17 Python
新手常见Python错误及异常解决处理方案
Jun 18 Python
Python爬虫之Spider类用法简单介绍
Aug 04 Python
Python的这些库,你知道多少?
Jun 09 Python
python文件比较示例分享
Jan 10 #Python
python发送伪造的arp请求
Jan 09 #Python
python抓取京东价格分析京东商品价格走势
Jan 09 #Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
You might like
PHP无刷新上传文件实现代码
2011/09/19 PHP
PHP编程实现csv文件导入mysql数据库的方法
2017/04/29 PHP
PHP单文件上传原理及上传函数的封装操作示例
2019/09/02 PHP
宝塔面板在NGINX环境中TP5.1如何运行?
2021/03/09 PHP
限制复选框的最大可选数
2006/07/01 Javascript
一个报数游戏js版(约瑟夫环问题)
2010/08/05 Javascript
文档对象模型DOM通俗讲解
2013/11/01 Javascript
基于Jquery+Ajax+Json实现分页显示附效果图
2014/07/30 Javascript
javascript实现列表滚动的方法
2015/07/30 Javascript
AngularJs $parse、$eval和$observe、$watch详解
2016/09/21 Javascript
Vue.js学习教程之列表渲染详解
2017/05/17 Javascript
vue 封装自定义组件之tabal列表编辑单元格组件实例代码
2017/09/07 Javascript
vue获取DOM元素并设置属性的两种实现方法
2017/09/30 Javascript
Vue.js样式动态绑定实现小结
2019/01/24 Javascript
vue+element_ui上传文件,并传递额外参数操作
2020/12/05 Vue.js
Python实现简单状态框架的方法
2015/03/19 Python
高效测试用例组织算法pairwise之Python实现方法
2017/07/19 Python
对python3 一组数值的归一化处理方法详解
2018/07/11 Python
python3结合openpyxl库实现excel操作的实例代码
2018/09/11 Python
python 根据网易云歌曲的ID 直接下载歌曲的实例
2019/08/24 Python
python 安装教程之Pycharm安装及配置字体主题,换行,自动更新
2020/03/13 Python
python破解同事的压缩包密码
2020/10/14 Python
为2021年的第一场雪锦上添花:用matplotlib绘制雪花和雪景
2021/01/05 Python
狗狗玩具、零食和咀嚼物的月度送货服务:Super Chewer
2018/08/22 全球购物
Whistles官网:英国女装品牌
2020/08/14 全球购物
机械专业应届生求职信
2013/12/12 职场文书
大学自我鉴定范文
2013/12/26 职场文书
农村面貌改造提升实施方案
2014/03/18 职场文书
十佳党员事迹材料
2014/08/28 职场文书
开展党的群众路线教育实践活动领导班子对照检查材料
2014/09/25 职场文书
2014年青年教师工作总结
2014/12/17 职场文书
优秀党务工作者先进事迹材料
2014/12/25 职场文书
就业意向协议书
2015/01/29 职场文书
微信小程序用户授权最佳实践指南
2021/05/08 Javascript
Win10加载疑难解答时出错发生意外错误的解决方法
2022/07/07 数码科技
Mysql数据库group by原理详解
2022/07/07 MySQL