Python实现爬取百度贴吧帖子所有楼层图片的爬虫示例


Posted in Python onApril 26, 2018

本文实例讲述了Python实现爬取百度贴吧帖子所有楼层图片的爬虫。分享给大家供大家参考,具体如下:

下载百度贴吧帖子图片,好好看

Python实现爬取百度贴吧帖子所有楼层图片的爬虫示例

python2.7版本:

#coding=utf-8
import re
import requests
import urllib
from bs4 import BeautifulSoup
import time
time1=time.time()
def getHtml(url):
  page = requests.get(url)
  html =page.text
  return html
def getImg(html):
  soup = BeautifulSoup(html, 'html.parser')
  img_info = soup.find_all('img', class_='BDE_Image')
  global index
  for index,img in enumerate(img_info,index+1):
    print ("正在下载第{}张图片".format(index))
    urllib.urlretrieve(img.get("src"),'C:/pic4/%s.jpg' % index)
def getMaxPage(url):
  html = getHtml(url)
  reg = re.compile(r'max-page="(\d+)"')
  page = re.findall(reg,html)
  page = int(page[0])
  return page
if __name__=='__main__':
  url  = "https://tieba.baidu.com/p/5113603072"
  page = getMaxPage(url)
  index = 0
  for i in range(1,page):
    url = "%s%s" % ("https://tieba.baidu.com/p/5113603072?pn=",str(i))
    html = getHtml(url)
    getImg(html)
  print ("OK!All DownLoad!")
  time2=time.time()
  print u'总共耗时:' + str(time2 - time1) + 's'
Python 相关文章推荐
fastcgi文件读取漏洞之python扫描脚本
Apr 23 Python
Pycharm学习教程(2) 代码风格
May 02 Python
python 基本数据类型占用内存空间大小的实例
Jun 12 Python
Python设计模式之享元模式原理与用法实例分析
Jan 11 Python
对python以16进制打印字节数组的方法详解
Jan 24 Python
python 字典访问的三种方法小结
Dec 05 Python
Pycharm最常用的快捷键及使用技巧
Mar 05 Python
python框架Django实战商城项目之工程搭建过程图文详解
Mar 09 Python
pandas.DataFrame.drop_duplicates 用法介绍
Jul 06 Python
Python实现敏感词过滤的4种方法
Sep 12 Python
一文带你了解Python 四种常见基础爬虫方法介绍
Dec 04 Python
python用opencv 图像傅里叶变换
Jan 04 Python
Python实现的计算器功能示例
Apr 26 #Python
python email smtplib模块发送邮件代码实例
Apr 26 #Python
Python利用正则表达式实现计算器算法思路解析
Apr 25 #Python
Python实现随机生成手机号及正则验证手机号的方法
Apr 25 #Python
Python实现按中文排序的方法示例
Apr 25 #Python
Python实现的基于优先等级分配糖果问题算法示例
Apr 25 #Python
python自动登录12306并自动点击验证码完成登录的实现源代码
Apr 25 #Python
You might like
php读取mysql中文数据出现乱码的解决方法
2013/08/16 PHP
PHP永久登录、记住我功能实现方法和安全做法
2015/04/27 PHP
PHP实现对二维数组某个键排序的方法
2016/09/14 PHP
PHP实现的折半查找算法示例
2017/12/19 PHP
PHP实现多图上传和单图上传功能
2018/05/17 PHP
详解PHP多个进程配合redis的有序集合实现大文件去重
2019/03/06 PHP
tp5框架无刷新分页实现方法分析
2019/09/26 PHP
jQuery第三课 修改元素属性及内容的代码
2010/03/14 Javascript
js日期联动示例
2014/05/02 Javascript
解决自定义$(id)的方法与jquery选择器$冲突的问题
2014/06/14 Javascript
JavaScript中对象property的删除方法介绍
2014/12/30 Javascript
JavaScript实现的双向跨域插件分享
2015/01/31 Javascript
javascript使用输出语句实现网页特效代码
2015/08/06 Javascript
如何防止JavaScript自动插入分号
2015/11/05 Javascript
JavaScript的代码编写格式规范指南
2015/12/07 Javascript
Vue + Webpack + Vue-loader学习教程之相关配置篇
2017/03/14 Javascript
webpack3+React 的配置全解
2017/08/21 Javascript
详解基于 axios 的 Vue 项目 http 请求优化
2017/09/04 Javascript
在Vue中使用highCharts绘制3d饼图的方法
2018/02/08 Javascript
node和vue实现商城用户地址模块
2018/12/05 Javascript
mpvue性能优化实战技巧(小结)
2019/04/17 Javascript
解析原来浏览器原生支持JS Base64编码解码
2019/08/12 Javascript
JS如何在数组指定位置插入元素
2020/03/10 Javascript
[01:06:39]DOTA2上海特级锦标赛主赛事日 - 1 胜者组第一轮#1Liquid VS Alliance第三局
2016/03/02 DOTA
Python3.5编程实现修改IIS WEB.CONFIG的方法示例
2017/08/18 Python
python 利用已有Ner模型进行数据清洗合并代码
2019/12/24 Python
利用pandas向一个csv文件追加写入数据的实现示例
2020/04/23 Python
基于Python的自媒体小助手---登录页面的实现代码
2020/06/29 Python
美国著名童装品牌:OshKosh B’gosh
2016/08/05 全球购物
怎样建立和理解非常复杂的声明?例如定义一个包含N 个指向返回 指向字符的指针的函数的指针的数组?
2013/03/19 面试题
一套比较完整的软件测试人员面试题
2012/05/13 面试题
小学生表扬稿范文
2015/05/05 职场文书
大学生社会实践感想
2015/08/11 职场文书
2015年成本会计工作总结
2015/10/14 职场文书
浅析NIO系列之TCP
2021/06/15 Java/Android
CSS Transition通过改变Height实现展开收起元素
2021/08/07 HTML / CSS