Python爬虫之爬取淘女郎照片示例详解


Posted in Python onJuly 28, 2020

本篇目标

  1. 抓取淘宝MM的姓名,头像,年龄
  2. 抓取每一个MM的资料简介以及写真图片
  3. 把每一个MM的写真图片按照文件夹保存到本地
  4. 熟悉文件保存的过程 

1.URL的格式

在这里我们用到的URL是 http://mm.taobao.com/json/request_top_list.htm?page=1,问号前面是基地址,后面的参数page是代表第几页,可以随意更换地址。点击开之后,会发现有一些淘宝MM的简介,并附有超链接链接到个人详情页面。

我们需要抓取本页面的头像地址,MM姓名,MM年龄,MM居住地,以及MM的个人详情页面地址。

2.抓取简要信息

相信大家经过上几次的实战,对抓取和提取页面的地址已经非常熟悉了,这里没有什么难度了,我们首先抓取本页面的MM详情页面地址,姓名,年龄等等的信息打印出来,直接贴代码如下

import urllib
import urllib2
import re

class Spider:

 def __init__(self):
  self.siteURL = 'http://mm.taobao.com/json/request_top_list.htm'

 def getPage(self,pageIndex):
  url = self.siteURL + "?page=" + str(pageIndex)
  print url
  request = urllib2.Request(url)
  response = urllib2.urlopen(request)
  return response.read().decode('gbk')

 def getContents(self,pageIndex):
  page = self.getPage(pageIndex)
  pattern = re.compile('<div class="list-item".*?pic-word.*?<a href="(.*?)" rel="external nofollow" rel="external nofollow" .*?![]((.*?))(.*?)</a>.*?<strong>(.*?)</strong>.*?<span>(.*?)</span>',re.S)
  items = re.findall(pattern,page)
  for item in items:
   print item[0],item[1],item[2],item[3],item[4]

spider = Spider()
spider.getContents(1)

运行结果如下

Python爬虫之爬取淘女郎照片示例详解

3.文件写入简介

在这里,我们有写入图片和写入文本两种方式

1)写入图片

#传入图片地址,文件名,保存单张图片
def saveImg(self,imageURL,fileName):
  u = urllib.urlopen(imageURL)
  data = u.read()
  f = open(fileName, 'wb')
  f.write(data)
  f.close()

2)写入文本

def saveBrief(self,content,name):
 fileName = name + "/" + name + ".txt"
 f = open(fileName,"w+")
 print u"正在偷偷保存她的个人信息为",fileName
 f.write(content.encode('utf-8'))

3)创建新目录

#创建新目录
def mkdir(self,path):
 path = path.strip()
 # 判断路径是否存在
 # 存在  True
 # 不存在 False
 isExists=os.path.exists(path)
 # 判断结果
 if not isExists:
  # 如果不存在则创建目录
  # 创建目录操作函数
  os.makedirs(path)
  return True
 else:
  # 如果目录存在则不创建,并提示目录已存在
  return False

4.代码完善

主要的知识点已经在前面都涉及到了,如果大家前面的章节都已经看了,完成这个爬虫不在话下,具体的详情在此不再赘述,直接帖代码啦。

spider.py

import urllib
import urllib2
import re
import tool
import os

#抓取MM
class Spider:

 #页面初始化
 def __init__(self):
  self.siteURL = 'http://mm.taobao.com/json/request_top_list.htm'
  self.tool = tool.Tool()

 #获取索引页面的内容
 def getPage(self,pageIndex):
  url = self.siteURL + "?page=" + str(pageIndex)
  request = urllib2.Request(url)
  response = urllib2.urlopen(request)
  return response.read().decode('gbk')

 #获取索引界面所有MM的信息,list格式
 def getContents(self,pageIndex):
  page = self.getPage(pageIndex)
  pattern = re.compile('<div class="list-item".*?pic-word.*?<a href="(.*?)" rel="external nofollow" rel="external nofollow" .*?![]((.*?))(.*?)</a>.*?<strong>(.*?)</strong>.*?<span>(.*?)</span>',re.S)
  items = re.findall(pattern,page)
  contents = []
  for item in items:
   contents.append([item[0],item[1],item[2],item[3],item[4]])
  return contents

 #获取MM个人详情页面
 def getDetailPage(self,infoURL):
  response = urllib2.urlopen(infoURL)
  return response.read().decode('gbk')

 #获取个人文字简介
 def getBrief(self,page):
  pattern = re.compile('<div class="mm-aixiu-content".*?>(.*?)<!--',re.S)
  result = re.search(pattern,page)
  return self.tool.replace(result.group(1))

 #获取页面所有图片
 def getAllImg(self,page):
  pattern = re.compile('<div class="mm-aixiu-content".*?>(.*?)<!--',re.S)
  #个人信息页面所有代码
  content = re.search(pattern,page)
  #从代码中提取图片
  patternImg = re.compile('<img.*?src="(.*?)"',re.S)
  images = re.findall(patternImg,content.group(1))
  return images


 #保存多张写真图片
 def saveImgs(self,images,name):
  number = 1
  print u"发现",name,u"共有",len(images),u"张照片"
  for imageURL in images:
   splitPath = imageURL.split('.')
   fTail = splitPath.pop()
   if len(fTail) > 3:
    fTail = "jpg"
   fileName = name + "/" + str(number) + "." + fTail
   self.saveImg(imageURL,fileName)
   number += 1

 # 保存头像
 def saveIcon(self,iconURL,name):
  splitPath = iconURL.split('.')
  fTail = splitPath.pop()
  fileName = name + "/icon." + fTail
  self.saveImg(iconURL,fileName)

 #保存个人简介
 def saveBrief(self,content,name):
  fileName = name + "/" + name + ".txt"
  f = open(fileName,"w+")
  print u"正在偷偷保存她的个人信息为",fileName
  f.write(content.encode('utf-8'))


 #传入图片地址,文件名,保存单张图片
 def saveImg(self,imageURL,fileName):
   u = urllib.urlopen(imageURL)
   data = u.read()
   f = open(fileName, 'wb')
   f.write(data)
   print u"正在悄悄保存她的一张图片为",fileName
   f.close()

 #创建新目录
 def mkdir(self,path):
  path = path.strip()
  # 判断路径是否存在
  # 存在  True
  # 不存在 False
  isExists=os.path.exists(path)
  # 判断结果
  if not isExists:
   # 如果不存在则创建目录
   print u"偷偷新建了名字叫做",path,u'的文件夹'
   # 创建目录操作函数
   os.makedirs(path)
   return True
  else:
   # 如果目录存在则不创建,并提示目录已存在
   print u"名为",path,'的文件夹已经创建成功'
   return False

 #将一页淘宝MM的信息保存起来
 def savePageInfo(self,pageIndex):
  #获取第一页淘宝MM列表
  contents = self.getContents(pageIndex)
  for item in contents:
   #item[0]个人详情URL,item[1]头像URL,item[2]姓名,item[3]年龄,item[4]居住地
   print u"发现一位模特,名字叫",item[2],u"芳龄",item[3],u",她在",item[4]
   print u"正在偷偷地保存",item[2],"的信息"
   print u"又意外地发现她的个人地址是",item[0]
   #个人详情页面的URL
   detailURL = item[0]
   #得到个人详情页面代码
   detailPage = self.getDetailPage(detailURL)
   #获取个人简介
   brief = self.getBrief(detailPage)
   #获取所有图片列表
   images = self.getAllImg(detailPage)
   self.mkdir(item[2])
   #保存个人简介
   self.saveBrief(brief,item[2])
   #保存头像
   self.saveIcon(item[1],item[2])
   #保存图片
   self.saveImgs(images,item[2])

 #传入起止页码,获取MM图片
 def savePagesInfo(self,start,end):
  for i in range(start,end+1):
   print u"正在偷偷寻找第",i,u"个地方,看看MM们在不在"
   self.savePageInfo(i)


#传入起止页码即可,在此传入了2,10,表示抓取第2到10页的MM
spider = Spider()
spider.savePagesInfo(2,10)

tool.py

import re

#处理页面标签类
class Tool:
 #去除img标签,1-7位空格, 
 removeImg = re.compile('<img.*?>| {1,7}| ')
 #删除超链接标签
 removeAddr = re.compile('<a.*?>|</a>')
 #把换行的标签换为\n
 replaceLine = re.compile('<tr>|<div>|</div>|</p>')
 #将表格制表<td>替换为\t
 replaceTD= re.compile('<td>')
 #将换行符或双换行符替换为\n
 replaceBR = re.compile('<br><br>|<br>')
 #将其余标签剔除
 removeExtraTag = re.compile('<.*?>')
 #将多行空行删除
 removeNoneLine = re.compile('\n+')
 def replace(self,x):
  x = re.sub(self.removeImg,"",x)
  x = re.sub(self.removeAddr,"",x)
  x = re.sub(self.replaceLine,"\n",x)
  x = re.sub(self.replaceTD,"\t",x)
  x = re.sub(self.replaceBR,"\n",x)
  x = re.sub(self.removeExtraTag,"",x)
  x = re.sub(self.removeNoneLine,"\n",x)
  #strip()将前后多余内容删除
  return x.strip()

以上两个文件就是所有的代码内容,运行一下试试看,那叫一个酸爽啊

Python爬虫之爬取淘女郎照片示例详解

Python爬虫之爬取淘女郎照片示例详解

到此这篇关于Python爬虫之爬取淘女郎照片示例详解的文章就介绍到这了,更多相关Python 爬取淘女郎照片内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python写的贪吃蛇游戏例子
Jun 16 Python
Python计算已经过去多少个周末的方法
Jul 25 Python
python数组过滤实现方法
Jul 27 Python
Python使用matplotlib实现绘制自定义图形功能示例
Jan 18 Python
对python中raw_input()和input()的用法详解
Apr 22 Python
python3.6利用pyinstall打包py为exe的操作实例
Oct 31 Python
pandas DataFrame 删除重复的行的实现方法
Jan 29 Python
python GUI库图形界面开发之PyQt5美化窗体与控件(异形窗体)实例
Feb 25 Python
python调用百度API实现人脸识别
Nov 17 Python
详解Pymongo常用查询方法总结
Jan 29 Python
Python如何telnet到网络设备
Feb 18 Python
在 Python 中利用 Pool 进行多线程
Apr 24 Python
Python selenium键盘鼠标事件实现过程详解
Jul 28 #Python
用python写爬虫简单吗
Jul 28 #Python
公认8个效率最高的爬虫框架
Jul 28 #Python
python如何爬取网页中的文字
Jul 28 #Python
Python同时处理多个异常的方法
Jul 28 #Python
Python远程方法调用实现过程解析
Jul 28 #Python
Python 实现一个计时器
Jul 28 #Python
You might like
php更改目录及子目录下所有的文件后缀的代码
2010/09/24 PHP
php中记录用户访问过的产品,在cookie记录产品id,id取得产品信息
2011/05/04 PHP
PHP实现根据浏览器跳转不同语言页面代码
2013/08/02 PHP
PHP积分兑换接口实例
2015/02/09 PHP
php5.3后静态绑定用法详解
2016/11/11 PHP
PHP实现将多个文件中的内容合并为新文件的方法示例
2017/06/10 PHP
在云虚拟主机部署thinkphp5项目的步骤详解
2017/12/21 PHP
javascript replace()正则替换实现代码
2010/02/26 Javascript
node.js不得不说的12点内容
2014/07/14 Javascript
js实现简单选项卡与自动切换效果的方法
2015/04/10 Javascript
javascript实现获取图片大小及图片等比缩放的方法
2016/11/24 Javascript
node.js中express-session配置项详解
2017/05/31 Javascript
详解webpack 如何集成第三方js库
2017/06/29 Javascript
使用elementUI实现将图片上传到本地的示例
2018/09/04 Javascript
layui 弹出层回调获取弹出层数据的例子
2019/09/02 Javascript
js滚轮事件 js自定义滚动条的实现
2020/01/18 Javascript
vue 子组件和父组件传值的示例
2020/09/11 Javascript
python实现线程池的方法
2015/06/30 Python
通过Python爬虫代理IP快速增加博客阅读量
2016/12/14 Python
PyCharm设置SSH远程调试的方法
2018/07/17 Python
Python魔法方法详解
2019/02/13 Python
python3.7将代码打包成exe程序并添加图标的方法
2019/10/11 Python
Python网络编程之使用TCP方式传输文件操作示例
2019/11/01 Python
详解python内置常用高阶函数(列出了5个常用的)
2020/02/21 Python
Sunglasses Shop英国:欧洲领先的太阳镜在线供应商之一
2018/09/19 全球购物
Vrbo英国:预订度假屋
2020/08/19 全球购物
公务员培训心得体会
2013/12/28 职场文书
社会保险接收函
2014/01/12 职场文书
彩色的非洲教学反思
2014/02/18 职场文书
《小动物过冬》教学反思
2014/04/17 职场文书
先进基层党组织材料
2014/12/25 职场文书
导游词之杭州西湖
2019/09/19 职场文书
2019年销售部季度工作计划3篇
2019/10/09 职场文书
详解Nginx 被动检查服务器的存活状态
2021/10/16 Servers
浅谈Python中对象是如何被调用的
2022/04/06 Python
Python加密与解密模块hashlib与hmac
2022/06/05 Python