Python爬虫之爬取淘女郎照片示例详解


Posted in Python onJuly 28, 2020

本篇目标

  1. 抓取淘宝MM的姓名,头像,年龄
  2. 抓取每一个MM的资料简介以及写真图片
  3. 把每一个MM的写真图片按照文件夹保存到本地
  4. 熟悉文件保存的过程 

1.URL的格式

在这里我们用到的URL是 http://mm.taobao.com/json/request_top_list.htm?page=1,问号前面是基地址,后面的参数page是代表第几页,可以随意更换地址。点击开之后,会发现有一些淘宝MM的简介,并附有超链接链接到个人详情页面。

我们需要抓取本页面的头像地址,MM姓名,MM年龄,MM居住地,以及MM的个人详情页面地址。

2.抓取简要信息

相信大家经过上几次的实战,对抓取和提取页面的地址已经非常熟悉了,这里没有什么难度了,我们首先抓取本页面的MM详情页面地址,姓名,年龄等等的信息打印出来,直接贴代码如下

import urllib
import urllib2
import re

class Spider:

 def __init__(self):
  self.siteURL = 'http://mm.taobao.com/json/request_top_list.htm'

 def getPage(self,pageIndex):
  url = self.siteURL + "?page=" + str(pageIndex)
  print url
  request = urllib2.Request(url)
  response = urllib2.urlopen(request)
  return response.read().decode('gbk')

 def getContents(self,pageIndex):
  page = self.getPage(pageIndex)
  pattern = re.compile('<div class="list-item".*?pic-word.*?<a href="(.*?)" rel="external nofollow" rel="external nofollow" .*?![]((.*?))(.*?)</a>.*?<strong>(.*?)</strong>.*?<span>(.*?)</span>',re.S)
  items = re.findall(pattern,page)
  for item in items:
   print item[0],item[1],item[2],item[3],item[4]

spider = Spider()
spider.getContents(1)

运行结果如下

Python爬虫之爬取淘女郎照片示例详解

3.文件写入简介

在这里,我们有写入图片和写入文本两种方式

1)写入图片

#传入图片地址,文件名,保存单张图片
def saveImg(self,imageURL,fileName):
  u = urllib.urlopen(imageURL)
  data = u.read()
  f = open(fileName, 'wb')
  f.write(data)
  f.close()

2)写入文本

def saveBrief(self,content,name):
 fileName = name + "/" + name + ".txt"
 f = open(fileName,"w+")
 print u"正在偷偷保存她的个人信息为",fileName
 f.write(content.encode('utf-8'))

3)创建新目录

#创建新目录
def mkdir(self,path):
 path = path.strip()
 # 判断路径是否存在
 # 存在  True
 # 不存在 False
 isExists=os.path.exists(path)
 # 判断结果
 if not isExists:
  # 如果不存在则创建目录
  # 创建目录操作函数
  os.makedirs(path)
  return True
 else:
  # 如果目录存在则不创建,并提示目录已存在
  return False

4.代码完善

主要的知识点已经在前面都涉及到了,如果大家前面的章节都已经看了,完成这个爬虫不在话下,具体的详情在此不再赘述,直接帖代码啦。

spider.py

import urllib
import urllib2
import re
import tool
import os

#抓取MM
class Spider:

 #页面初始化
 def __init__(self):
  self.siteURL = 'http://mm.taobao.com/json/request_top_list.htm'
  self.tool = tool.Tool()

 #获取索引页面的内容
 def getPage(self,pageIndex):
  url = self.siteURL + "?page=" + str(pageIndex)
  request = urllib2.Request(url)
  response = urllib2.urlopen(request)
  return response.read().decode('gbk')

 #获取索引界面所有MM的信息,list格式
 def getContents(self,pageIndex):
  page = self.getPage(pageIndex)
  pattern = re.compile('<div class="list-item".*?pic-word.*?<a href="(.*?)" rel="external nofollow" rel="external nofollow" .*?![]((.*?))(.*?)</a>.*?<strong>(.*?)</strong>.*?<span>(.*?)</span>',re.S)
  items = re.findall(pattern,page)
  contents = []
  for item in items:
   contents.append([item[0],item[1],item[2],item[3],item[4]])
  return contents

 #获取MM个人详情页面
 def getDetailPage(self,infoURL):
  response = urllib2.urlopen(infoURL)
  return response.read().decode('gbk')

 #获取个人文字简介
 def getBrief(self,page):
  pattern = re.compile('<div class="mm-aixiu-content".*?>(.*?)<!--',re.S)
  result = re.search(pattern,page)
  return self.tool.replace(result.group(1))

 #获取页面所有图片
 def getAllImg(self,page):
  pattern = re.compile('<div class="mm-aixiu-content".*?>(.*?)<!--',re.S)
  #个人信息页面所有代码
  content = re.search(pattern,page)
  #从代码中提取图片
  patternImg = re.compile('<img.*?src="(.*?)"',re.S)
  images = re.findall(patternImg,content.group(1))
  return images


 #保存多张写真图片
 def saveImgs(self,images,name):
  number = 1
  print u"发现",name,u"共有",len(images),u"张照片"
  for imageURL in images:
   splitPath = imageURL.split('.')
   fTail = splitPath.pop()
   if len(fTail) > 3:
    fTail = "jpg"
   fileName = name + "/" + str(number) + "." + fTail
   self.saveImg(imageURL,fileName)
   number += 1

 # 保存头像
 def saveIcon(self,iconURL,name):
  splitPath = iconURL.split('.')
  fTail = splitPath.pop()
  fileName = name + "/icon." + fTail
  self.saveImg(iconURL,fileName)

 #保存个人简介
 def saveBrief(self,content,name):
  fileName = name + "/" + name + ".txt"
  f = open(fileName,"w+")
  print u"正在偷偷保存她的个人信息为",fileName
  f.write(content.encode('utf-8'))


 #传入图片地址,文件名,保存单张图片
 def saveImg(self,imageURL,fileName):
   u = urllib.urlopen(imageURL)
   data = u.read()
   f = open(fileName, 'wb')
   f.write(data)
   print u"正在悄悄保存她的一张图片为",fileName
   f.close()

 #创建新目录
 def mkdir(self,path):
  path = path.strip()
  # 判断路径是否存在
  # 存在  True
  # 不存在 False
  isExists=os.path.exists(path)
  # 判断结果
  if not isExists:
   # 如果不存在则创建目录
   print u"偷偷新建了名字叫做",path,u'的文件夹'
   # 创建目录操作函数
   os.makedirs(path)
   return True
  else:
   # 如果目录存在则不创建,并提示目录已存在
   print u"名为",path,'的文件夹已经创建成功'
   return False

 #将一页淘宝MM的信息保存起来
 def savePageInfo(self,pageIndex):
  #获取第一页淘宝MM列表
  contents = self.getContents(pageIndex)
  for item in contents:
   #item[0]个人详情URL,item[1]头像URL,item[2]姓名,item[3]年龄,item[4]居住地
   print u"发现一位模特,名字叫",item[2],u"芳龄",item[3],u",她在",item[4]
   print u"正在偷偷地保存",item[2],"的信息"
   print u"又意外地发现她的个人地址是",item[0]
   #个人详情页面的URL
   detailURL = item[0]
   #得到个人详情页面代码
   detailPage = self.getDetailPage(detailURL)
   #获取个人简介
   brief = self.getBrief(detailPage)
   #获取所有图片列表
   images = self.getAllImg(detailPage)
   self.mkdir(item[2])
   #保存个人简介
   self.saveBrief(brief,item[2])
   #保存头像
   self.saveIcon(item[1],item[2])
   #保存图片
   self.saveImgs(images,item[2])

 #传入起止页码,获取MM图片
 def savePagesInfo(self,start,end):
  for i in range(start,end+1):
   print u"正在偷偷寻找第",i,u"个地方,看看MM们在不在"
   self.savePageInfo(i)


#传入起止页码即可,在此传入了2,10,表示抓取第2到10页的MM
spider = Spider()
spider.savePagesInfo(2,10)

tool.py

import re

#处理页面标签类
class Tool:
 #去除img标签,1-7位空格, 
 removeImg = re.compile('<img.*?>| {1,7}| ')
 #删除超链接标签
 removeAddr = re.compile('<a.*?>|</a>')
 #把换行的标签换为\n
 replaceLine = re.compile('<tr>|<div>|</div>|</p>')
 #将表格制表<td>替换为\t
 replaceTD= re.compile('<td>')
 #将换行符或双换行符替换为\n
 replaceBR = re.compile('<br><br>|<br>')
 #将其余标签剔除
 removeExtraTag = re.compile('<.*?>')
 #将多行空行删除
 removeNoneLine = re.compile('\n+')
 def replace(self,x):
  x = re.sub(self.removeImg,"",x)
  x = re.sub(self.removeAddr,"",x)
  x = re.sub(self.replaceLine,"\n",x)
  x = re.sub(self.replaceTD,"\t",x)
  x = re.sub(self.replaceBR,"\n",x)
  x = re.sub(self.removeExtraTag,"",x)
  x = re.sub(self.removeNoneLine,"\n",x)
  #strip()将前后多余内容删除
  return x.strip()

以上两个文件就是所有的代码内容,运行一下试试看,那叫一个酸爽啊

Python爬虫之爬取淘女郎照片示例详解

Python爬虫之爬取淘女郎照片示例详解

到此这篇关于Python爬虫之爬取淘女郎照片示例详解的文章就介绍到这了,更多相关Python 爬取淘女郎照片内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python连接mongodb操作数据示例(mongodb数据库配置类)
Dec 31 Python
Python的面向对象编程方式学习笔记
Jul 12 Python
Python使用正则表达式获取网页中所需要的信息
Jan 29 Python
python调用API实现智能回复机器人
Apr 10 Python
Python3数据库操作包pymysql的操作方法
Jul 16 Python
python 去除txt文本中的空格、数字、特定字母等方法
Jul 24 Python
Python3.5常见内置方法参数用法实例详解
Apr 29 Python
python读写配置文件操作示例
Jul 03 Python
Python logging设置和logger解析
Aug 28 Python
python实现最速下降法
Mar 24 Python
关于django python manage.py startapp 应用名出错异常原因解析
Dec 15 Python
python实现层次聚类的方法
Nov 01 Python
Python selenium键盘鼠标事件实现过程详解
Jul 28 #Python
用python写爬虫简单吗
Jul 28 #Python
公认8个效率最高的爬虫框架
Jul 28 #Python
python如何爬取网页中的文字
Jul 28 #Python
Python同时处理多个异常的方法
Jul 28 #Python
Python远程方法调用实现过程解析
Jul 28 #Python
Python 实现一个计时器
Jul 28 #Python
You might like
如何过滤高亮显示非法字符
2006/10/09 PHP
php使用mysqli向数据库添加数据的方法
2015/03/20 PHP
thinkphp的dump函数无输出实例代码
2016/11/15 PHP
php使用curl下载指定大小的文件实例代码
2017/09/30 PHP
详解Laravel5.6 Passport实现Api接口认证
2018/07/27 PHP
textarea中的手动换行处理的jquery代码
2011/02/26 Javascript
jQuery修改li下的样式以及li下的img的src的值的方法
2014/11/02 Javascript
js实现最短的XML格式化工具实例
2015/03/12 Javascript
javascript实现手机震动API代码
2015/08/05 Javascript
jquery实现鼠标经过显示下划线的渐变下拉菜单效果代码
2015/08/24 Javascript
JS实现PC手机端和嵌入式滑动拼图验证码三种效果
2017/02/15 Javascript
Vue实现选择城市功能
2017/05/27 Javascript
vuejs手把手教你写一个完整的购物车实例代码
2017/07/06 Javascript
BootStrap Validator 根据条件在JS中添加或移除校验操作
2017/10/12 Javascript
微信小程序实现多选框全选与取消全选功能示例
2019/05/14 Javascript
[47:36]Optic vs Newbee 2018国际邀请赛小组赛BO2 第二场 8.17
2018/08/18 DOTA
Python修改Excel数据的实例代码
2013/11/01 Python
Python程序设计入门(4)模块和包
2014/06/16 Python
Python构造函数及解构函数介绍
2015/02/26 Python
在Django框架中伪造捕捉到的URLconf值的方法
2015/07/18 Python
Python模块包中__init__.py文件功能分析
2016/06/14 Python
老生常谈python函数参数的区别(必看篇)
2017/05/29 Python
对python的输出和输出格式详解
2018/12/08 Python
python获取地震信息 微信实时推送
2019/06/18 Python
python 怎样将dataframe中的字符串日期转化为日期的方法
2019/09/26 Python
Python算法中的时间复杂度问题
2019/11/19 Python
解决python cv2.imread 读取中文路径的图片返回为None的问题
2020/06/02 Python
Python使用sys.exc_info()方法获取异常信息
2020/07/23 Python
简洁自适应404页面HTML好看的404源码
2020/12/16 HTML / CSS
什么是servlet链?
2014/07/13 面试题
教师专业理论水平的自我评价分享
2013/11/09 职场文书
美术师范毕业生自荐信
2013/11/16 职场文书
写给女生的道歉信
2014/01/08 职场文书
党的群众路线教育实践活动党员个人整改措施
2014/10/27 职场文书
活着观后感
2015/06/03 职场文书
mysql优化
2021/04/06 MySQL