首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

Python爬取豆瓣数据实现过程解析

Posted in Python onOctober 27, 2020

代码如下

from bs4 import BeautifulSoup #网页解析，获取数据
import sys #正则表达式，进行文字匹配
import re
import urllib.request,urllib.error #指定url，获取网页数据
import xlwt #使用表格
import sqlite3
import lxml

以上是引用的库，引用库的方法很简单，直接上图：

Python爬取豆瓣数据实现过程解析

Python爬取豆瓣数据实现过程解析Python爬取豆瓣数据实现过程解析

上面第一步算有了，下面分模块来，步骤算第二步来：

这个放在开头

def main():
  baseurl ="https://movie.douban.com/top250?start="
  datalist = getData(baseurl)
  savepath=('douban.xls')
  saveData(datalist,savepath)

这个放在末尾

if __name__ == '__main__':
main()

不难看出这是主函数，里面的话是对子函数的调用，下面是第三个步骤：子函数的代码

对网页正则表达提取（放在主函数的后面就可以）

findLink = re.compile(r'<a href="(.*?)" rel="external nofollow" rel="external nofollow" >') #创建正则表达式对象，表示规则（字符串的模式）
#影片图片
findImg = re.compile(r'<img.*src="(.*?)" width="100"/>',re.S)#re.S取消换行符
#影片片面
findtitle= re.compile(r'<span class="title">(.*?)</span>')
#影片评分
fileRating = re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')
#找到评价的人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#找到概识
findInq =re.compile(r'<span class="inq">(.*?)</span>')
#找到影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)

爬数据核心函数

def getData(baseurl):
  datalist=[]
  for i in range(0,10):#调用获取页面的函数10次
    url = baseurl + str(i*25)
    html = askURl(url)
  #逐一解析
    soup = BeautifulSoup(html,"html.parser")
    for item in soup.find_all('div',class_="item"):
    #print(item)
      data=[]
      item = str(item)
 
      link = re.findall(findLink,item)[0] #re库用来通过正则表达式查找指定的字符串
      data.append(link)
      titles =re.findall(findtitle,item)
      if(len(titles)==2):
        ctitle=titles[0].replace('\xa0',"")
        data.append(ctitle)#添加中文名
        otitle = titles[1].replace("\xa0/\xa0Perfume:","")
        data.append(otitle)#添加外国名
      else:
        data.append(titles[0])
        data.append(' ')#外国名字留空
 
      imgSrc = re.findall(findImg,item)[0]
      data.append(imgSrc)
 
      rating=re.findall(fileRating,item)[0]
      data.append(rating)
 
      judgenum = re.findall(findJudge,item)[0]
      data.append(judgenum)
 
      inq=re.findall(findInq,item)
      if len(inq) != 0:
        inq =inq[0].replace(".","")
        data.append(inq)
      else:
        data.append(" ")
      bd=re.findall(findBd,item)[0]
      bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd) #去掉<br/>
      bd =re.sub('\xa0'," ",bd)
      data.append(bd.strip()) #去掉前后的空格
 
      datalist.append(data) #把处理好的一部电影信息放入datalist
 
  return datalist

获取指定网页内容

def askURl(url):
 
  head = {
    "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) Apple"
    +"WebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108 Safari / 537.36"
  }
#告诉豆瓣我们是浏览器我们可以接受什么水平的内容
  request = urllib.request.Request(url,headers=head)
  html=""
  try:
    response = urllib.request.urlopen(request)
    html = response.read().decode("utf-8")
    # print(html)
  except urllib.error.URLError as e:
    if hasattr(e,"code"):
      print(e.code)
    if hasattr(e,"reason"):
      print(e.reason)
  return html

将爬下来的数据保存到表格中

ef saveData(datalist,savepath):
  print("保存中。。。")
  book = xlwt.Workbook(encoding="utf-8",style_compression=0) # 创建workbook对象
  sheet = book.add_sheet('douban',cell_overwrite_ok=True) #创建工作表 cell_overwrite_ok表示直接覆盖
  col = ("电影详情链接","影片中文网","影片外国名","图片链接","评分","评价数","概况","相关信息")
  for i in range(0,8):
    sheet.write(0,i,col[i])
  for i in range(0,250):
    print("第%d条" %(i+1))
    data = datalist[i]
    for j in range(0,8):
      sheet.write(i+1,j,data[j])
 
  book.save(savepath)

以上就是整个爬数据的整个程序，这仅仅是一个非常简单的爬取，如果想要爬更难的网页需要实时分析

整个程序代码

from bs4 import BeautifulSoup #网页解析，获取数据
import sys #正则表达式，进行文字匹配
import re
import urllib.request,urllib.error #指定url，获取网页数据
import xlwt #使用表格
import sqlite3
import lxml
 
def main():
  baseurl ="https://movie.douban.com/top250?start="
  datalist = getData(baseurl)
  savepath=('douban.xls')
  saveData(datalist,savepath)
#影片播放链接
findLink = re.compile(r'<a href="(.*?)" rel="external nofollow" rel="external nofollow" >') #创建正则表达式对象，表示规则（字符串的模式）
#影片图片
findImg = re.compile(r'<img.*src="(.*?)" width="100"/>',re.S)#re.S取消换行符
#影片片面
findtitle= re.compile(r'<span class="title">(.*?)</span>')
#影片评分
fileRating = re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')
#找到评价的人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#找到概识
findInq =re.compile(r'<span class="inq">(.*?)</span>')
#找到影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)
 
def getData(baseurl):
  datalist=[]
  for i in range(0,10):#调用获取页面的函数10次
    url = baseurl + str(i*25)
    html = askURl(url)
  #逐一解析
    soup = BeautifulSoup(html,"html.parser")
    for item in soup.find_all('div',class_="item"):
    #print(item)
      data=[]
      item = str(item)
 
      link = re.findall(findLink,item)[0] #re库用来通过正则表达式查找指定的字符串
      data.append(link)
      titles =re.findall(findtitle,item)
      if(len(titles)==2):
        ctitle=titles[0].replace('\xa0',"")
        data.append(ctitle)#添加中文名
        otitle = titles[1].replace("\xa0/\xa0Perfume:","")
        data.append(otitle)#添加外国名
      else:
        data.append(titles[0])
        data.append(' ')#外国名字留空
 
      imgSrc = re.findall(findImg,item)[0]
      data.append(imgSrc)
 
      rating=re.findall(fileRating,item)[0]
      data.append(rating)
 
      judgenum = re.findall(findJudge,item)[0]
      data.append(judgenum)
 
      inq=re.findall(findInq,item)
      if len(inq) != 0:
        inq =inq[0].replace(".","")
        data.append(inq)
      else:
        data.append(" ")
      bd=re.findall(findBd,item)[0]
      bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd) #去掉<br/>
      bd =re.sub('\xa0'," ",bd)
      data.append(bd.strip()) #去掉前后的空格
 
      datalist.append(data) #把处理好的一部电影信息放入datalist
 
  return datalist
 
#得到指定一个url的网页内容
def askURl(url):
 
  head = {
    "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) Apple"
    +"WebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108 Safari / 537.36"
  }
#告诉豆瓣我们是浏览器我们可以接受什么水平的内容
  request = urllib.request.Request(url,headers=head)
  html=""
  try:
    response = urllib.request.urlopen(request)
    html = response.read().decode("utf-8")
    # print(html)
  except urllib.error.URLError as e:
    if hasattr(e,"code"):
      print(e.code)
    if hasattr(e,"reason"):
      print(e.reason)
  return html
 
def saveData(datalist,savepath):
  print("保存中。。。")
  book = xlwt.Workbook(encoding="utf-8",style_compression=0) # 创建workbook对象
  sheet = book.add_sheet('douban',cell_overwrite_ok=True) #创建工作表 cell_overwrite_ok表示直接覆盖
  col = ("电影详情链接","影片中文网","影片外国名","图片链接","评分","评价数","概况","相关信息")
  for i in range(0,8):
    sheet.write(0,i,col[i])
  for i in range(0,250):
    print("第%d条" %(i+1))
    data = datalist[i]
    for j in range(0,8):
      sheet.write(i+1,j,data[j])
 
  book.save(savepath)
 
if __name__ == '__main__':
  main()

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持三水点靠木。

Python爬取豆瓣数据实现过程解析

- Author -

阿西莫多

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
分析用Python脚本关闭文件操作的机制
Jun 28 Python
Python如何获取系统iops示例代码
Sep 06 Python
Python heapq使用详解及实例代码
Jan 25 Python
Queue 实现生产者消费者模型(实例讲解)
Nov 13 Python
python之pandas用法大全
Mar 13 Python
Python cookbook(数据结构与算法)找出序列中出现次数最多的元素算法示例
Mar 15 Python
扩展Django admin的list_filter()可使用范围方法
Aug 21 Python
Pycharm激活码激活两种快速方式（附最新激活码和插件）
Mar 12 Python
Django 解决model 反向引用中的related_name问题
May 19 Python
使用keras2.0 将Merge层改为函数式
May 23 Python
详解Python中list[::-1]的几种用法
Nov 16 Python
深入浅析python3 依赖倒置原则(示例代码)
Jul 09 Python
UI自动化定位常用实现方法代码示例
Oct 27 #Python
基于python获取本地时间并转换时间戳和日期格式
Oct 27 #Python
如何在pycharm中安装第三方包
Oct 27 #Python
Python操控mysql批量插入数据的实现方法
Oct 27 #Python
python 对一幅灰度图像进行直方图均衡化
Oct 27 #Python
Pycharm操作Git及GitHub的步骤详解
Oct 27 #Python
python 爬虫如何正确的使用cookie
Oct 27 #Python
iOS(1) 陨石(1) RNA(2) iOS16(1) iPhone(1) 嘧啶碱基(2) DNA(2) compose(3) iOS15(1) Athens(1)
You might like
DC动漫人物排行
2020/03/03 欧美动漫
PHP 图片文件上传实现代码
2010/12/29 PHP
PHP的命令行命令使用指南
2015/08/18 PHP
刷新页面实现方式总结(HTML,ASP,JS)
2008/11/13 Javascript
jQuery ajax cache缓存问题
2010/07/01 Javascript
Web开发之JavaScript
2012/03/29 Javascript
jQuery ui插件的使用方法代码实例
2013/05/08 Javascript
js 页面元素的几个用法总结
2013/11/18 Javascript
js判读浏览器是否支持html5的canvas的代码
2013/11/18 Javascript
使用正则表达式的格式化与高亮显示json字符串
2014/12/03 Javascript
JS实现向表格中动态添加行的方法
2015/03/30 Javascript
理解javascript异步编程
2016/01/27 Javascript
ES6新特性三： Generator(生成器)函数详解
2017/04/21 Javascript
关于laydate.js加载laydate.css路径错误问题解决
2017/12/27 Javascript
js中时间格式化的几种方法
2018/07/22 Javascript
vue数据操作之点击事件实现num加减功能示例
2019/01/19 Javascript
微信小程序加载机制及运行机制图解
2019/11/27 Javascript
JS端基于download.js实现图片、视频时直接下载而不是打开预览
2020/05/09 Javascript
Python中的高级函数map/reduce使用实例
2015/04/13 Python
对python3 urllib包与http包的使用详解
2018/05/10 Python
让Django支持Sql Server作后端数据库的方法
2018/05/29 Python
Python爬虫爬取新浪微博内容示例【基于代理IP】
2018/08/03 Python
python 通过 socket 发送文件的实例代码
2018/08/14 Python
python使用selenium登录QQ邮箱（附带滑动解锁）
2019/01/23 Python
python PyAutoGUI 模拟鼠标键盘操作和截屏功能
2019/08/04 Python
Sublime Text3最新激活注册码分享适用2020最新版 亲测可用
2020/11/12 Python
倩碧英国官网：Clinique英国
2018/08/10 全球购物
Footshop罗马尼亚：最好的运动鞋选择
2019/09/10 全球购物
工作中个人的自我评价
2013/12/31 职场文书
自我鉴定标准格式
2014/03/19 职场文书
超市仓管员岗位职责
2014/04/07 职场文书
优秀学生干部先进事迹材料
2014/05/26 职场文书
党的群众教育实践活动实施方案
2014/06/12 职场文书
毕业生就业推荐表自我评价
2015/03/02 职场文书
大学生，三分钟即兴演讲稿
2019/07/22 职场文书
mysql如何查询连续记录
2022/05/11 MySQL