python 爬取豆瓣网页的示例


Posted in Python onApril 13, 2021

python作为一种已经广泛传播且相对易学的解释型语言,现如今在各方面都有着广泛的应用。而爬虫则是其最为我们耳熟能详的应用,今天笔者就着重针对这一方面进行介绍。

python 语法简要介绍

python 的基础语法大体与c语言相差不大,由于省去了c语言中的指针等较复杂的结构,所以python更被戏称为最适合初学者的语言。而在基础语法之外,python由其庞大的第三方库组成,而其中包含多种模块,而通过模块中包含的各种函数与方法能够帮助我们实现各种各样的功能。

而在python爬虫中,我们需要用到的标准库有:

  • urllib
  • re
  • bs4
  • xlwt

其中urllib库可以帮助我们爬取目标网页的html代码,bs4中的beautifulsoup模块以及re库中的正则表达式可以将我们需要的数据从代码中提取出来,而xlwt库可以将数据储存至excel表中,从而最终完成数据的爬取。

接下来,就步入我们此次介绍的重点——完整爬取一个网页的数据。

本篇文章以爬取豆瓣电影top250的数据为例,并将爬取的过程分为三个部分:

1.爬取网页

2.解析网页

3.储存网页

那么,让我们开始吧!

豆瓣top250网址:https://movie.douban.com/top250?start=

爬取网页

import urllib.request

引入urllib库中的request模块

def askURL(url):
    head = {
        "User-Agent": "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 88.0.4324.182Safari / 537.36"
    }# 模拟浏览器的登录
    request = urllib.request.Request(url,headers=head)
    #将网页的url和头部信息封装至一起
    response = urllib.request.urlopen(request)
    #获取网页的html代码
    html = response.read().decode("utf-8")
    #将获取的数据转化为utf-8格式
    #print(html)    #此步可以实验一下能否成功爬取网页的html代码
    return html

1.其中urllib.request.Request可以帮我们把要爬取的网页的url及其他的头部信息封装至一起。

2.urlopen函数则可以帮助我们爬取下该网页的html代码

3.有一些网站会设置一下反爬机制来阻止我们的爬虫,此时就需要我们设置头部信息来模拟浏览器访问网站

python 爬取豆瓣网页的示例

需要用浏览器进入该网址,使用开发者模式获取我们需要的头部信息(也就是该图中的user-agent)

4.最后需要将我们的爬取下的html代码转化为utf-8格式进行输出

解析网页

import re
from bs4 import BeautifulSoup

引入re库和bs4库

def getData(baseurl):
    datalist = []   #建立一个存放解析出的数据的元组
    for i in range(0,10):
        url = baseurl + str(i*25)
        # 通过以下两张截图,我们可以发现豆瓣将每25部电影分为一页,共分成了10页、
        # 而其url的差别仅在最后加了25,故通过该规律,可将所有10张网页的url全部获取
        html = askURL(url)
        soup = BeautifulSoup(html,"html.parser")
        #通过beautifulsoup模块自带的html代码解析器进行解析
        #并将解析器解析出的数据放至soup中

python 爬取豆瓣网页的示例

逐页进行解析,使解析出的数据能被我们接下来要使用的正则表达式识别

所谓正则表达式,就是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑,通过这种过滤,就可以得到我们想要的信息,就例如影片的名称,评分等信息。

findlink = re.compile(r'<a href="(.*?)" rel="external nofollow" >')  # r表示不受转义字符的影响
#该代码通过正则表达式搜寻到所有关于影片链接的数据,以下代码类似
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S) #让换行符包含在字符中
findtitle = re.compile(r'<span class="title">(.*)</span>')
findscore = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
findjudge = re.compile(r'<span>(\d*)人评价</span>')
findinq = re.compile(r'<span class="inq">(.*)</span>')
findbd = re.compile(r'<p class="">(.*?)</p>',re.S)
for item in soup.find_all("div",class_="item"):
        #提取所有class为“item”的div模块,并通过for循环一步步处理
            data = []
            item = str(item) #将item转化为字符串类型
            link = re.findall(findlink,item)[0]
            #通过影片详情链接的正则表达式抽取数据
            data.append(link)
            #存放至data列表中
            ImgSrc = re.findall(findImgSrc,item)[0]
            data.append(ImgSrc)
            title = re.findall(findtitle,item)
            if len(title)==2:
                #如果影片有多个名称,则分别进行存储
                ctitle = title[0]
                data.append(ctitle)
                otitle = title[1].replace("/","")
                data.append(otitle)
            else:
                data.append(title[0])
                data.append(" ")
            score = re.findall(findscore,item)
            data.append(score)
            judge = re.findall(findjudge,item)
            data.append(judge)
            inq = re.findall(findinq,item)
            if len(inq)!=0:
                inq = inq[0].replace("。","")
                data.append(inq)
            else:
                data.append("")
                #若有影片详情,则输出;若没有,则输出为空
            bd = re.findall(findbd,item)[0]
            bd = re.sub('<br(\s+)?/>(\s+)?'," ",bd)
            bd = re.sub('/'," ",bd)
            data.append(bd.strip())   # 去掉前后空格

            datalist.append(data)
    print(datalist)
    return datalist

以上代码能通过正则表达式抽取出需要的数据存放data列表中,然后将所有的data数据存放至datalist列表中。

储存网页

将解析出的数据储存到excel表中

import xlwt

引入xlwt库

def savepath(datalist):
    workbook = xlwt.Workbook(encoding="utf-8")
 #创建以utf-8格式编码的一个workbook对象,该对象最后能保存为excel表格
    worksheet = workbook.add_sheet("sheetwdy")
 #创建工作表“sheetwdy”
    col = ("电影详情链接", "图片链接", "影片中文名", "影片外国名", "评分", "评价数", "概况", "相关信息")
 #创建一个元组
    for i in range(0, 8):
        worksheet.write(0, i, col[i])  
 # 将我们刚定义的元组中的信息写入excel表的第一行
    for i in range(0, 250):
        print("第%d条" % (i + 1))
        data = datalist[i]
        for j in range(0, 8):
            worksheet.write(i + 1, j, data[j])
 #将解析出的数据通过for循环一条条导入excel表中
    workbook.save("豆瓣250.xls")
 #将该excel表进行保存

如此我们便可以把解析出的数据存储至excel表中了

python 爬取豆瓣网页的示例

以上便为成品图

以上就是python 爬取豆瓣网页的示例的详细内容,更多关于python 爬取豆瓣网页的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python网页解析利器BeautifulSoup安装使用介绍
Mar 17 Python
Python找出list中最常出现元素的方法
Jun 14 Python
python+selenium实现登录账户后自动点击的示例
Dec 22 Python
Python+matplotlib+numpy实现在不同平面的二维条形图
Jan 02 Python
Python操作Redis之设置key的过期时间实例代码
Jan 25 Python
python使用tensorflow保存、加载和使用模型的方法
Jan 31 Python
python中实现将多个print输出合成一个数组
Apr 19 Python
Python遍历文件夹 处理json文件的方法
Jan 22 Python
python处理“
Jun 10 Python
python视频按帧截取图片工具
Jul 23 Python
基于python判断目录或者文件代码实例
Nov 29 Python
Python Pandas模块实现数据的统计分析的方法
Jun 24 Python
简述python四种分词工具,盘点哪个更好用?
Apr 13 #Python
python自动化调用百度api解决验证码
利用Python网络爬虫爬取各大音乐评论的代码
用Python制作灯光秀短视频的思路详解
python实现socket简单通信的示例代码
使用Selenium实现微博爬虫(预登录、展开全文、翻页)
python用字节处理文件实例讲解
Apr 13 #Python
You might like
用Socket发送电子邮件(利用需要验证的SMTP服务器)
2006/10/09 PHP
php中利用explode函数分割字符串到数组
2014/02/08 PHP
PHP贪婪算法解决0-1背包问题实例分析
2015/03/23 PHP
Laravel+Intervention实现上传图片功能示例
2019/07/09 PHP
php输出形式实例整理
2020/05/05 PHP
javascript 无提示关闭窗口脚本
2009/08/17 Javascript
基于Jquery的标签智能验证实现代码
2010/12/27 Javascript
window.open关于浏览器拦截问题分析及解决方法
2013/02/05 Javascript
jquery控制左右箭头滚动图片列表的实例
2013/05/20 Javascript
jQuery实现模拟marquee标签效果
2015/07/14 Javascript
浅谈Javascript中substr和substring的区别
2015/09/30 Javascript
基于BootStrap Metronic开发框架经验小结【六】对话框及提示框的处理和优化
2016/05/12 Javascript
js原生之焦点图转换加定时器实例
2016/12/12 Javascript
angularjs实现猜大小功能
2017/10/23 Javascript
javascript性能优化之分时函数的介绍
2018/03/28 Javascript
使用Vue实现图片上传的三种方式
2018/07/17 Javascript
脚手架vue-cli工程webpack的基本用法详解
2018/09/29 Javascript
webpack4+express+mongodb+vue实现增删改查的示例
2018/11/08 Javascript
React Native中Mobx的使用方法详解
2018/12/04 Javascript
初学vue出现空格警告的原因及其解决方案
2019/10/31 Javascript
Vue 使用beforeEach实现登录状态检查功能
2019/10/31 Javascript
es6中let和const的使用方法详解
2020/02/24 Javascript
在vue中封装方法以及多处引用该方法详解
2020/08/14 Javascript
关于numpy中np.nonzero()函数用法的详解
2017/02/07 Python
Python简单计算文件MD5值的方法示例
2018/04/11 Python
Python tkinter常用操作代码实例
2020/01/03 Python
员工年终演讲稿
2014/01/03 职场文书
简历里的自我评价范文
2014/02/24 职场文书
矿泉水广告词
2014/03/20 职场文书
我的中国梦口号
2014/06/16 职场文书
2014年幼儿园后勤工作总结
2014/11/10 职场文书
2014年驾驶员工作总结
2014/11/18 职场文书
党员个人总结范文
2015/02/14 职场文书
会计出纳岗位职责
2015/03/31 职场文书
Vue+Element UI实现概要小弹窗的全过程
2021/05/30 Vue.js
Mysql索引失效 数据库表中有索引还是查询很慢
2022/05/15 MySQL