python爬取内容存入Excel实例


Posted in Python onFebruary 20, 2019

最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!

鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,难免有些‘厌倦'。心想,干嘛不存到Excel表呢?对啊,可以存到Excel表。

环境准备:pip install openpyxl  (假设你已配好了python环境)

好了,废话少说,上代码。  

# coding=UTF-8
'''
 function:爬取豆瓣top250的电影信息,并写入Excel文件
'''
import requests
import re
from openpyxl import workbook # 写入Excel表所用
from openpyxl import load_workbook # 读取Excel表所用
from bs4 import BeautifulSoup as bs
import os
os.chdir('C:\Users\Administrator\Desktop') # 更改工作目录为桌面
 
 
def getHtml(src):
 html = requests.get(src).content
 getData(html, src) # 首页链接和其他页不同,所以单独获取信息
 urls = re.findall('href="(.*filter=?)', html) # re获取获取跳转链接的href
 for u in range(len(urls) - 2): # 匹配到的跳转链接最后两个重复,需去掉
  next_url = 'https://movie.douban.com/top250' + urls[u]
  html = requests.get(next_url).content
  getData(html, next_url)
 
 
def getData(html, num_url): # html:网页源码 ,num_url:页面链接
 global ws # 全局工作表对象
 Name = [] # 存储电影名
 Dr = [] # 存储导演信息
 Ma = [] # 存储主演信息
 Si = [] # 存储简介
 R_score = [] # 存储评分
 R_count = [] # 存储评论人数
 R_year = [] # 存储年份
 R_area = [] # 存储地区
 R_about = [] # 存储剧情类型
 soup = bs(html, 'lxml')
 for n in soup.find_all('div', class_='hd'):
  # ts = n.contents[1].text # 得到电影的所有名称
  ts = n.contents[1].text.strip().split('/')[0] # 得到电影中文名
  Name.append(ts)
 for p in soup.find_all('p', class_=''):
  infor = p.text.strip().encode('utf-8') #此处用utf-8编码,以免下面查找 ‘主演'下标报错
  ya = re.findall('[0-9]+.*\/?', infor)[0] # re得到年份和地区
  R_year.append(ya.split('/')[0]) # 得到年份
  R_area.append(ya.split('/')[1]) # 得到地区
  R_about.append(infor[infor.rindex('/') + 1:]) # rindex函数取最后一个/下标,得到剧情类型
  try:
   sub = infor.index('主演') # 取得主演下标
   Dr.append(infor[0:sub].split(':')[1]) # 得到导演信息
   mh = infor[sub:].split(':')[1] # 得到主演后面的信息
   Ma.append(re.split('[1-2]+', mh)[0]) # 正则切片得到主演信息
  except:
   print '无主演信息'
   Dr.append(infor.split(':')[1].split('/')[0])
   Ma.append('无介绍...')
 for r in soup.find_all('div', class_='star'):
  rs = r.contents # 得到该div的子节点列表
  R_score.append(rs[3].text) # 得到评分
  R_count.append(rs[7].text) # 得到评论人数
 for s in soup.find_all('span', 'inq'):
  Si.append(s.text) # 得到简介
 if len(Si) < 25:
  for k in range(25 - len(Si)):
   Si.append('本页有的电影没简介,建议查看核对,链接:' + num_url)
 
 for i in range(25): # 每页25条数据,写入工作表中
  ws.append([Name[i], R_year[i], R_area[i], R_about[i],
     Dr[i], Ma[i], R_score[i], R_count[i], Si[i]])
 
 
if __name__ == '__main__':
 # 读取存在的Excel表测试
 #  wb = load_workbook('test.xlsx') #加载存在的Excel表
 #  a_sheet = wb.get_sheet_by_name('Sheet1') #根据表名获取表对象
 #  for row in a_sheet.rows: #遍历输出行数据
 #   for cell in row: #每行的每一个单元格
 #    print cell.value,
 
 # 创建Excel表并写入数据
 wb = workbook.Workbook() # 创建Excel对象
 ws = wb.active # 获取当前正在操作的表对象
 # 往表中写入标题行,以列表形式写入!
 ws.append(['电影名', '年份', '地区', '剧情类型', '导演', '主演', '评分', '评论人数', '简介'])
 src = 'https://movie.douban.com/top250'
 getHtml(src)
 wb.save('test2.xlsx') # 存入所有信息后,保存为filename.xlsx

代码中已有不少注释,这里说下爬取过程中遇到的小问题。

1.soup的contents方法,返回的是某标签下的子节点列表,但刚开始总是取不到想要的值,输出其长度后,有些傻眼..TM什么情况?有这么多的子节点吗?较真的我又去数了几遍,最后发现,它竟然连"换行"都算作是子节点!莫名地有点方...不知各位有没有遇到过。

python爬取内容存入Excel实例

如图,我按列表下标标记,0,2,4,6,8是换行,但也被算作子节点...

2.还是contents方法,代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外,还有其下的span标签,这是为何?它们算一个整体?

python爬取内容存入Excel实例

3.对如下图的电影信息处理时,出现了几处错误,原因有以下几点:

(1)部分电影没有主演信息...

(2)主演信息为这样'主演: ',就一个主演字样,无内容

(3)部分电影没有简介

(4)当主演信息中没有'...'时,获取主演信息受阻

 解决方案:(1)(2)都是主演问题,判断是否存在即可。(我以捕获异常处理)

(3)是简介问题,我无法给出具体哪部电影没有简介,但给了该电影所在的页面链接,可访问核查。(貌似有点笨)

(4)获取受阻是因为后面没有精确定位点,最后以re.split('[1-2]+')方法解决,匹配年份第一位作为分片点

python爬取内容存入Excel实例

本次分享就到这儿了,最后,照旧放几张结果图吧。

python爬取内容存入Excel实例

python爬取内容存入Excel实例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python最长公共子串算法实例
Mar 07 Python
Python中pillow知识点学习
Apr 30 Python
浅谈python中requests模块导入的问题
May 18 Python
django表单实现下拉框的示例讲解
May 29 Python
Python实现时间序列可视化的方法
Aug 06 Python
Python中Unittest框架的具体使用
Aug 27 Python
python 项目目录结构设置
Feb 14 Python
pyqt5中动画的使用详解
Apr 01 Python
使用Python将Exception异常错误堆栈信息写入日志文件
Apr 08 Python
150行python代码实现贪吃蛇游戏
Apr 24 Python
Python基础之数据结构详解
Apr 28 Python
pytorch损失反向传播后梯度为none的问题
May 12 Python
Python和Go语言的区别总结
Feb 20 #Python
python整小时 整天时间戳获取算法示例
Feb 20 #Python
python 获取毫秒数,计算调用时长的方法
Feb 20 #Python
Python英文文本分词(无空格)模块wordninja的使用实例
Feb 20 #Python
Python基于datetime或time模块分别获取当前时间戳的方法实例
Feb 19 #Python
Python子类继承父类构造函数详解
Feb 19 #Python
Python 隐藏输入密码时屏幕回显的实例
Feb 19 #Python
You might like
基于PHP+MySQL的聊天室设计
2006/10/09 PHP
php实现12306余票查询、价格查询示例
2014/04/17 PHP
ThinkPHP中关联查询实例
2014/12/02 PHP
IE与firefox下Dhtml的一些区别小结
2009/12/02 Javascript
javascript 基础篇4 window对象,DOM
2012/03/14 Javascript
使用jQuery将多条数据插入模态框的实现代码
2014/10/08 Javascript
jQuery Dialog对话框事件用法实例分析
2016/05/10 Javascript
jquery mobile移动端幻灯片滑动切换效果
2020/04/15 Javascript
Vue项目中最新用到的一些实用小技巧
2018/11/06 Javascript
js canvas实现橡皮擦效果
2018/12/20 Javascript
Vue中keep-alive组件的深入理解
2020/08/23 Javascript
[01:48]2018DOTA2亚洲邀请赛主赛事第二日五佳镜头 VG完美团战逆转TNC
2018/04/05 DOTA
跟老齐学Python之集合的关系
2014/09/24 Python
使用Python的Twisted框架构建非阻塞下载程序的实例教程
2016/05/25 Python
在Python中定义和使用抽象类的方法
2016/06/30 Python
Python写的一个定时重跑获取数据库数据
2016/12/28 Python
python如何通过实例方法名字调用方法
2018/03/21 Python
Python字典循环添加一键多值的用法实例
2019/01/20 Python
python2.7 安装pip的方法步骤(管用)
2019/05/05 Python
python-django中的APPEND_SLASH实现方法
2019/06/21 Python
pycharm配置当鼠标悬停时快速提示方法参数
2019/07/31 Python
Python实现序列化及csv文件读取
2020/01/19 Python
Python终端输出彩色字符方法详解
2020/02/11 Python
Python中的sys.stdout.write实现打印刷新功能
2020/02/21 Python
解决Python中报错TypeError: must be str, not bytes问题
2020/04/07 Python
Keras之fit_generator与train_on_batch用法
2020/06/17 Python
彻底搞懂python 迭代器和生成器
2020/09/07 Python
纯CSS3实现Material Design效果
2017/03/09 HTML / CSS
德国柯吉澳趣味家居:Koziol
2017/08/24 全球购物
为什么需要版本控制?
2013/08/08 面试题
广告学专业毕业生自荐信
2013/09/24 职场文书
导师对论文的学术评语
2015/01/04 职场文书
长江三峡导游词
2015/01/31 职场文书
js实现上传图片到服务器
2021/04/11 Javascript
MySQL 十大常用字符串函数详解
2021/06/30 MySQL
SQL Server中使用判断语句(IF ELSE/CASE WHEN )案例
2021/07/07 SQL Server