python爬取内容存入Excel实例


Posted in Python onFebruary 20, 2019

最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!

鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,难免有些‘厌倦'。心想,干嘛不存到Excel表呢?对啊,可以存到Excel表。

环境准备:pip install openpyxl  (假设你已配好了python环境)

好了,废话少说,上代码。  

# coding=UTF-8
'''
 function:爬取豆瓣top250的电影信息,并写入Excel文件
'''
import requests
import re
from openpyxl import workbook # 写入Excel表所用
from openpyxl import load_workbook # 读取Excel表所用
from bs4 import BeautifulSoup as bs
import os
os.chdir('C:\Users\Administrator\Desktop') # 更改工作目录为桌面
 
 
def getHtml(src):
 html = requests.get(src).content
 getData(html, src) # 首页链接和其他页不同,所以单独获取信息
 urls = re.findall('href="(.*filter=?)', html) # re获取获取跳转链接的href
 for u in range(len(urls) - 2): # 匹配到的跳转链接最后两个重复,需去掉
  next_url = 'https://movie.douban.com/top250' + urls[u]
  html = requests.get(next_url).content
  getData(html, next_url)
 
 
def getData(html, num_url): # html:网页源码 ,num_url:页面链接
 global ws # 全局工作表对象
 Name = [] # 存储电影名
 Dr = [] # 存储导演信息
 Ma = [] # 存储主演信息
 Si = [] # 存储简介
 R_score = [] # 存储评分
 R_count = [] # 存储评论人数
 R_year = [] # 存储年份
 R_area = [] # 存储地区
 R_about = [] # 存储剧情类型
 soup = bs(html, 'lxml')
 for n in soup.find_all('div', class_='hd'):
  # ts = n.contents[1].text # 得到电影的所有名称
  ts = n.contents[1].text.strip().split('/')[0] # 得到电影中文名
  Name.append(ts)
 for p in soup.find_all('p', class_=''):
  infor = p.text.strip().encode('utf-8') #此处用utf-8编码,以免下面查找 ‘主演'下标报错
  ya = re.findall('[0-9]+.*\/?', infor)[0] # re得到年份和地区
  R_year.append(ya.split('/')[0]) # 得到年份
  R_area.append(ya.split('/')[1]) # 得到地区
  R_about.append(infor[infor.rindex('/') + 1:]) # rindex函数取最后一个/下标,得到剧情类型
  try:
   sub = infor.index('主演') # 取得主演下标
   Dr.append(infor[0:sub].split(':')[1]) # 得到导演信息
   mh = infor[sub:].split(':')[1] # 得到主演后面的信息
   Ma.append(re.split('[1-2]+', mh)[0]) # 正则切片得到主演信息
  except:
   print '无主演信息'
   Dr.append(infor.split(':')[1].split('/')[0])
   Ma.append('无介绍...')
 for r in soup.find_all('div', class_='star'):
  rs = r.contents # 得到该div的子节点列表
  R_score.append(rs[3].text) # 得到评分
  R_count.append(rs[7].text) # 得到评论人数
 for s in soup.find_all('span', 'inq'):
  Si.append(s.text) # 得到简介
 if len(Si) < 25:
  for k in range(25 - len(Si)):
   Si.append('本页有的电影没简介,建议查看核对,链接:' + num_url)
 
 for i in range(25): # 每页25条数据,写入工作表中
  ws.append([Name[i], R_year[i], R_area[i], R_about[i],
     Dr[i], Ma[i], R_score[i], R_count[i], Si[i]])
 
 
if __name__ == '__main__':
 # 读取存在的Excel表测试
 #  wb = load_workbook('test.xlsx') #加载存在的Excel表
 #  a_sheet = wb.get_sheet_by_name('Sheet1') #根据表名获取表对象
 #  for row in a_sheet.rows: #遍历输出行数据
 #   for cell in row: #每行的每一个单元格
 #    print cell.value,
 
 # 创建Excel表并写入数据
 wb = workbook.Workbook() # 创建Excel对象
 ws = wb.active # 获取当前正在操作的表对象
 # 往表中写入标题行,以列表形式写入!
 ws.append(['电影名', '年份', '地区', '剧情类型', '导演', '主演', '评分', '评论人数', '简介'])
 src = 'https://movie.douban.com/top250'
 getHtml(src)
 wb.save('test2.xlsx') # 存入所有信息后,保存为filename.xlsx

代码中已有不少注释,这里说下爬取过程中遇到的小问题。

1.soup的contents方法,返回的是某标签下的子节点列表,但刚开始总是取不到想要的值,输出其长度后,有些傻眼..TM什么情况?有这么多的子节点吗?较真的我又去数了几遍,最后发现,它竟然连"换行"都算作是子节点!莫名地有点方...不知各位有没有遇到过。

python爬取内容存入Excel实例

如图,我按列表下标标记,0,2,4,6,8是换行,但也被算作子节点...

2.还是contents方法,代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外,还有其下的span标签,这是为何?它们算一个整体?

python爬取内容存入Excel实例

3.对如下图的电影信息处理时,出现了几处错误,原因有以下几点:

(1)部分电影没有主演信息...

(2)主演信息为这样'主演: ',就一个主演字样,无内容

(3)部分电影没有简介

(4)当主演信息中没有'...'时,获取主演信息受阻

 解决方案:(1)(2)都是主演问题,判断是否存在即可。(我以捕获异常处理)

(3)是简介问题,我无法给出具体哪部电影没有简介,但给了该电影所在的页面链接,可访问核查。(貌似有点笨)

(4)获取受阻是因为后面没有精确定位点,最后以re.split('[1-2]+')方法解决,匹配年份第一位作为分片点

python爬取内容存入Excel实例

本次分享就到这儿了,最后,照旧放几张结果图吧。

python爬取内容存入Excel实例

python爬取内容存入Excel实例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之一个免费的实验室
Sep 14 Python
Python中给List添加元素的4种方法分享
Nov 28 Python
分享6个隐藏的python功能
Dec 07 Python
python pandas.DataFrame选取、修改数据最好用.loc,.iloc,.ix实现
Jun 11 Python
python pyheatmap包绘制热力图
Nov 09 Python
用Python实现二叉树、二叉树非递归遍历及绘制的例子
Aug 09 Python
检测tensorflow是否使用gpu进行计算的方式
Feb 03 Python
Python解释器及PyCharm工具安装过程
Feb 26 Python
Keras load_model 导入错误的解决方式
Jun 09 Python
python如何调用百度识图api
Sep 29 Python
教你使用一行Python代码玩遍童年的小游戏
Aug 23 Python
python中对列表的删除和添加方法详解
Feb 24 Python
Python和Go语言的区别总结
Feb 20 #Python
python整小时 整天时间戳获取算法示例
Feb 20 #Python
python 获取毫秒数,计算调用时长的方法
Feb 20 #Python
Python英文文本分词(无空格)模块wordninja的使用实例
Feb 20 #Python
Python基于datetime或time模块分别获取当前时间戳的方法实例
Feb 19 #Python
Python子类继承父类构造函数详解
Feb 19 #Python
Python 隐藏输入密码时屏幕回显的实例
Feb 19 #Python
You might like
优化JavaScript脚本的性能的几个注意事项
2006/12/22 Javascript
JS 控制非法字符的输入代码
2009/12/04 Javascript
仿猪八戒网左下角的文字滚动效果
2011/10/28 Javascript
js的正则test,match,exec详细解析
2014/01/29 Javascript
javascript实现时间格式输出FormatDate函数
2015/01/13 Javascript
详解JavaScript中Date.UTC()方法的使用
2015/06/12 Javascript
教你如何终止JQUERY的$.AJAX请求
2016/02/23 Javascript
原生js实现ajax方法(超简单)
2016/09/20 Javascript
Javascript 闭包详解及实例代码
2016/11/30 Javascript
Vue方法与事件处理器详解
2016/12/01 Javascript
浅谈js中几种实用的跨域方法原理详解
2016/12/02 Javascript
jQuery验证表单格式的使用方法
2017/01/10 Javascript
angularjs中的$eval方法详解
2017/04/24 Javascript
ES5 ES6中Array对象去除重复项的方法总结
2017/04/27 Javascript
vue2.x 父组件监听子组件事件并传回信息的方法
2017/07/17 Javascript
Vue中组件之间数据的传递的示例代码
2017/09/08 Javascript
Node 自动化部署的方法
2017/10/17 Javascript
详解Vue如何支持JSX语法
2017/11/10 Javascript
mint-ui在vue中的使用示例
2018/04/05 Javascript
在Python中操作列表之List.pop()方法的使用
2015/05/21 Python
Python3利用SMTP协议发送E-mail电子邮件的方法
2017/09/30 Python
python密码错误三次锁定(实例讲解)
2017/11/14 Python
TF-IDF与余弦相似性的应用(一) 自动提取关键词
2017/12/21 Python
使用python获取电脑的磁盘信息方法
2018/11/01 Python
python读文件的步骤
2019/10/08 Python
Python对接支付宝支付自实现功能
2019/10/10 Python
基于spring boot 日志(logback)报错的解决方式
2020/02/20 Python
opencv+pyQt5实现图片阈值编辑器/寻色块阈值利器
2020/11/13 Python
2021年值得向Python开发者推荐的VS Code扩展插件
2021/01/25 Python
结合CSS3的布局新特征谈谈常见布局方法
2016/01/22 HTML / CSS
华润集团网上药店:健一网
2016/09/19 全球购物
yy婚礼司仪主持词
2014/03/14 职场文书
2015年实习单位评语
2015/03/25 职场文书
2015年乡镇财政工作总结
2015/05/19 职场文书
2015年小学语文教师工作总结
2015/10/23 职场文书
2016年10月份红领巾广播稿
2015/12/21 职场文书