python使用BeautifulSoup与正则表达式爬取时光网不同地区top100电影并对比


Posted in Python onApril 15, 2019

前言

还有一年多就要毕业了,不准备考研的我要着手准备找实习及工作了,所以一直没有更新。

因为Python是自学不久,发现很久不用的话以前学过的很多方法就忘了,今天打算使用简单的BeautifulSoup和一点正则表达式的方法来爬一下top100电影,当然,我们并不仅是使用爬虫爬取数据,这样的话,数据中存在很多的对人有用的信息则被忽略了。所以,爬取数据只是开头,对这些数据根据意愿进行分析,或许能有额外的收获。

注:本人还是Python菜鸟,若有错误欢迎指正

本次我们爬取时光网(http://www.mtime.com/top/movie/top100/)上的电影排名,该网站网页结构较简单,爬取方便。

步骤:

1.爬取时光网top100电影,华语top100电影,日本top100电影,韩国top100电影的排名情况,电影名字,电影简介,评分及评价人数

2. 将爬取数据保存为csv格式后,取出并使用matplotlib绘图库分析对比评论人数一项

 

3.将结果图像保存

步骤一:爬取

python使用BeautifulSoup与正则表达式爬取时光网不同地区top100电影并对比

由上图可知电影信息在 li 节点内,而且发现第一页与后面网页地址不同,需要进行判断。

第一页地址为:http://www.mtime.com/top/movie/top100/

第二页地址为:http://www.mtime.com/top/movie/top100/index-2.html

第三页及后面地址均与第二页相似,仅网址的数字相应增加,所以更改数字即可爬取

import requests
from bs4 import BeautifulSoup
import re
import csv

#定义爬取函数
def get_infos(htmls, csvname):
 #信息头
 headers = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
 }
 #flag在写入文件时判断是否为首行
 flag = True
 #判断第一页网址,第二页及其后的网址
 for i in range(10):
 if i == 0:
  html = htmls
 else:
  html = htmls + 'index-{}.html'.format(str(i+1))
 res = requests.get(html, headers=headers)
 soup = BeautifulSoup(res.text, 'lxml')
 alls = soup.select('#asyncRatingRegion > li') #选取网页的li节点的内容
 #对节点内容进行循环遍历
 for one in alls:
  paiming = one.div.em.string #排名
  names = str(one.select('div.mov_pic > a')) #电影名称并将列表字符串化
  name = re.findall('.*?title="(.*?)">.*?', names, re.S)[0] #使用正则表达式提取内容
  content = str(one.select('div.mov_con > p.mt3')) #评论
  realcontent = re.findall('.*?mt3">(.*?)</p>', content, re.S)[0] #同上
  p1 = one.find(name='span', attrs={'class': 'total'}, text=re.compile('\d')) #评分在两个节点,
  p2 = one.find(name='span', attrs={'class': 'total2'}, text=re.compile('.\d'))
  #判断评分是否为空
  if p1 and p2 != None:
  p1 = p1.string
  p2 = p2.string
  else:
  p1 = 'no'
  p2 = ' point'
  point = p1 + p2 + '分'
  numbers = one.find(text=re.compile('评分')) #评分数量
  # 保存为csv
  csvnames = 'C:\\Users\lenovo\Desktop\\' + csvname + '.csv'
  with open(csvnames, 'a+', encoding='utf-8') as f:
  writer = csv.writer(f)
  if flag:
   writer.writerow(('paiming', 'name', 'realcontent', 'point', 'numbers'))
  writer.writerow((paiming, name, realcontent, point, numbers))
  flag = False

#调用函数
Japan_html = 'http://www.mtime.com/top/movie/top100_japan/'
csvname1 = 'Japan_top'
get_infos(Japan_html, csvname1)

Korea_html = 'http://www.mtime.com/top/movie/top100_south_korea/'
csvname2 = 'Korea_top'
get_infos(Korea_html, csvname2)

这里要注意的是要有些电影没有评分,为了预防出现这种情况,所以要进行判断

注:上述没有添加华语电影top100及所有电影top100的代码,可自行添加。

爬取结果部分内容如下:

python使用BeautifulSoup与正则表达式爬取时光网不同地区top100电影并对比

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

步骤二和三:导入数据并使用matplotlib分析,保存分析图片

import csv
from matplotlib import pyplot as plt
#中文乱码处理
plt.rcParams['font.sans-serif'] =['Microsoft YaHei']
plt.rcParams['axes.unicode_minus'] = False

def read_csv(csvname):
 csvfile_name = 'C:\\Users\lenovo\Desktop\\' + csvname + '.csv'
 #打开文件并存入列表
 with open(csvfile_name,encoding='utf-8') as f:
 reader = csv.reader(f)
 header_row = next(reader)
 name = []
 for row in reader:
  name.append(row)
 #取列表中非空元素
 real = []
 for i in name:
 if len(i) != 0:
  real.append(i)
 #去除中文并将数据转换为整形
 t = 0
 ss = []
 for j in real:
 ss.append(int(real[t][4][:-5]))
 t += 1
 return ss

#绘制对比图形
All_plt = read_csv('bs1') #调用函数
China_plt = read_csv('China_top')
Japan_plt = read_csv('Japan_top')
Korea_plt = read_csv('Korea_top')
shu = list(range(1,101))
fig = plt.figure(dpi=128, figsize=(10, 6)) #设置图形界面
plt.subplot(2,1,1)
plt.bar(shu ,All_plt, align='center', color='green', label='World', alpha=0.6) #绘制条图形,align指定横坐标在中心,颜色,alpha指定透明度
plt.bar(shu ,China_plt, color='indigo', label='China', alpha=0.4) #绘制图形,颜色, label属性用于后面使用legend方法时显示图例标签
plt.bar(shu ,Japan_plt, color='blue', label='Japan',alpha=0.5) #绘制图形,颜色,
plt.bar(shu ,Korea_plt, color='yellow', label='Korea',alpha=0.5) #绘制图形,颜色,
plt.ylabel('评论数', fontsize=10) #纵坐标题目,字体大小
plt.title('不同地区的电影top100对比', fontsize=10) #图形标题
plt.legend(loc='best')

plt.subplot(2,1,2)
plt.plot(shu , All_plt, linewidth=1, c='green', label='World') #绘制图形,指定线宽,颜色,label属性用于后面使用legend方法时显示图例标签
plt.plot(shu ,China_plt, linewidth=1, c='indigo', label='China', ls='-.') #绘制图形,指定线宽,颜色,
plt.plot(shu ,Japan_plt, linewidth=1, c='green', label='Japan', ls='--') #绘制图形,指定线宽,颜色,
plt.plot(shu ,Korea_plt, linewidth=1, c='red', label='Korea', ls=':') #绘制图形,指定线宽,颜色,
plt.ylabel('comments', fontsize=10) #纵坐标题目,字体大小
plt.title('The different top 100 movies\'comments comparison', fontsize=10) #图形标题
plt.legend(loc='best')
'''
plt.legend()——loc参数选择
'best' : 0, #自动选择最好位置 
 'upper right' : 1,
 'upper left' : 2,
 'lower left' : 3,
 'lower right' : 4,
 'right' : 5,
 'center left' : 6,
 'center right' : 7,
 'lower center' : 8,
 'upper center' : 9,
 'center' : 10,
 '''
plt.savefig('C:\\Users\lenovo\Desktop\\bs1.png') #保存图片
plt.show() #显示图形

这里需要注意的是读取保存的csv文件并将数据传入列表时,每一个电影数据又是一个列表(先称为有效列表),每个有效列表前后都有一个空列表,所以需要将空列表删除,才能进行下一步

评分数据为string类型且有中文,所以进行遍历将中文去除并转换为int。

最后保存的对比分析图片:

python使用BeautifulSoup与正则表达式爬取时光网不同地区top100电影并对比

本次使用的爬取方法、爬取内容、分析内容都很容易,但我在完成过程中,发现自己还是会出现各种各样的问题,说明还有很多需要改善进步的地方。

同时欢迎大家指正。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python实现的文本编辑器功能示例
Jun 30 Python
python下载文件记录黑名单的实现代码
Oct 24 Python
解决已经安装requests,却依然提示No module named requests问题
May 18 Python
解决python 未发现数据源名称并且未指定默认驱动程序的问题
Dec 07 Python
Python实现将字符串的首字母变为大写,其余都变为小写的方法
Jun 11 Python
python中的RSA加密与解密实例解析
Nov 18 Python
python使用itchat模块给心爱的人每天发天气预报
Nov 25 Python
TensorFlow基本的常量、变量和运算操作详解
Feb 03 Python
Django bulk_create()、update()与数据库事务的效率对比分析
May 15 Python
使用python把xmind转换成excel测试用例的实现代码
Oct 12 Python
pycharm 实现光标快速移动到括号外或行尾的操作
Feb 05 Python
Python绘制数码晶体管日期
Feb 19 Python
Python Datetime模块和Calendar模块用法实例分析
Apr 15 #Python
Python如何处理大数据?3个技巧效率提升攻略(推荐)
Apr 15 #Python
Python利用lxml模块爬取豆瓣读书排行榜的方法与分析
Apr 15 #Python
Python常见读写文件操作实例总结【文本、json、csv、pdf等】
Apr 15 #Python
10招!看骨灰级Pythoner玩转Python的方法
Apr 15 #Python
Python后台开发Django会话控制的实现
Apr 15 #Python
浅析Python 实现一个自动化翻译和替换的工具
Apr 14 #Python
You might like
PHP Directory 函数的详解
2013/03/07 PHP
PHP 获取ip地址代码汇总
2015/07/05 PHP
Laravel 对某一列进行筛选然后求和sum()的例子
2019/10/10 PHP
JS 统计时间
2021/03/09 Javascript
一些有关检查数据的JS代码
2006/09/07 Javascript
ExtJS GTGrid 简单用户管理
2009/07/01 Javascript
基于jquery的跟随屏幕滚动代码
2012/07/24 Javascript
可简单避免的三个JS发布错误的详细介绍
2013/08/02 Javascript
js控制表单不能输入空格的小例子
2013/11/20 Javascript
JavaScript怎么判断图片是否加载完成以便获取其尺寸
2014/05/08 Javascript
再谈javascript原型继承
2014/11/10 Javascript
AngularJS基础知识笔记之过滤器
2015/05/10 Javascript
jQuery模拟select实现下拉菜单功能
2016/06/20 Javascript
jquery弹出框插件jquery.ui.dialog用法分析
2016/08/20 Javascript
浅谈Node.js轻量级Web框架Express4.x使用指南
2017/05/03 Javascript
基于VUE实现的九宫格抽奖功能
2018/09/30 Javascript
在vue中使用回调函数,this调用无效的解决
2020/08/11 Javascript
python中urllib.unquote乱码的原因与解决方法
2017/04/24 Python
python创建列表和向列表添加元素的实现方法
2017/12/25 Python
Python读写zip压缩文件的方法
2018/08/29 Python
python3的输入方式及多组输入方法
2018/10/17 Python
python 获取utc时间转化为本地时间的方法
2018/12/31 Python
Python基础教程之异常详解
2019/01/10 Python
Python sklearn库实现PCA教程(以鸢尾花分类为例)
2020/02/24 Python
python调用摄像头的示例代码
2020/09/28 Python
html5指南-3.如何实现html元素拖拽功能
2013/01/07 HTML / CSS
html5 canvas绘制网络字体的常用方法
2019/08/26 HTML / CSS
Ann Taylor官方网站:美国最大的女性产品制造商之一
2016/09/14 全球购物
嘻哈珠宝品牌:KRKC&CO
2020/10/19 全球购物
十佳大学生村官事迹
2014/01/09 职场文书
给实习单位的感谢信
2014/02/01 职场文书
工厂会计员职责
2014/02/06 职场文书
幼儿园中秋节活动总结
2015/03/23 职场文书
主持稿开场白
2015/06/01 职场文书
Python 流媒体播放器的实现(基于VLC)
2021/04/28 Python
Vue router配置与使用分析讲解
2022/12/24 Vue.js