python 爬取腾讯视频评论的实现步骤


Posted in Python onFebruary 18, 2021

一、网址分析

查阅了网上的大部分资料,大概都是通过抓包获取。但是抓包有点麻烦,尝试了F12,也可以获取到评论。以电视剧《在一起》为例子。评论最底端有个查看更多评论猜测过去应该是 Ajax 的异步加载。
网上的大部分都是构建评论的网址,通过 requests 获取,正则表达式进行数据处理。本文也利用该方法进行数据处理,其实利用 scrapy 会更简单。
根据前辈给出的经验,顺利找到了评论所在的链接。

python 爬取腾讯视频评论的实现步骤

在新标签中打开,该网址的链接。

python 爬取腾讯视频评论的实现步骤

评论都在"content":"xxxxx"里面,所有可以通过正则表达式获取。
那么现在要开始构建网址,找到其规律。
在查找评论链接的过程中无意发现,点击影评旁边的评论总数,可以获取到更为干净的评论界面。结果是一样的。

python 爬取腾讯视频评论的实现步骤

既然是要爬取所有的评论,所以知道评论数是必不可少的。

python 爬取腾讯视频评论的实现步骤

再通过F12获取到评论链接,找到网址的规律,构建网址,加载三四个评论就行了。这里加载了四个网址。把所有网址复制到文本文件中,进行对比分析。

python 爬取腾讯视频评论的实现步骤

观察发现只有 cursor 和 source 进行了改变,其他是不变的,二 source 是在第一个的基础上进行加一操作,所以只需要获取到 cursor 即可。我们打开一个评论链接的网址,我们可以知道,cursor 其实是上一页 最后一个用户的ID码。所以我们只需要在爬取上一页的时候一起爬虫了。然后就可以构建网址。

python 爬取腾讯视频评论的实现步骤

二、代码编写

这个代码还是简单的。套用之前上课做的模板就可以直接进行爬虫了。
通过正则表达式获取评论,返回一个列表;
正则表达式获得的 cursor 码是列表,所以要转化为字符串使用;
source 很简单了,直接在上一个的基础上加一即可。

def getComment(html): # 爬取单页评论

 findeComment = re.compile(r'"content":"(.*?)"', re.S)
 comment = re.findall(findeComment, html)
 # print(comment)
 return comment

def getCursor(html): # 获取下一页的cursor码
 findeCursor = re.compile(r'"last":"(.*?)"', re.S)
 cursor = re.findall(findeCursor, html)[0]
 # print(cursor)
 return cursor


def getSource(source): # 获取下一页的source码
 source = int(source) + 1
 return str(source)

有点难度的可能就送弄代理吧,但是代理可以模仿网上其他人的写法,所以还是不是很难。

#添加用户代理

def ua(uapools):
 thisua = random.choice(uapools)
 # print(thisua)
 headers = ("User-Agent", thisua)
 opener = urllib.request.build_opener()
 opener.addheaders = [headers]
 # 设置为全局变量
 urllib.request.install_opener(opener)

三、遇到的问题

1. 获取评论的时候也将子评论爬虫进去了。

仔细查看了源码,发现评论主要在 data 下面的 oriCommList 列表里,其他范围的评论为子评论。个人认为子评论也算有效评论,目前不打算处理。

python 爬取腾讯视频评论的实现步骤

2. 获取全部评论数,直接通过 requests 获取不到

尝试了 xpath 和 requests 发现不能获取全部评论数,所以目前只能通过 selenium 获取,但是 selenium 效率太低了,就获取一个评论总数,还不如打开源码直接修改评论总数,所以暂时没有修改

3. 评论总数数据太大

因为之前爬虫过很多网站,同一个 user-agent 很容易被 ban ,所以目前构建了用户代理,然后进行随机。其实还想加一个 ip 代理的,但是使用了 ip 代理的网址,上面写的正常的 ip ,在使用的时候,拒绝连接。也尝试过构建代理池。但是代理池一般都是使用docker 和 Redis 进行获取。暂时没有选用,之选用了用户代理,然后在获取 headers 的时候加个 time.sleep(1)。目前还是正常的。

4. 报错'utf-8' codec can't decode byte 0xff in position 1: invalid start byte

遇到这个问题,实在无语,我怀疑后面的评论是新出的 emjoy,然后utf-8不能识别,程序挂掉了。但是选取其他格式,在解释的过程估计还会挂掉,就暂时爬到1万条吧。

python 爬取腾讯视频评论的实现步骤

四、完整代码

代码仓库

以上就是python 爬取腾讯视频评论的实现步骤的详细内容,更多关于python 爬取腾讯视频评论的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python psutil模块简单使用实例
Apr 28 Python
详解Python3中yield生成器的用法
Aug 20 Python
Python函数中的函数(闭包)用法实例
Mar 15 Python
python递归查询菜单并转换成json实例
Mar 27 Python
基于Python的关键字监控及告警
Jul 06 Python
python+matplotlib实现礼盒柱状图实例代码
Jan 16 Python
Python使用matplotlib模块绘制图像并设置标题与坐标轴等信息示例
May 04 Python
python动态进度条的实现代码
Jul 03 Python
Python 操作 PostgreSQL 数据库示例【连接、增删改查等】
Apr 21 Python
django为Form生成的label标签添加class方式
May 20 Python
Python调用C语言程序方法解析
Jul 07 Python
python海龟绘图之画国旗实例代码
Nov 11 Python
Python之qq自动发消息的示例代码
Feb 18 #Python
Python对excel的基本操作方法
Feb 18 #Python
No module named ‘win32gui‘ 的解决方法(踩坑之旅)
Feb 18 #Python
Python操作Excel的学习笔记
Feb 18 #Python
手把手教你用Django执行原生SQL的方法
Feb 18 #Python
python中封包建立过程实例
Feb 18 #Python
python解包用法详解
Feb 17 #Python
You might like
php 全文搜索和替换的实现代码
2008/07/29 PHP
PHP源码之 ext/mysql扩展部分
2009/07/17 PHP
PHP中error_log()函数的使用方法
2015/01/20 PHP
PHP获取音频文件的相关信息
2015/06/22 PHP
PHP使用PDO调用mssql存储过程的方法示例
2017/10/07 PHP
php session_decode函数用法讲解
2019/05/26 PHP
php使用pecl方式安装扩展操作示例
2019/08/12 PHP
javascript 全角转换实现代码
2009/07/17 Javascript
JS小功能(setInterval实现图片效果显示时间)实例代码
2013/11/28 Javascript
Jquery ajaxStart()与ajaxStop()方法(实例讲解)
2013/12/18 Javascript
javascript中声明函数的方法及调用函数的返回值
2014/07/22 Javascript
详解JavaScript中getFullYear()方法的使用
2015/06/10 Javascript
jQuery实现监控页面所有ajax请求的方法
2015/12/10 Javascript
JavaScript制作弹出层效果
2016/12/02 Javascript
使用vue.js实现checkbox的全选和多个的删除功能
2017/02/17 Javascript
jQuery插件FusionCharts绘制的3D饼状图效果实例【附demo源码下载】
2017/03/03 Javascript
js与jQuery实现的用户注册协议倒计时功能实例【三种方法】
2017/11/09 jQuery
Node.js搭建小程序后台服务
2018/01/03 Javascript
Vue项目中使用Vux的安装过程
2018/05/01 Javascript
JS实现textarea通过换行或者回车把多行数字分割成数组并且去掉数组中空的值
2018/10/29 Javascript
javascript面向对象三大特征之多态实例详解
2019/07/24 Javascript
sharp.js安装过程中遇到的问题总结
2020/04/02 Javascript
Python多进程通信Queue、Pipe、Value、Array实例
2014/11/21 Python
Python写的Tkinter程序屏幕居中方法
2015/03/10 Python
pandas 根据列的值选取所有行的示例
2018/11/07 Python
python可视化实现代码
2019/01/15 Python
Python类的继承用法示例
2019/01/31 Python
python并发编程 Process对象的其他属性方法join方法详解
2019/08/20 Python
在pycharm中创建django项目的示例代码
2020/05/28 Python
python读取hdfs上的parquet文件方式
2020/06/06 Python
html5定制表单_动力节点Java学院整理
2017/07/11 HTML / CSS
美国大码时尚女装购物网站:ELOQUII
2017/12/28 全球购物
股权转让协议书范本
2014/04/12 职场文书
村级环境卫生整治方案
2014/05/04 职场文书
毕业典礼演讲稿
2014/05/13 职场文书
婚宴新郎致辞
2015/07/28 职场文书