python 爬取腾讯视频评论的实现步骤


Posted in Python onFebruary 18, 2021

一、网址分析

查阅了网上的大部分资料,大概都是通过抓包获取。但是抓包有点麻烦,尝试了F12,也可以获取到评论。以电视剧《在一起》为例子。评论最底端有个查看更多评论猜测过去应该是 Ajax 的异步加载。
网上的大部分都是构建评论的网址,通过 requests 获取,正则表达式进行数据处理。本文也利用该方法进行数据处理,其实利用 scrapy 会更简单。
根据前辈给出的经验,顺利找到了评论所在的链接。

python 爬取腾讯视频评论的实现步骤

在新标签中打开,该网址的链接。

python 爬取腾讯视频评论的实现步骤

评论都在"content":"xxxxx"里面,所有可以通过正则表达式获取。
那么现在要开始构建网址,找到其规律。
在查找评论链接的过程中无意发现,点击影评旁边的评论总数,可以获取到更为干净的评论界面。结果是一样的。

python 爬取腾讯视频评论的实现步骤

既然是要爬取所有的评论,所以知道评论数是必不可少的。

python 爬取腾讯视频评论的实现步骤

再通过F12获取到评论链接,找到网址的规律,构建网址,加载三四个评论就行了。这里加载了四个网址。把所有网址复制到文本文件中,进行对比分析。

python 爬取腾讯视频评论的实现步骤

观察发现只有 cursor 和 source 进行了改变,其他是不变的,二 source 是在第一个的基础上进行加一操作,所以只需要获取到 cursor 即可。我们打开一个评论链接的网址,我们可以知道,cursor 其实是上一页 最后一个用户的ID码。所以我们只需要在爬取上一页的时候一起爬虫了。然后就可以构建网址。

python 爬取腾讯视频评论的实现步骤

二、代码编写

这个代码还是简单的。套用之前上课做的模板就可以直接进行爬虫了。
通过正则表达式获取评论,返回一个列表;
正则表达式获得的 cursor 码是列表,所以要转化为字符串使用;
source 很简单了,直接在上一个的基础上加一即可。

def getComment(html): # 爬取单页评论

 findeComment = re.compile(r'"content":"(.*?)"', re.S)
 comment = re.findall(findeComment, html)
 # print(comment)
 return comment

def getCursor(html): # 获取下一页的cursor码
 findeCursor = re.compile(r'"last":"(.*?)"', re.S)
 cursor = re.findall(findeCursor, html)[0]
 # print(cursor)
 return cursor


def getSource(source): # 获取下一页的source码
 source = int(source) + 1
 return str(source)

有点难度的可能就送弄代理吧,但是代理可以模仿网上其他人的写法,所以还是不是很难。

#添加用户代理

def ua(uapools):
 thisua = random.choice(uapools)
 # print(thisua)
 headers = ("User-Agent", thisua)
 opener = urllib.request.build_opener()
 opener.addheaders = [headers]
 # 设置为全局变量
 urllib.request.install_opener(opener)

三、遇到的问题

1. 获取评论的时候也将子评论爬虫进去了。

仔细查看了源码,发现评论主要在 data 下面的 oriCommList 列表里,其他范围的评论为子评论。个人认为子评论也算有效评论,目前不打算处理。

python 爬取腾讯视频评论的实现步骤

2. 获取全部评论数,直接通过 requests 获取不到

尝试了 xpath 和 requests 发现不能获取全部评论数,所以目前只能通过 selenium 获取,但是 selenium 效率太低了,就获取一个评论总数,还不如打开源码直接修改评论总数,所以暂时没有修改

3. 评论总数数据太大

因为之前爬虫过很多网站,同一个 user-agent 很容易被 ban ,所以目前构建了用户代理,然后进行随机。其实还想加一个 ip 代理的,但是使用了 ip 代理的网址,上面写的正常的 ip ,在使用的时候,拒绝连接。也尝试过构建代理池。但是代理池一般都是使用docker 和 Redis 进行获取。暂时没有选用,之选用了用户代理,然后在获取 headers 的时候加个 time.sleep(1)。目前还是正常的。

4. 报错'utf-8' codec can't decode byte 0xff in position 1: invalid start byte

遇到这个问题,实在无语,我怀疑后面的评论是新出的 emjoy,然后utf-8不能识别,程序挂掉了。但是选取其他格式,在解释的过程估计还会挂掉,就暂时爬到1万条吧。

python 爬取腾讯视频评论的实现步骤

四、完整代码

代码仓库

以上就是python 爬取腾讯视频评论的实现步骤的详细内容,更多关于python 爬取腾讯视频评论的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python分析nignx访问日志脚本分享
Feb 26 Python
python实现读Excel写入.txt的方法
Apr 29 Python
对Django外键关系的描述
Jul 26 Python
python绘制规则网络图形实例
Dec 09 Python
python装饰器代替set get方法实例
Dec 19 Python
Python基于Dlib的人脸识别系统的实现
Feb 26 Python
Python列表倒序输出及其效率详解
Mar 04 Python
解决IDEA 的 plugins 搜不到任何的插件问题
May 04 Python
python导入库的具体方法
Jun 18 Python
利用Python如何制作贪吃蛇及AI版贪吃蛇详解
Aug 24 Python
python如何将图片转换素描画
Sep 08 Python
python 实现控制鼠标键盘
Nov 27 Python
Python之qq自动发消息的示例代码
Feb 18 #Python
Python对excel的基本操作方法
Feb 18 #Python
No module named ‘win32gui‘ 的解决方法(踩坑之旅)
Feb 18 #Python
Python操作Excel的学习笔记
Feb 18 #Python
手把手教你用Django执行原生SQL的方法
Feb 18 #Python
python中封包建立过程实例
Feb 18 #Python
python解包用法详解
Feb 17 #Python
You might like
php获得当前的脚本网址
2007/12/10 PHP
centos 5.6 升级php到5.3的方法
2011/05/14 PHP
Zend Framework框架路由机制代码分析
2016/03/22 PHP
Netbeans 8.2将支持PHP7 更精彩
2016/06/13 PHP
php实现跨域提交form表单的方法【2种方法】
2016/10/17 PHP
用php+ajax新建流程(请假、进货、出货等)
2017/06/11 PHP
laravel 中某一字段自增、自减的例子
2019/10/11 PHP
PHP语言对接抖音快手小红书视频/图片去水印API接口源码
2020/08/11 PHP
Js 随机数产生6位数字
2010/05/13 Javascript
jQuery动态添加 input type=file的实现代码
2012/06/14 Javascript
js写一个字符串转成驼峰的实例
2013/06/21 Javascript
js读取cookie方法总结
2014/10/31 Javascript
jQuery实现的淡入淡出二级菜单效果代码
2015/09/15 Javascript
深入理解JavaScript程序中内存泄漏
2016/03/17 Javascript
详解基于vue-cli配置移动端自适应
2018/01/13 Javascript
Vue 组件传值几种常用方法【总结】
2018/05/28 Javascript
微信小程序云开发实现云数据库读写权限
2019/05/17 Javascript
浅谈react-router@4.0 使用方法和源码分析
2019/06/04 Javascript
vue+elementui通用弹窗的实现(新增+编辑)
2021/01/07 Vue.js
Django1.3添加app提示模块不存在的解决方法
2014/08/26 Python
ubuntu系统下 python链接mysql数据库的方法
2017/01/09 Python
Python判断变量是否为Json格式的字符串示例
2017/05/03 Python
python中实现精确的浮点数运算详解
2017/11/02 Python
numpy.random.shuffle打乱顺序函数的实现
2019/09/10 Python
python的json中方法及jsonpath模块用法分析
2019/12/06 Python
使用pytorch实现可视化中间层的结果
2019/12/30 Python
python颜色随机生成器的实例代码
2020/01/10 Python
django美化后台django-suit的安装配置操作
2020/07/12 Python
使用PyCharm安装pytest及requests的问题
2020/07/31 Python
HTML5中的音频和视频媒体播放元素小结
2016/01/29 HTML / CSS
整理HTML5中表单的常用属性及新属性
2016/02/19 HTML / CSS
html2canvas截图空白问题的解决
2020/03/24 HTML / CSS
雷朋巴西官方商店:Ray-Ban Brasil
2020/07/21 全球购物
营销总监岗位职责范本
2014/02/26 职场文书
2014年综合治理工作总结
2014/11/20 职场文书
公司优秀员工推荐信
2015/03/24 职场文书