Python爬虫抓取论坛关键字过程解析


Posted in Python onOctober 19, 2020

前言:

之前学习了用python爬虫的基本知识,现在计划用爬虫去做一些实际的数据统计功能。由于前段时间演员的诞生带火了几个年轻的实力派演员,想用爬虫程序搜索某论坛中对于某些演员的讨论热度,并按照日期统计每天的讨论量。

这个项目总共分为两步:

1.获取所有帖子的链接:

将最近一个月内的帖子链接保存到数组中

2.从回帖中搜索演员名字:

从数组中打开链接,翻出该链接的所有回帖,在回帖中查找演员的名字

获取所有帖子的链接:

搜索的范围依然是以虎扑影视区为界限。虎扑影视区一天约5000个回帖,一月下来超过15万回帖,作为样本来说也不算小,有一定的参考价值。

完成这一步骤,主要分为以下几步:

1.获取当前日期

2.获取30天前的日期

3.记录从第一页往后翻的所有发帖链接

1.获取当前日期

这里我们用到了datetime模块。使用datetime.datetime.now(),可以获取当前的日期信息以及时间信息。在这个项目中,只需要用到日期信息就好。

2.获取30天前的日期

用datetime模块的优点在于,它还有一个很好用的函数叫做timedelta,可以自行计算时间差。当给定参数days=30时,就会生成30天的时间差,再用当前日期减去delta,可以得到30天前的日期,将该日期保存为startday,即开始进行统计的日期。不然计算时间差需要自行考虑跨年闰年等因素,要通过一个较为复杂的函数才可以完成。

today = datetime.datetime.now()
delta = datetime.timedelta(days=30)
i = "%s" %(today - delta)
startday = i.split(' ')[0]
today = "%s" %today
today = today.split(' ')[0]

在获得开始日期与结束日期后,由于依然需要记录每一天每个人的讨论数,根据这两个日期生成两个字典,分别为actor1_dict与actor2_dict。字典以日期为key,以当日讨论数目作为value,便于每次新增查找记录时更新对应的value值。

strptime, strftime = datetime.datetime.strptime, datetime.datetime.strftime
days = (strptime(today, "%Y-%m-%d") - strptime(startday, "%Y-%m-%d")).days
for i in range(days+1):
temp = strftime(strptime(startday, "%Y-%m-%d") + datetime.timedelta(i), "%Y-%m-%d")
actor1_dict[temp] = 0
actor2_dict[temp] = 0

3.记录从第一页往后翻的所有发帖链接

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

​如图1所示,采用发帖顺序排列,可以得到所有的发帖时间(精确到分钟)。右键并点击查看网页源代码,可以发现当前帖子的链接页面,用正则表达式的方式抓取链接。

首先依然是获取30天前的日期,再抓取第i页的源代码,用正则表达式去匹配,获取网页链接和发帖时间。如图2所示:

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

比较发帖时间,如果小于30天前的日期,则获取发帖链接结束,返回当前拿到的链接数组,代码如下

def all_movie_post(ori_url):
  i = datetime.datetime.now()
  delta = datetime.timedelta(days=30)
  i = "%s" %(i - delta)
  day = i.split(' ')[0] # 获得30天前的日子
  print day
 
  user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
  headers = { 'User-Agent' : user_agent }
 
  post_list = []
  for i in range(1,100):
    request = urllib2.Request(ori_url + '-{}'.format(i),headers = headers)
    response = urllib2.urlopen(request)
    content = response.read().decode('utf-8')
    pattern = re.compile('<a href="(.*?)" rel="external nofollow" class="truetit" >.*?<a style="color:#808080;cursor: initial; ">(.*?)</a>', re.S)
    items = re.findall(pattern,content)
    for item in items:
      if item[1] == '2011-09-16':
        continue
      if item[1] > day: #如果是30天内的帖子,保存
        post_list.append('https://bbs.hupu.com' + item[0])
      else: #如果已经超过30天了,就直接返回
        return post_list
  return post_list

函数的传参是链接首页,在函数中修改页码,并继续搜索。

从回帖中搜索演员名字:

接下来的步骤也是通过一个函数来解决。函数的传参包括上一步中得到的链接数组,已经想要查询的演员名字(这个功能可以进一步扩展,将演员名字也用列表的形式传输,同时上一步生成的字典也可以多一些)。

由于虎扑论坛会将一些得到认可的回帖摆在前端,即重复出现。如图3所示:

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

​为了避免重复统计,将这些重复先去除,代码如下:

if i == 0:
        index = content.find('更多亮了的回帖')
        if index >= 0:
          content = content[index:]
        else:
          index = content.find('我要推荐')
          content = content[index:]

去除的规则其实并不重要,因为每个论坛都有自己的格式,只要能搞清楚源代码中是怎么写的,剩下的操作就可以自己根据规则进行。

每个回帖格式大致如图4,

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

用对应的正则表达式再去匹配,找到每个帖子每一个回帖的内容,在内容中搜索演员名字,即一开始的actor_1与actor_2,如果搜到,则在对应回帖日期下+1。

最终将两位演员名字出现频率返回,按日期记录的字典由于是全局变量,不需要返回。

web_str = '<span class="stime">(.*?) .*?</span>.*?<tbody>[\s]*<tr>[\s]*<td>(.*?)<br />' #找到回帖内容的正则
      pattern = re.compile(web_str, re.S)
      items = re.findall(pattern,content)
      for item in items:
        #if '<b>引用' in item: #如果引用别人的回帖,则去除引用部分
          #try:
            #item = item.split('</blockquote>')[1]
          #except:
            #print item
            #print item.decode('utf-8')
        if actor_1 in item[1]:
          actor1_dict[item[0]] += 1
          actor_1_freq += 1
        if actor_2 in item[1]:
          actor2_dict[item[0]] += 1
          actor_2_freq += 1

至此,我们就利用爬虫知识,成功完成对论坛关键字的频率搜索了。

这只是一个例子,关键字可以任意,这也不只是一个针对演员的诞生而写的程序。将演员名字换成其他词,就可以做到类似“您的年度关键字”这样的结果,根据频率大小来显示文字大小。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python脚本实现网卡流量监控
Feb 14 Python
python字典get()方法用法分析
Apr 17 Python
python读写二进制文件的方法
May 09 Python
python字典多键值及重复键值的使用方法(详解)
Oct 31 Python
Python 查找字符在字符串中的位置实例
May 02 Python
Python中偏函数用法示例
Jun 07 Python
Python删除n行后的其他行方法
Jan 28 Python
Python 写入训练日志文件并控制台输出解析
Aug 13 Python
python multiprocessing模块用法及原理介绍
Aug 20 Python
python 一篇文章搞懂装饰器所有用法(建议收藏)
Aug 23 Python
python GUI库图形界面开发之PyQt5时间控件QTimer详细使用方法与实例
Feb 26 Python
python实现交并比IOU教程
Apr 16 Python
python MD5加密的示例
Oct 19 #Python
python Yaml、Json、Dict之间的转化
Oct 19 #Python
Python pip 常用命令汇总
Oct 19 #Python
Python环境使用OpenCV检测人脸实现教程
Oct 19 #Python
python Tornado框架的使用示例
Oct 19 #Python
python mock测试的示例
Oct 19 #Python
python 提高开发效率的5个小技巧
Oct 19 #Python
You might like
数据库相关问题
2006/10/09 PHP
使用PHP静态变量当缓存的方法
2013/11/13 PHP
PHP常用操作类之通信数据封装类的实现
2017/07/16 PHP
PDO::exec讲解
2019/01/28 PHP
Laravel 实现添加多语言提示信息
2019/10/25 PHP
使用正则替换变量
2007/05/05 Javascript
BootStrap使用popover插件实现鼠标经过显示并保持显示框
2016/06/23 Javascript
jQuery展示表格点击变色、全选、删除
2017/01/05 Javascript
javascript 组合按键事件监听实现代码
2017/02/21 Javascript
Vue自定义组件双向绑定实现原理及方法详解
2020/09/03 Javascript
el-table表头根据内容自适应完美解决表头错位和固定列错位
2021/01/07 Javascript
[01:34]2016国际邀请赛中国区预选赛IG战队教练采访
2016/06/27 DOTA
[02:49]DAC2018决赛日TOP5 LGD开启黑暗之门绝杀VP
2018/04/08 DOTA
python3将视频流保存为本地视频文件
2018/06/20 Python
python flask实现分页的示例代码
2018/08/02 Python
在Python中使用defaultdict初始化字典以及应用方法
2018/10/31 Python
python使用requests模块实现爬取电影天堂最新电影信息
2019/04/03 Python
Django在admin后台集成TinyMCE富文本编辑器的例子
2019/08/09 Python
在pandas中遍历DataFrame行的实现方法
2019/10/23 Python
python实现监控阿里云账户余额功能
2019/12/16 Python
pycharm下配置pyqt5的教程(anaconda虚拟环境下+tensorflow)
2020/03/25 Python
python能否java成为主流语言吗
2020/06/22 Python
Python生成pdf目录书签的实例方法
2020/10/29 Python
HTML5拖拉上传文件的简单实例
2017/01/11 HTML / CSS
英国经典球衣网站:Classic Football Shirts
2017/05/20 全球购物
英国发展最快的在线超市之一:Click Marketplace
2021/02/15 全球购物
介绍一下Linux文件的记录形式
2013/09/29 面试题
2014法制宣传日活动总结范文
2014/11/01 职场文书
会议主持人开场白台词
2015/05/28 职场文书
永不妥协观后感
2015/06/10 职场文书
教育读书笔记
2015/07/02 职场文书
创业计划书之酒厂
2019/10/14 职场文书
试了下Golang实现try catch的方法
2021/07/01 Golang
剑指Offer之Java算法习题精讲二叉树的构造和遍历
2022/03/21 Java/Android
《杜鹃的婚约》OP主题曲「凸凹」无字幕影像公开
2022/04/08 日漫
javascript中Set、Map、WeakSet、WeakMap区别
2022/12/24 Javascript