Python爬虫抓取论坛关键字过程解析


Posted in Python onOctober 19, 2020

前言:

之前学习了用python爬虫的基本知识,现在计划用爬虫去做一些实际的数据统计功能。由于前段时间演员的诞生带火了几个年轻的实力派演员,想用爬虫程序搜索某论坛中对于某些演员的讨论热度,并按照日期统计每天的讨论量。

这个项目总共分为两步:

1.获取所有帖子的链接:

将最近一个月内的帖子链接保存到数组中

2.从回帖中搜索演员名字:

从数组中打开链接,翻出该链接的所有回帖,在回帖中查找演员的名字

获取所有帖子的链接:

搜索的范围依然是以虎扑影视区为界限。虎扑影视区一天约5000个回帖,一月下来超过15万回帖,作为样本来说也不算小,有一定的参考价值。

完成这一步骤,主要分为以下几步:

1.获取当前日期

2.获取30天前的日期

3.记录从第一页往后翻的所有发帖链接

1.获取当前日期

这里我们用到了datetime模块。使用datetime.datetime.now(),可以获取当前的日期信息以及时间信息。在这个项目中,只需要用到日期信息就好。

2.获取30天前的日期

用datetime模块的优点在于,它还有一个很好用的函数叫做timedelta,可以自行计算时间差。当给定参数days=30时,就会生成30天的时间差,再用当前日期减去delta,可以得到30天前的日期,将该日期保存为startday,即开始进行统计的日期。不然计算时间差需要自行考虑跨年闰年等因素,要通过一个较为复杂的函数才可以完成。

today = datetime.datetime.now()
delta = datetime.timedelta(days=30)
i = "%s" %(today - delta)
startday = i.split(' ')[0]
today = "%s" %today
today = today.split(' ')[0]

在获得开始日期与结束日期后,由于依然需要记录每一天每个人的讨论数,根据这两个日期生成两个字典,分别为actor1_dict与actor2_dict。字典以日期为key,以当日讨论数目作为value,便于每次新增查找记录时更新对应的value值。

strptime, strftime = datetime.datetime.strptime, datetime.datetime.strftime
days = (strptime(today, "%Y-%m-%d") - strptime(startday, "%Y-%m-%d")).days
for i in range(days+1):
temp = strftime(strptime(startday, "%Y-%m-%d") + datetime.timedelta(i), "%Y-%m-%d")
actor1_dict[temp] = 0
actor2_dict[temp] = 0

3.记录从第一页往后翻的所有发帖链接

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

​如图1所示,采用发帖顺序排列,可以得到所有的发帖时间(精确到分钟)。右键并点击查看网页源代码,可以发现当前帖子的链接页面,用正则表达式的方式抓取链接。

首先依然是获取30天前的日期,再抓取第i页的源代码,用正则表达式去匹配,获取网页链接和发帖时间。如图2所示:

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

比较发帖时间,如果小于30天前的日期,则获取发帖链接结束,返回当前拿到的链接数组,代码如下

def all_movie_post(ori_url):
  i = datetime.datetime.now()
  delta = datetime.timedelta(days=30)
  i = "%s" %(i - delta)
  day = i.split(' ')[0] # 获得30天前的日子
  print day
 
  user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
  headers = { 'User-Agent' : user_agent }
 
  post_list = []
  for i in range(1,100):
    request = urllib2.Request(ori_url + '-{}'.format(i),headers = headers)
    response = urllib2.urlopen(request)
    content = response.read().decode('utf-8')
    pattern = re.compile('<a href="(.*?)" rel="external nofollow" class="truetit" >.*?<a style="color:#808080;cursor: initial; ">(.*?)</a>', re.S)
    items = re.findall(pattern,content)
    for item in items:
      if item[1] == '2011-09-16':
        continue
      if item[1] > day: #如果是30天内的帖子,保存
        post_list.append('https://bbs.hupu.com' + item[0])
      else: #如果已经超过30天了,就直接返回
        return post_list
  return post_list

函数的传参是链接首页,在函数中修改页码,并继续搜索。

从回帖中搜索演员名字:

接下来的步骤也是通过一个函数来解决。函数的传参包括上一步中得到的链接数组,已经想要查询的演员名字(这个功能可以进一步扩展,将演员名字也用列表的形式传输,同时上一步生成的字典也可以多一些)。

由于虎扑论坛会将一些得到认可的回帖摆在前端,即重复出现。如图3所示:

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

​为了避免重复统计,将这些重复先去除,代码如下:

if i == 0:
        index = content.find('更多亮了的回帖')
        if index >= 0:
          content = content[index:]
        else:
          index = content.find('我要推荐')
          content = content[index:]

去除的规则其实并不重要,因为每个论坛都有自己的格式,只要能搞清楚源代码中是怎么写的,剩下的操作就可以自己根据规则进行。

每个回帖格式大致如图4,

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

用对应的正则表达式再去匹配,找到每个帖子每一个回帖的内容,在内容中搜索演员名字,即一开始的actor_1与actor_2,如果搜到,则在对应回帖日期下+1。

最终将两位演员名字出现频率返回,按日期记录的字典由于是全局变量,不需要返回。

web_str = '<span class="stime">(.*?) .*?</span>.*?<tbody>[\s]*<tr>[\s]*<td>(.*?)<br />' #找到回帖内容的正则
      pattern = re.compile(web_str, re.S)
      items = re.findall(pattern,content)
      for item in items:
        #if '<b>引用' in item: #如果引用别人的回帖,则去除引用部分
          #try:
            #item = item.split('</blockquote>')[1]
          #except:
            #print item
            #print item.decode('utf-8')
        if actor_1 in item[1]:
          actor1_dict[item[0]] += 1
          actor_1_freq += 1
        if actor_2 in item[1]:
          actor2_dict[item[0]] += 1
          actor_2_freq += 1

至此,我们就利用爬虫知识,成功完成对论坛关键字的频率搜索了。

这只是一个例子,关键字可以任意,这也不只是一个针对演员的诞生而写的程序。将演员名字换成其他词,就可以做到类似“您的年度关键字”这样的结果,根据频率大小来显示文字大小。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python脚本在Linux下实现部分Bash Shell的教程
Apr 17 Python
python实现用于测试网站访问速率的方法
May 26 Python
详解python3中socket套接字的编码问题解决
Jul 01 Python
python实现猜数字小游戏
Mar 24 Python
对python插入数据库和生成插入sql的示例讲解
Nov 14 Python
java判断三位数的实例讲解
Jun 10 Python
通过python实现弹窗广告拦截过程详解
Jul 10 Python
django 信号调度机制详解
Jul 19 Python
matlab中imadjust函数的作用及应用举例
Feb 27 Python
python 抓取知乎指定回答下视频的方法
Jul 09 Python
python 常见的排序算法实现汇总
Aug 21 Python
python 写一个文件分发小程序
Dec 05 Python
python MD5加密的示例
Oct 19 #Python
python Yaml、Json、Dict之间的转化
Oct 19 #Python
Python pip 常用命令汇总
Oct 19 #Python
Python环境使用OpenCV检测人脸实现教程
Oct 19 #Python
python Tornado框架的使用示例
Oct 19 #Python
python mock测试的示例
Oct 19 #Python
python 提高开发效率的5个小技巧
Oct 19 #Python
You might like
支持php4、php5的mysql数据库操作类
2008/01/10 PHP
PHP无限分类(树形类)的深入分析
2013/06/02 PHP
php简单实现文件或图片强制下载的方法
2016/12/06 PHP
js实现简单模态窗口,背景灰显
2008/11/14 Javascript
jquery 无限级联菜单案例分享
2013/03/26 Javascript
js获取当前日期代码适用于网页头部
2013/06/27 Javascript
父元素与子iframe相互获取变量和元素对象的具体实现
2013/10/15 Javascript
jQuery form插件的使用之处理server返回的JSON, XML,HTML数据
2016/01/26 Javascript
JavaScript中的this机制
2016/01/30 Javascript
jQuery实现三级菜单的代码
2016/05/09 Javascript
JS公共小方法之判断对象是否为domElement的实例
2016/11/25 Javascript
JS获取当前地理位置的方法
2017/10/25 Javascript
Vue-cli 使用json server在本地模拟请求数据的示例代码
2017/11/02 Javascript
解决eclipse中没有js代码提示的问题
2018/10/10 Javascript
layui的表单提交以及验证和修改弹框的实例
2019/09/09 Javascript
多页vue应用的单页面打包方法(内含打包模式的应用)
2020/06/11 Javascript
工作中常用js功能汇总
2020/11/07 Javascript
vue实现动态给id赋值,点击事件获取当前点击的元素的id操作
2020/11/09 Javascript
python如何实现excel数据添加到mongodb
2015/07/30 Python
用pickle存储Python的原生对象方法
2017/04/28 Python
Python使用pickle模块实现序列化功能示例
2018/07/13 Python
python 循环读取txt文档 并转换成csv的方法
2018/10/26 Python
Python实现SQL注入检测插件实例代码
2019/02/02 Python
Django admin禁用编辑链接和添加删除操作详解
2019/11/15 Python
python opencv圆、椭圆与任意多边形的绘制实例详解
2020/02/06 Python
浅谈python量化 双均线策略(金叉死叉)
2020/06/03 Python
详解python os.path.exists判断文件或文件夹是否存在
2020/11/16 Python
HMV日本官网:全球知名的音乐、DVD和电脑游戏零售巨头
2016/08/13 全球购物
入党自我鉴定范文
2013/10/04 职场文书
秋季运动会加油稿200字
2014/01/11 职场文书
初中军训感想300字
2014/03/05 职场文书
我心目中的好老师活动方案
2014/08/19 职场文书
工作散漫检讨书
2014/09/16 职场文书
楚门的世界观后感
2015/06/03 职场文书
党员读书活动心得体会
2016/01/14 职场文书
励志语录:你若不勇敢,谁替你坚强
2019/11/08 职场文书