Python爬虫抓取论坛关键字过程解析


Posted in Python onOctober 19, 2020

前言:

之前学习了用python爬虫的基本知识,现在计划用爬虫去做一些实际的数据统计功能。由于前段时间演员的诞生带火了几个年轻的实力派演员,想用爬虫程序搜索某论坛中对于某些演员的讨论热度,并按照日期统计每天的讨论量。

这个项目总共分为两步:

1.获取所有帖子的链接:

将最近一个月内的帖子链接保存到数组中

2.从回帖中搜索演员名字:

从数组中打开链接,翻出该链接的所有回帖,在回帖中查找演员的名字

获取所有帖子的链接:

搜索的范围依然是以虎扑影视区为界限。虎扑影视区一天约5000个回帖,一月下来超过15万回帖,作为样本来说也不算小,有一定的参考价值。

完成这一步骤,主要分为以下几步:

1.获取当前日期

2.获取30天前的日期

3.记录从第一页往后翻的所有发帖链接

1.获取当前日期

这里我们用到了datetime模块。使用datetime.datetime.now(),可以获取当前的日期信息以及时间信息。在这个项目中,只需要用到日期信息就好。

2.获取30天前的日期

用datetime模块的优点在于,它还有一个很好用的函数叫做timedelta,可以自行计算时间差。当给定参数days=30时,就会生成30天的时间差,再用当前日期减去delta,可以得到30天前的日期,将该日期保存为startday,即开始进行统计的日期。不然计算时间差需要自行考虑跨年闰年等因素,要通过一个较为复杂的函数才可以完成。

today = datetime.datetime.now()
delta = datetime.timedelta(days=30)
i = "%s" %(today - delta)
startday = i.split(' ')[0]
today = "%s" %today
today = today.split(' ')[0]

在获得开始日期与结束日期后,由于依然需要记录每一天每个人的讨论数,根据这两个日期生成两个字典,分别为actor1_dict与actor2_dict。字典以日期为key,以当日讨论数目作为value,便于每次新增查找记录时更新对应的value值。

strptime, strftime = datetime.datetime.strptime, datetime.datetime.strftime
days = (strptime(today, "%Y-%m-%d") - strptime(startday, "%Y-%m-%d")).days
for i in range(days+1):
temp = strftime(strptime(startday, "%Y-%m-%d") + datetime.timedelta(i), "%Y-%m-%d")
actor1_dict[temp] = 0
actor2_dict[temp] = 0

3.记录从第一页往后翻的所有发帖链接

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

​如图1所示,采用发帖顺序排列,可以得到所有的发帖时间(精确到分钟)。右键并点击查看网页源代码,可以发现当前帖子的链接页面,用正则表达式的方式抓取链接。

首先依然是获取30天前的日期,再抓取第i页的源代码,用正则表达式去匹配,获取网页链接和发帖时间。如图2所示:

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

比较发帖时间,如果小于30天前的日期,则获取发帖链接结束,返回当前拿到的链接数组,代码如下

def all_movie_post(ori_url):
  i = datetime.datetime.now()
  delta = datetime.timedelta(days=30)
  i = "%s" %(i - delta)
  day = i.split(' ')[0] # 获得30天前的日子
  print day
 
  user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
  headers = { 'User-Agent' : user_agent }
 
  post_list = []
  for i in range(1,100):
    request = urllib2.Request(ori_url + '-{}'.format(i),headers = headers)
    response = urllib2.urlopen(request)
    content = response.read().decode('utf-8')
    pattern = re.compile('<a href="(.*?)" rel="external nofollow" class="truetit" >.*?<a style="color:#808080;cursor: initial; ">(.*?)</a>', re.S)
    items = re.findall(pattern,content)
    for item in items:
      if item[1] == '2011-09-16':
        continue
      if item[1] > day: #如果是30天内的帖子,保存
        post_list.append('https://bbs.hupu.com' + item[0])
      else: #如果已经超过30天了,就直接返回
        return post_list
  return post_list

函数的传参是链接首页,在函数中修改页码,并继续搜索。

从回帖中搜索演员名字:

接下来的步骤也是通过一个函数来解决。函数的传参包括上一步中得到的链接数组,已经想要查询的演员名字(这个功能可以进一步扩展,将演员名字也用列表的形式传输,同时上一步生成的字典也可以多一些)。

由于虎扑论坛会将一些得到认可的回帖摆在前端,即重复出现。如图3所示:

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

​为了避免重复统计,将这些重复先去除,代码如下:

if i == 0:
        index = content.find('更多亮了的回帖')
        if index >= 0:
          content = content[index:]
        else:
          index = content.find('我要推荐')
          content = content[index:]

去除的规则其实并不重要,因为每个论坛都有自己的格式,只要能搞清楚源代码中是怎么写的,剩下的操作就可以自己根据规则进行。

每个回帖格式大致如图4,

Python爬虫抓取论坛关键字过程解析Python爬虫抓取论坛关键字过程解析

用对应的正则表达式再去匹配,找到每个帖子每一个回帖的内容,在内容中搜索演员名字,即一开始的actor_1与actor_2,如果搜到,则在对应回帖日期下+1。

最终将两位演员名字出现频率返回,按日期记录的字典由于是全局变量,不需要返回。

web_str = '<span class="stime">(.*?) .*?</span>.*?<tbody>[\s]*<tr>[\s]*<td>(.*?)<br />' #找到回帖内容的正则
      pattern = re.compile(web_str, re.S)
      items = re.findall(pattern,content)
      for item in items:
        #if '<b>引用' in item: #如果引用别人的回帖,则去除引用部分
          #try:
            #item = item.split('</blockquote>')[1]
          #except:
            #print item
            #print item.decode('utf-8')
        if actor_1 in item[1]:
          actor1_dict[item[0]] += 1
          actor_1_freq += 1
        if actor_2 in item[1]:
          actor2_dict[item[0]] += 1
          actor_2_freq += 1

至此,我们就利用爬虫知识,成功完成对论坛关键字的频率搜索了。

这只是一个例子,关键字可以任意,这也不只是一个针对演员的诞生而写的程序。将演员名字换成其他词,就可以做到类似“您的年度关键字”这样的结果,根据频率大小来显示文字大小。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
利用python爬取软考试题之ip自动代理
Mar 28 Python
对pandas中apply函数的用法详解
Apr 10 Python
Python实现判断给定列表是否有重复元素的方法
Apr 11 Python
python学习笔记--将python源文件打包成exe文件(pyinstaller)
May 26 Python
Python实现的建造者模式示例
Aug 06 Python
Python线程同步的实现代码
Oct 03 Python
python字符串中匹配数字的正则表达式
Jul 03 Python
TensorFlow实现简单的CNN的方法
Jul 18 Python
解决python 上传图片限制格式问题
Oct 30 Python
python对验证码降噪的实现示例代码
Nov 12 Python
matplotlib实现显示伪彩色图像及色度条
Dec 07 Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 Python
python MD5加密的示例
Oct 19 #Python
python Yaml、Json、Dict之间的转化
Oct 19 #Python
Python pip 常用命令汇总
Oct 19 #Python
Python环境使用OpenCV检测人脸实现教程
Oct 19 #Python
python Tornado框架的使用示例
Oct 19 #Python
python mock测试的示例
Oct 19 #Python
python 提高开发效率的5个小技巧
Oct 19 #Python
You might like
PHP 中的面向对象编程:通向大型 PHP 工程的办法
2006/12/03 PHP
PHP使用CURL实现多线程抓取网页
2015/04/30 PHP
php常用表单验证类用法实例
2015/06/18 PHP
Laravel中使用FormRequest进行表单验证方法及问题汇总
2016/06/19 PHP
PHP bin2hex()函数基础实例讲解
2019/02/11 PHP
深入理解PHP+Mysql分布式事务与解决方案
2020/12/03 PHP
greybox——不开新窗口看新的网页
2007/02/20 Javascript
jquery插件冲突(jquery.noconflict)解决方法分享
2014/03/20 Javascript
AngularJS基础教程之简单介绍
2015/09/27 Javascript
概述一个页面从输入URL到页面加载完的过程
2016/12/16 Javascript
详解微信小程序——自定义圆形进度条
2016/12/29 Javascript
vue构建单页面应用实战
2017/04/10 Javascript
详解微信小程序审核不通过的解决方法
2018/01/17 Javascript
JS匿名函数和匿名自执行函数概念与用法分析
2018/03/16 Javascript
vue 移动端适配方案详解
2018/11/15 Javascript
Vue项目从webpack3.x升级webpack4不完全指南
2019/04/28 Javascript
关于angular引入ng-zorro的问题浅析
2020/09/09 Javascript
原生JavaScript实现购物车
2021/01/10 Javascript
[01:44]Ti10举办地公布
2019/08/25 DOTA
python实现探测socket和web服务示例
2014/03/28 Python
python网络编程学习笔记(七):HTML和XHTML解析(HTMLParser、BeautifulSoup)
2014/06/09 Python
Python3中的json模块使用详解
2018/05/05 Python
python2 与 python3 实现共存的方法
2018/07/12 Python
Django框架视图函数设计示例
2019/07/29 Python
使用Python给头像戴上圣诞帽的图像操作过程解析
2019/09/20 Python
Python flask框架端口失效解决方案
2020/06/04 Python
MANGO官方网站:西班牙芒果服装品牌
2017/01/15 全球购物
瑞士图书网站:Weltbild.ch
2019/09/17 全球购物
.TTL是什么?有什么用处,通常那些工具会用到它?(ping? traceroute? ifconfig? netstat?)
2016/05/09 面试题
财务会计专业推荐信
2013/11/30 职场文书
幼儿园新学期寄语
2014/01/18 职场文书
网络教育自我鉴定
2014/02/04 职场文书
2014年双拥工作总结
2014/11/21 职场文书
小学三年级班主任工作经验交流材料
2015/11/02 职场文书
教师师德承诺书2016
2016/03/25 职场文书
用 Python 元类的特性实现 ORM 框架
2021/05/19 Python