Python爬虫分析微博热搜关键词的实现代码


Posted in Python onFebruary 22, 2021

1,使用到的第三方库
requests
BeautifulSoup 美味汤
worldcloud 词云
jieba 中文分词
matplotlib 绘图
2,代码实现部分

import requests
import wordcloud
import jieba
from bs4 import BeautifulSoup
from matplotlib import pyplot as plt
from pylab import mpl

#设置字体
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False

url = 'https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6'

try:
  #获取数据
  r = requests.get(url)
  r.raise_for_status()
  r.encoding = r.apparent_encoding
  soup = BeautifulSoup(r.text,'html.parser')
  data = soup.find_all('a')
  d_list = []
  for item in data:
    d_list.append(item.text)
  words = d_list[4:-11:]
  #中文分词
  result = list(jieba.cut(words[0]))
  for word in words[1::]:
    result.extend(jieba.cut(word))
  redata = []
  for it in result:
    if len(it) <= 1:
      continue
    else:
      redata.append(it)
  result_str = ' '.join(redata)
  #输出词云图
  font = r'C:\Windows\Fonts\simhei.ttf'
  w = wordcloud.WordCloud(font_path=font,width=600,height=400)
  w.generate(result_str)
  w.to_file('微博热搜关键词词云.png')
  key = list(set(redata))
  x,y = [],[]
  #筛选数据
  for st in key:
    count = redata.count(st)
    if count <= 1:
      continue
    else:
      x.append(st)
      y.append(count)
  x.sort()
  y.sort()
  #绘制结果图
  plt.plot(x,y)
  plt.show()
except Exception as e:
  print(e)

 

3,运行结果

Python爬虫分析微博热搜关键词的实现代码
Python爬虫分析微博热搜关键词的实现代码

到此这篇关于Python爬虫分析微博热搜关键词的文章就介绍到这了,更多相关Python爬虫微博热搜内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
一个基于flask的web应用诞生 flask和mysql相连(4)
Apr 11 Python
python实现黑客字幕雨效果
Jun 21 Python
python中copy()与deepcopy()的区别小结
Aug 03 Python
django进阶之cookie和session的使用示例
Aug 17 Python
Python实现的矩阵转置与矩阵相乘运算示例
Mar 26 Python
python selenium循环登陆网站的实现
Nov 04 Python
使用matlab 判断两个矩阵是否相等的实例
May 11 Python
浅谈keras保存模型中的save()和save_weights()区别
May 21 Python
基于python实现ROC曲线绘制广场解析
Jun 28 Python
Python控制鼠标键盘代码实例
Dec 08 Python
python爬虫之利用selenium模块自动登录CSDN
Apr 22 Python
Python中npy和mat文件的保存与读取
Apr 24 Python
anaconda升级sklearn版本的实现方法
Feb 22 #Python
详解Python 中的 defaultdict 数据类型
Feb 22 #Python
python快速安装OpenCV的步骤记录
Feb 22 #Python
Python中生成ndarray实例讲解
Feb 22 #Python
python爬虫利用代理池更换IP的方法步骤
Feb 21 #Python
Python用requests库爬取返回为空的解决办法
Feb 21 #Python
python利用proxybroker构建爬虫免费IP代理池的实现
Feb 21 #Python
You might like
mysq GBKl乱码
2006/11/28 PHP
PHP获取文件绝对路径的代码(上一级目录)
2011/05/29 PHP
php在window iis的莫名问题的测试方法
2013/05/14 PHP
destoon实现公司新闻详细页添加评论功能的方法
2014/07/15 PHP
php源码分析之DZX1.5字符串截断函数cutstr用法
2015/06/17 PHP
在JavaScript中获取请求的URL参数
2010/12/22 Javascript
js 浏览器事件介绍
2012/03/30 Javascript
JavaScript高级程序设计(第3版)学习笔记7 js函数(上)
2012/10/11 Javascript
禁止你的左键复制实用技巧
2013/01/04 Javascript
使用jsonp完美解决跨域问题
2014/11/27 Javascript
Javascript中For In语句用法实例
2015/05/14 Javascript
js实现文本框选中的方法
2015/05/26 Javascript
概述javascript在Google IE中的调试技巧
2016/11/24 Javascript
bootstrap实现图片自动轮播
2016/12/21 Javascript
[js高手之路]原型式继承与寄生式继承详解
2017/08/28 Javascript
解决IOS端微信H5页面软键盘弹起后页面下方留白的问题
2019/06/05 Javascript
element-ui中Table表格省市区合并单元格的方法实现
2019/08/07 Javascript
使用python绘制人人网好友关系图示例
2014/04/01 Python
Python用Bottle轻量级框架进行Web开发
2016/06/08 Python
详解Python的Lambda函数与排序
2016/10/25 Python
Django开发中复选框用法示例
2018/03/20 Python
Python根据当前日期取去年同星期日期
2019/04/14 Python
python爬虫刷访问量 2019 7月
2019/08/01 Python
Python loguru日志库之高效输出控制台日志和日志记录
2020/03/07 Python
浅析NumPy 切片和索引
2020/09/02 Python
关于python scrapy中添加cookie踩坑记录
2020/11/17 Python
M1芯片安装python3.9.1的实现
2021/02/02 Python
Derek Rose官网:英国高档睡衣、家居服和内衣品牌
2020/01/18 全球购物
static全局变量与普通的全局变量有什么区别?static局部变量和普通局部变量有什么区别?static函数与普通函数有什么区别?
2015/02/22 面试题
施工安全协议书
2013/12/11 职场文书
大学学习生活感言
2014/01/18 职场文书
医院总经理岗位职责
2014/02/04 职场文书
优秀教研组申报材料
2014/12/26 职场文书
接收函格式
2015/01/30 职场文书
运动会广播稿200字
2015/08/19 职场文书
Python自动化之批量处理工作簿和工作表
2021/06/03 Python