Python爬虫分析微博热搜关键词的实现代码


Posted in Python onFebruary 22, 2021

1,使用到的第三方库
requests
BeautifulSoup 美味汤
worldcloud 词云
jieba 中文分词
matplotlib 绘图
2,代码实现部分

import requests
import wordcloud
import jieba
from bs4 import BeautifulSoup
from matplotlib import pyplot as plt
from pylab import mpl

#设置字体
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False

url = 'https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6'

try:
  #获取数据
  r = requests.get(url)
  r.raise_for_status()
  r.encoding = r.apparent_encoding
  soup = BeautifulSoup(r.text,'html.parser')
  data = soup.find_all('a')
  d_list = []
  for item in data:
    d_list.append(item.text)
  words = d_list[4:-11:]
  #中文分词
  result = list(jieba.cut(words[0]))
  for word in words[1::]:
    result.extend(jieba.cut(word))
  redata = []
  for it in result:
    if len(it) <= 1:
      continue
    else:
      redata.append(it)
  result_str = ' '.join(redata)
  #输出词云图
  font = r'C:\Windows\Fonts\simhei.ttf'
  w = wordcloud.WordCloud(font_path=font,width=600,height=400)
  w.generate(result_str)
  w.to_file('微博热搜关键词词云.png')
  key = list(set(redata))
  x,y = [],[]
  #筛选数据
  for st in key:
    count = redata.count(st)
    if count <= 1:
      continue
    else:
      x.append(st)
      y.append(count)
  x.sort()
  y.sort()
  #绘制结果图
  plt.plot(x,y)
  plt.show()
except Exception as e:
  print(e)

 

3,运行结果

Python爬虫分析微博热搜关键词的实现代码
Python爬虫分析微博热搜关键词的实现代码

到此这篇关于Python爬虫分析微博热搜关键词的文章就介绍到这了,更多相关Python爬虫微博热搜内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python使用shelve模块实现简单数据存储的方法
May 20 Python
Python实现控制台输入密码的方法
May 29 Python
Python连接phoenix的方法示例
Sep 29 Python
python对excel文档去重及求和的实例
Apr 18 Python
python实现C4.5决策树算法
Aug 29 Python
使用Python3+PyQT5+Pyserial 实现简单的串口工具方法
Feb 13 Python
python多线程共享变量的使用和效率方法
Jul 16 Python
python lambda表达式在sort函数中的使用详解
Aug 28 Python
python实现两个一维列表合并成一个二维列表
Dec 02 Python
Django创建一个后台的基本步骤记录
Oct 02 Python
python 如何用map()函数创建多线程任务
Apr 07 Python
Python爬虫入门案例之爬取二手房源数据
Oct 16 Python
anaconda升级sklearn版本的实现方法
Feb 22 #Python
详解Python 中的 defaultdict 数据类型
Feb 22 #Python
python快速安装OpenCV的步骤记录
Feb 22 #Python
Python中生成ndarray实例讲解
Feb 22 #Python
python爬虫利用代理池更换IP的方法步骤
Feb 21 #Python
Python用requests库爬取返回为空的解决办法
Feb 21 #Python
python利用proxybroker构建爬虫免费IP代理池的实现
Feb 21 #Python
You might like
php中addslashes函数与sql防注入
2014/11/17 PHP
PHP中preg_match正则匹配中的/u、/i、/s含义
2015/04/17 PHP
Javascript控制页面链接在新窗口打开具体方法
2013/08/16 Javascript
从数组中随机取x条不重复数据的JS代码
2013/12/24 Javascript
浅谈javascript中this在事件中的应用
2015/02/15 Javascript
JS+HTML5 FileReader对象用法示例
2017/04/07 Javascript
Vue关于数据绑定出错解决办法
2017/05/15 Javascript
简单实现jQuery弹窗效果
2017/10/30 jQuery
Vue.js实现的表格增加删除demo示例
2018/05/22 Javascript
解决vue.js this.$router.push无效的问题
2018/09/03 Javascript
微信小程序基础教程之worker线程的使用方法
2019/07/15 Javascript
JS事件流与事件处理程序实例分析
2019/08/16 Javascript
layerui代码控制tab选项卡,添加,关闭的实例
2019/09/04 Javascript
layer实现弹出层自动调节位置
2019/09/05 Javascript
ES10的13个新特性示例(小结)
2019/09/23 Javascript
Vue前端项目部署IIS的实现
2020/01/06 Javascript
[50:59]2018DOTA2亚洲邀请赛 4.7 总决赛 LGD vs Mineski第四场
2018/04/10 DOTA
Python中__call__用法实例
2014/08/29 Python
Python的函数的一些高阶特性
2015/04/27 Python
python读取二进制mnist实例详解
2017/05/31 Python
pandas中Timestamp类用法详解
2017/12/11 Python
python+selenium实现登录账户后自动点击的示例
2017/12/22 Python
python自动化报告的输出用例详解
2018/05/30 Python
Python3安装模块报错Microsoft Visual C++ 14.0 is required的解决方法
2020/07/28 Python
五分钟学会怎么用python做一个简单的贪吃蛇
2021/01/12 Python
css3实现冲击波效果的示例代码
2018/01/11 HTML / CSS
HTML5在微信内置浏览器下右上角菜单的调整字体导致页面显示错乱的问题
2021/01/19 HTML / CSS
Vince官网:全球著名设计师品牌,休闲而优雅的服饰
2017/01/15 全球购物
美国体育用品商店:Paragon Sports
2017/10/08 全球购物
美国领先的奢侈手表在线零售商:WatchMaxx
2017/12/17 全球购物
豪华床上用品、床单和浴室必需品:Peacock Alley
2019/09/04 全球购物
ShellScript面试题一则-ShellScript编程
2014/03/05 面试题
建筑班组长岗位职责
2014/01/02 职场文书
艺术学院毕业生自荐信
2014/07/05 职场文书
个人四风对照检查材料
2014/09/26 职场文书
单位工作证明
2014/10/07 职场文书