使用python爬取微博数据打造一颗“心”


Posted in Python onJune 28, 2019

前言

一年一度的虐狗节终于过去了,朋友圈各种晒,晒自拍,晒娃,晒美食,秀恩爱的。程序员在晒什么,程序员在加班。但是礼物还是少不了的,送什么好?作为程序员,我准备了一份特别的礼物,用以往发的微博数据打造一颗“爱心”,我想她一定会感动得哭了吧。哈哈

准备工作

有了想法之后就开始行动了,自然最先想到的就是用 Python 了,大体思路就是把微博数据爬下来,数据经过清洗加工后再进行分词处理,处理后的数据交给词云工具,配合科学计算工具和绘图工具制作成图像出来,涉及到的工具包有:

requests 用于网络请求爬取微博数据,结巴分词进行中文分词处理,词云处理库 wordcloud,图片处理库 Pillow,科学计算工具 NumPy ,类似于 MATLAB 的 2D 绘图库 Matplotlib

工具安装

安装这些工具包时,不同系统平台有可能出现不一样的错误,wordcloud,requests,jieba 都可以通过普通的 pip 方式在线安装,

pip install wordcloud
pip install requests
pip install jieba

在Windows 平台安装 Pillow,NumPy,Matplotlib 直接用 pip 在线安装会出现各种问题,推荐的一种方式是在一个叫 Python Extension Packages for Windows 1 的第三方平台下载 相应的 .whl 文件安装。可以根据自己的系统环境选择下载安装 cp27 对应 python2.7,amd64 对应 64 位系统。下载到本地后进行安装

pip install Pillow-4.0.0-cp27-cp27m-win_amd64.whl
pip install scipy-0.18.0-cp27-cp27m-win_amd64.whl
pip install numpy-1.11.3+mkl-cp27-cp27m-win_amd64.whl
pip install matplotlib-1.5.3-cp27-cp27m-win_amd64.whl

其他平台可根据错误提示 Google 解决。或者直接基于 Anaconda 开发,它是 Python 的一个分支,内置了大量科学计算、机器学习的模块 。

获取数据

新浪微博官方提供的 API 是个渣渣,只能获取用户最新发布的5条数据,退而求其次,使用爬虫去抓取数据,抓取前先评估难度,看看是否有人写好了,在GitHub逛了一圈,基本没有满足需求的。倒是给我提供了一些思路,于是决定自己写爬虫。

使用 移动端网址去爬取数据。发现接口 可以分页获取微博数据,而且返回的数据是 json 格式,这样就省事很多了,不过该接口需要登录后的 cookies 信息,登录自己的帐号就可以通过 Chrome 浏览器 找到 Cookies 信息。

使用python爬取微博数据打造一颗“心”

实现代码:

def fetch_weibo():
api = "http://m.weibo.cn/index/my?format=cards&page=%s"
for i in range(1, 102):
response = requests.get(url=api % i, cookies=cookies)
data = response.json()[0]
groups = data.get("card_group") or []
for group in groups:
text = group.get("mblog").get("text")
text = text.encode("utf-8")
text = cleanring(text).strip()
yield text

查看微博的总页数是101,考虑到一次性返回一个列表对象太费内存,函数用 yield 返回一个生成器,此外还要对文本进行数据清洗,例如去除标点符号,HTML 标签,“转发微博”这样的字样。

保存数据

数据获取之后,我们要把它离线保存起来,方便下次重复使用,避免重复地去爬取。使用 csv 格式保存到 weibo.csv 文件中,以便下一步使用。数据保存到 csv 文件中打开的时候可能为乱码,没关系,用 notepad++查看不是乱码。

def write_csv(texts):
with codecs.open('weibo.csv', 'w') as f:
writer = csv.DictWriter(f, fieldnames=["text"])
writer.writeheader()
for text in texts:
writer.writerow({"text": text})
def read_csv():
with codecs.open('weibo.csv', 'r') as f:
reader = csv.DictReader(f)
for row in reader:
yield row['text']

分词处理

从 weibo.csv 文件中读出来的每一条微博进行分词处理后再交给 wordcloud 生成词云。结巴分词适用于大部分中文使用场景,使用停止词库 stopwords.txt 把无用的信息(比如:的,那么,因为等)过滤掉。

def word_segment(texts):
jieba.analyse.set_stop_words("stopwords.txt")
for text in texts:
tags = jieba.analyse.extract_tags(text, topK=20)
yield " ".join(tags)

生成图片

数据分词处理后,就可以给 wordcloud 处理了,wordcloud 根据数据里面的各个词出现的频率、权重按比列显示关键字的字体大小。生成方形的图像,如图:

使用python爬取微博数据打造一颗“心”

是的,生成的图片毫无美感,毕竟是要送人的也要拿得出手才好炫耀对吧,那么我们找一张富有艺术感的图片作为模版,临摹出一张漂亮的图出来。我在网上搜到一张“心”型图:

使用python爬取微博数据打造一颗“心”

生成图片代码:

def generate_img(texts):
data = " ".join(text for text in texts)
mask_img = imread('./heart-mask.jpg', flatten=True)
wordcloud = WordCloud(
font_path='msyh.ttc',
background_color='white',
mask=mask_img
).generate(data)
plt.imshow(wordcloud)
plt.axis('off')
plt.savefig('./heart.jpg', dpi=600)

需要注意的是处理时,需要给 matplotlib 指定中文字体,否则会显示乱码,找到字体文件夹:C:\Windows\Fonts\Microsoft YaHei UI复制该字体,拷贝到 matplotlib 安装目录:C:\Python27\Lib\site-packages\matplotlib\mpl-data\fonts\ttf 下

差不多就这样。

使用python爬取微博数据打造一颗“心”

当我自豪地把这张图发给她的时候,出现了这样的对话:

这是什么?
我:爱心啊,亲手做的
这么专业,好感动啊,你的眼里只有 python ,没有我 (哭笑)
我:明明是“心”中有 python 啊

我好像说错了什么。哈哈哈

完整代码可以Github 下载。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现图片批量剪切示例
Mar 25 Python
python实现登陆知乎获得个人收藏并保存为word文件
Mar 16 Python
Pycharm设置界面全黑的方法
May 23 Python
Ubuntu下Python2与Python3的共存问题
Oct 31 Python
Django框架登录加上验证码校验实现验证功能示例
May 23 Python
python如何以表格形式打印输出的方法示例
Jun 21 Python
教你一步步利用python实现贪吃蛇游戏
Jun 27 Python
Python线上环境使用日志的及配置文件
Jul 28 Python
使用python的pyplot绘制函数实例
Feb 13 Python
记一次pyinstaller打包pygame项目为exe的过程(带图片)
Mar 02 Python
python“静态”变量、实例变量与本地变量的声明示例
Nov 13 Python
利用Python实现Picgo图床工具
Nov 23 Python
详解python和matlab的优势与区别
Jun 28 #Python
python中while和for的区别总结
Jun 28 #Python
python脚本当作Linux中的服务启动实现方法
Jun 28 #Python
如何用Python制作微信好友个性签名词云图
Jun 28 #Python
python打包exe开机自动启动的实例(windows)
Jun 28 #Python
python脚本开机自启的实现方法
Jun 28 #Python
Python如何爬取微信公众号文章和评论(基于 Fiddler 抓包分析)
Jun 28 #Python
You might like
利用“多说”制作留言板、评论系统
2015/07/14 PHP
Yii2――使用数据库操作汇总(增删查改、事务)
2016/12/19 PHP
php中分页及SqlHelper类用法实例
2017/01/12 PHP
PHP大文件切割上传功能实例分析
2019/07/01 PHP
Mozilla中显示textarea中选择的文字
2006/09/07 Javascript
另类调用flash无须激活的方法
2006/12/27 Javascript
jquery tools 系列 scrollable(2)
2009/09/06 Javascript
jQuery.fn和jQuery.prototype区别介绍
2013/10/05 Javascript
JQuery操作iframe父页面与子页面的元素与方法(实例讲解)
2013/11/20 Javascript
js获取时间精确到秒(年月日)
2016/03/16 Javascript
深入理解angularjs过滤器
2016/05/25 Javascript
Bootstrap Paginator分页插件与ajax相结合实现动态无刷新分页效果
2016/05/27 Javascript
巧用jQuery选择器提高写表单效率的方法
2016/08/19 Javascript
AngularJS中一般函数参数传递用法分析
2016/11/22 Javascript
浅谈使用splice函数对数组中的元素进行删除时的注意事项
2016/12/04 Javascript
JavaScript之Map和Set_动力节点Java学院整理
2017/06/29 Javascript
javascript导出csv文件(excel)的方法示例
2019/08/25 Javascript
详解JavaScript 中的批处理和缓存
2020/11/19 Javascript
[02:20]DOTA2亚洲邀请赛 EHOME战队出场宣传片
2015/02/07 DOTA
[00:36]DOTA2上海特级锦标赛 Alliance战队宣传片
2016/03/04 DOTA
Python入门之modf()方法的使用
2015/05/15 Python
Python中的pygal安装和绘制直方图代码分享
2017/12/08 Python
django session完成状态保持的方法
2018/11/27 Python
Pycharm 设置默认头的图文教程
2019/01/17 Python
Python 3.6打包成EXE可执行程序的实现
2019/10/18 Python
服务器端jupyter notebook映射到本地浏览器的操作
2020/04/14 Python
Python如何优雅删除字符列表空字符及None元素
2020/06/25 Python
Django静态文件加载失败解决方案
2020/08/26 Python
彻底弄明白CSS3的Media Queries(跨平台设计)
2010/07/27 HTML / CSS
嘻哈珠宝品牌:KRKC&CO
2020/10/19 全球购物
十佳家长事迹材料
2014/08/26 职场文书
教师业务学习材料
2014/12/16 职场文书
教师节主题班会教案
2015/08/17 职场文书
高质量“欢迎词”
2019/04/03 职场文书
Python 制作自动化翻译工具
2021/04/25 Python
Golang jwt身份认证
2022/04/20 Golang