使用python爬取微博数据打造一颗“心”


Posted in Python onJune 28, 2019

前言

一年一度的虐狗节终于过去了,朋友圈各种晒,晒自拍,晒娃,晒美食,秀恩爱的。程序员在晒什么,程序员在加班。但是礼物还是少不了的,送什么好?作为程序员,我准备了一份特别的礼物,用以往发的微博数据打造一颗“爱心”,我想她一定会感动得哭了吧。哈哈

准备工作

有了想法之后就开始行动了,自然最先想到的就是用 Python 了,大体思路就是把微博数据爬下来,数据经过清洗加工后再进行分词处理,处理后的数据交给词云工具,配合科学计算工具和绘图工具制作成图像出来,涉及到的工具包有:

requests 用于网络请求爬取微博数据,结巴分词进行中文分词处理,词云处理库 wordcloud,图片处理库 Pillow,科学计算工具 NumPy ,类似于 MATLAB 的 2D 绘图库 Matplotlib

工具安装

安装这些工具包时,不同系统平台有可能出现不一样的错误,wordcloud,requests,jieba 都可以通过普通的 pip 方式在线安装,

pip install wordcloud
pip install requests
pip install jieba

在Windows 平台安装 Pillow,NumPy,Matplotlib 直接用 pip 在线安装会出现各种问题,推荐的一种方式是在一个叫 Python Extension Packages for Windows 1 的第三方平台下载 相应的 .whl 文件安装。可以根据自己的系统环境选择下载安装 cp27 对应 python2.7,amd64 对应 64 位系统。下载到本地后进行安装

pip install Pillow-4.0.0-cp27-cp27m-win_amd64.whl
pip install scipy-0.18.0-cp27-cp27m-win_amd64.whl
pip install numpy-1.11.3+mkl-cp27-cp27m-win_amd64.whl
pip install matplotlib-1.5.3-cp27-cp27m-win_amd64.whl

其他平台可根据错误提示 Google 解决。或者直接基于 Anaconda 开发,它是 Python 的一个分支,内置了大量科学计算、机器学习的模块 。

获取数据

新浪微博官方提供的 API 是个渣渣,只能获取用户最新发布的5条数据,退而求其次,使用爬虫去抓取数据,抓取前先评估难度,看看是否有人写好了,在GitHub逛了一圈,基本没有满足需求的。倒是给我提供了一些思路,于是决定自己写爬虫。

使用 移动端网址去爬取数据。发现接口 可以分页获取微博数据,而且返回的数据是 json 格式,这样就省事很多了,不过该接口需要登录后的 cookies 信息,登录自己的帐号就可以通过 Chrome 浏览器 找到 Cookies 信息。

使用python爬取微博数据打造一颗“心”

实现代码:

def fetch_weibo():
api = "http://m.weibo.cn/index/my?format=cards&page=%s"
for i in range(1, 102):
response = requests.get(url=api % i, cookies=cookies)
data = response.json()[0]
groups = data.get("card_group") or []
for group in groups:
text = group.get("mblog").get("text")
text = text.encode("utf-8")
text = cleanring(text).strip()
yield text

查看微博的总页数是101,考虑到一次性返回一个列表对象太费内存,函数用 yield 返回一个生成器,此外还要对文本进行数据清洗,例如去除标点符号,HTML 标签,“转发微博”这样的字样。

保存数据

数据获取之后,我们要把它离线保存起来,方便下次重复使用,避免重复地去爬取。使用 csv 格式保存到 weibo.csv 文件中,以便下一步使用。数据保存到 csv 文件中打开的时候可能为乱码,没关系,用 notepad++查看不是乱码。

def write_csv(texts):
with codecs.open('weibo.csv', 'w') as f:
writer = csv.DictWriter(f, fieldnames=["text"])
writer.writeheader()
for text in texts:
writer.writerow({"text": text})
def read_csv():
with codecs.open('weibo.csv', 'r') as f:
reader = csv.DictReader(f)
for row in reader:
yield row['text']

分词处理

从 weibo.csv 文件中读出来的每一条微博进行分词处理后再交给 wordcloud 生成词云。结巴分词适用于大部分中文使用场景,使用停止词库 stopwords.txt 把无用的信息(比如:的,那么,因为等)过滤掉。

def word_segment(texts):
jieba.analyse.set_stop_words("stopwords.txt")
for text in texts:
tags = jieba.analyse.extract_tags(text, topK=20)
yield " ".join(tags)

生成图片

数据分词处理后,就可以给 wordcloud 处理了,wordcloud 根据数据里面的各个词出现的频率、权重按比列显示关键字的字体大小。生成方形的图像,如图:

使用python爬取微博数据打造一颗“心”

是的,生成的图片毫无美感,毕竟是要送人的也要拿得出手才好炫耀对吧,那么我们找一张富有艺术感的图片作为模版,临摹出一张漂亮的图出来。我在网上搜到一张“心”型图:

使用python爬取微博数据打造一颗“心”

生成图片代码:

def generate_img(texts):
data = " ".join(text for text in texts)
mask_img = imread('./heart-mask.jpg', flatten=True)
wordcloud = WordCloud(
font_path='msyh.ttc',
background_color='white',
mask=mask_img
).generate(data)
plt.imshow(wordcloud)
plt.axis('off')
plt.savefig('./heart.jpg', dpi=600)

需要注意的是处理时,需要给 matplotlib 指定中文字体,否则会显示乱码,找到字体文件夹:C:\Windows\Fonts\Microsoft YaHei UI复制该字体,拷贝到 matplotlib 安装目录:C:\Python27\Lib\site-packages\matplotlib\mpl-data\fonts\ttf 下

差不多就这样。

使用python爬取微博数据打造一颗“心”

当我自豪地把这张图发给她的时候,出现了这样的对话:

这是什么?
我:爱心啊,亲手做的
这么专业,好感动啊,你的眼里只有 python ,没有我 (哭笑)
我:明明是“心”中有 python 啊

我好像说错了什么。哈哈哈

完整代码可以Github 下载。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实例分享:快速查找出被挂马的文件
Jun 08 Python
Python如何读取MySQL数据库表数据
Mar 11 Python
Collatz 序列、逗号代码、字符图网格实例
Jun 22 Python
Python 批量合并多个txt文件的实例讲解
May 08 Python
python基于物品协同过滤算法实现代码
May 31 Python
Python 判断奇数偶数的方法
Dec 20 Python
Python 爬虫实现增加播客访问量的方法实现
Oct 31 Python
tensorflow 保存模型和取出中间权重例子
Jan 24 Python
利用jupyter网页版本进行python函数查询方式
Apr 14 Python
Python实现石头剪刀布游戏
Jan 20 Python
python基础之停用词过滤详解
Apr 21 Python
jupyter notebook保存文件默认路径更改方法汇总(亲测可以)
Jun 09 Python
详解python和matlab的优势与区别
Jun 28 #Python
python中while和for的区别总结
Jun 28 #Python
python脚本当作Linux中的服务启动实现方法
Jun 28 #Python
如何用Python制作微信好友个性签名词云图
Jun 28 #Python
python打包exe开机自动启动的实例(windows)
Jun 28 #Python
python脚本开机自启的实现方法
Jun 28 #Python
Python如何爬取微信公众号文章和评论(基于 Fiddler 抓包分析)
Jun 28 #Python
You might like
便携利器 — TECSUN PL-365简评
2021/03/02 无线电
实例(Smarty+FCKeditor新闻系统)
2007/01/02 PHP
PHP,ASP.JAVA,JAVA代码格式化工具整理
2010/06/15 PHP
PHP中获取内网用户MAC地址(WINDOWS/linux)的实现代码
2011/08/11 PHP
PHP Session 变量的使用方法详解与实例代码
2013/09/11 PHP
PHP创建XML的方法示例【基于DOMDocument类及SimpleXMLElement类】
2019/09/10 PHP
JS 自定义函数缺省值的设置方法
2010/05/05 Javascript
window.name代替cookie的实现代码
2010/11/28 Javascript
详解Javascript动态操作CSS
2014/12/08 Javascript
js中键盘事件实例简析
2015/01/10 Javascript
JavaScript自定义数组排序方法
2015/02/12 Javascript
BootStrap Select清除选中的状态恢复默认状态
2017/06/20 Javascript
js实现从左向右滑动式轮播图效果
2017/07/07 Javascript
javascript 取小数点后几位几种方法总结
2017/08/02 Javascript
vue中promise的使用及异步请求数据的方法
2018/11/08 Javascript
JavaScript高阶教程之“==”隐藏下的类型转换
2019/04/11 Javascript
微信小程序image图片加载完成监听
2019/08/31 Javascript
[02:09]抵达西雅图!中国军团加油!
2014/07/07 DOTA
为Python程序添加图形化界面的教程
2015/04/29 Python
Python中的with...as用法介绍
2015/05/28 Python
分分钟入门python语言
2018/03/20 Python
通过Py2exe将自己的python程序打包成.exe/.app的方法
2018/05/26 Python
详解pandas如何去掉、过滤数据集中的某些值或者某些行?
2019/05/15 Python
python pandas时序处理相关功能详解
2019/07/03 Python
django ModelForm修改显示缩略图 imagefield类型的实例
2019/07/28 Python
python面向对象 反射原理解析
2019/08/12 Python
浅析PEP572: 海象运算符
2019/10/15 Python
Python wordcloud库安装方法总结
2020/12/31 Python
西班牙伏林航空公司:Vueling
2016/08/05 全球购物
采用专利算法搜索最廉价的机票:CheapAir
2016/09/10 全球购物
Charlotte Tilbury澳大利亚官网:英国美妆品牌
2018/10/05 全球购物
初中考试作弊检讨书
2014/02/01 职场文书
2014两会学习心得:时代的发展
2014/03/17 职场文书
小学生勤俭节约倡议书
2015/04/29 职场文书
学校运动会感想
2015/08/10 职场文书
手把手教你制定暑期学习计划,让你度过充实的暑假
2019/08/22 职场文书