Python爬虫爬取博客实现可视化过程解析


Posted in Python onJune 29, 2020

源码:

from pyecharts import Bar
import re
import requests
num=0
b=[]
for i in range(1,11):
  link='https://www.cnblogs.com/echoDetected/default.html?page='+str(i)
  headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'}
  r=requests.get(link,headers=headers)
  html=r.text
  post=re.findall('<span class="post-view-count">(.*?)</span>',html)
for i in post:
    i = i.replace("阅读(", "")
    i = i.replace(")","")
    b.append(i)
    num=num+1
columns=[]
for i in range(1,num+1):
#设置行名
  columns.append('博客'+str(i))
#设置数据
#设置柱状图的主标题与副标题
bar = Bar("柱状图", "每个博客阅读数量")
#添加柱状图的数据及配置项,先行后列
bar.add("阅读量", columns, b, mark_line=["average"], mark_point=["max", "min"])
#生成本地文件(默认为.html文件)
bar.render()

爬虫不是重点,只是拿来爬阅读数量,pyecharts是重点

这次爬的是我自己的博客,一共10页,每页10片文章,正好写了100篇博客

pyecharts安装:

pip install wheelpip install pyecharts==0.1.9.4

直接pip install pyecharts会下载最新版无法调用

注意点:pyecharts调用,貌似无法实现多个py文件一起调用(意思是编写时不能在多个文件里出现import语句)

步骤解释:

1.爬虫爬取阅读数

2.去除非法字符装入新的数组

3.设置横轴数据,生成柱状图

4.在当前目录下生成render.html,打开查看柱状图

结果:

Python爬虫爬取博客实现可视化过程解析

柱状图是动态的,不是静态的

Python爬虫爬取博客实现可视化过程解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python发送伪造的arp请求
Jan 09 Python
python使用正则搜索字符串或文件中的浮点数代码实例
Jul 11 Python
python中django框架通过正则搜索页面上email地址的方法
Mar 21 Python
Python中用Decorator来简化元编程的教程
Apr 13 Python
理解python正则表达式
Jan 15 Python
Python 中开发pattern的string模板(template) 实例详解
Apr 01 Python
Python算术运算符实例详解
May 31 Python
Python 快速实现CLI 应用程序的脚手架
Dec 05 Python
tensorflow 输出权重到csv或txt的实例
Jun 14 Python
python通过tcp发送xml报文的方法
Dec 28 Python
如何通过python实现IOU计算代码实例
Nov 02 Python
一篇文章搞懂python混乱的切换操作与优雅的推导式
Aug 23 Python
使用keras框架cnn+ctc_loss识别不定长字符图片操作
Jun 29 #Python
浅谈keras中的后端backend及其相关函数(K.prod,K.cast)
Jun 29 #Python
如何使用python记录室友的抖音在线时间
Jun 29 #Python
Python sublime安装及配置过程详解
Jun 29 #Python
keras K.function获取某层的输出操作
Jun 29 #Python
Python pytesseract验证码识别库用法解析
Jun 29 #Python
用Python开发app后端有优势吗
Jun 29 #Python
You might like
PHP下一个非常全面获取图象信息的函数
2008/11/20 PHP
PHP 写文本日志实现代码
2010/05/18 PHP
9个比较实用的php代码片段
2016/03/15 PHP
PHP XML和数组互相转换详解
2016/10/26 PHP
详解配置 Apache 服务器支持 PHP 文件的解析
2017/02/15 PHP
PHP基于方差和标准差计算学生成绩的稳定性示例
2017/07/04 PHP
JS解密入门之凭直觉解
2008/06/25 Javascript
JavaScript中使用replace结合正则实现replaceAll的效果
2010/06/04 Javascript
获取客户端电脑日期时间js代码(jquery)
2012/09/12 Javascript
js控制分页打印、打印分页示例
2014/02/08 Javascript
JavaScript判断对象是否为数组
2015/12/22 Javascript
极力推荐一款小巧玲珑的可视化编辑器bootstrap-wysiwyg
2016/05/27 Javascript
关于angularJs指令的Scope(作用域)介绍
2016/10/25 Javascript
bootstrap weebox 支持ajax的模态弹出框
2017/02/23 Javascript
Bootstrap学习笔记 轮播(Carousel)插件
2017/03/21 Javascript
js实现多张图片延迟加载效果
2017/07/17 Javascript
jQuery实现的响应鼠标移动方向插件用法示例【附源码下载】
2018/08/28 jQuery
sortable+element 实现表格行拖拽的方法示例
2019/06/07 Javascript
JavaScript仿京东秒杀倒计时
2020/03/17 Javascript
react的hooks的用法详解
2020/10/12 Javascript
[01:03]PWL开团时刻DAY6——别打我
2020/11/05 DOTA
3个用于数据科学的顶级Python库
2018/09/29 Python
python中的协程深入理解
2019/06/10 Python
Keras在训练期间可视化训练误差和测试误差实例
2020/06/16 Python
Python threading模块condition原理及运行流程详解
2020/10/05 Python
video.js支持m3u8格式直播的实现示例
2020/05/20 HTML / CSS
澳大利亚牛仔裤商店:Just Jeans
2016/10/13 全球购物
历史学专业大学生找工作的自我评价
2013/10/16 职场文书
店长岗位职责
2013/11/21 职场文书
优秀团支部事迹材料
2014/02/08 职场文书
小学数学教学经验交流材料
2014/05/22 职场文书
工商局副局长个人对照检查材料
2014/09/25 职场文书
土地转让协议书
2014/09/27 职场文书
玩手机检讨书1000字
2014/10/20 职场文书
民事答辩状范本
2015/05/21 职场文书
2019安全宣传标语大全
2019/08/14 职场文书