Python爬虫爬取博客实现可视化过程解析


Posted in Python onJune 29, 2020

源码:

from pyecharts import Bar
import re
import requests
num=0
b=[]
for i in range(1,11):
  link='https://www.cnblogs.com/echoDetected/default.html?page='+str(i)
  headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'}
  r=requests.get(link,headers=headers)
  html=r.text
  post=re.findall('<span class="post-view-count">(.*?)</span>',html)
for i in post:
    i = i.replace("阅读(", "")
    i = i.replace(")","")
    b.append(i)
    num=num+1
columns=[]
for i in range(1,num+1):
#设置行名
  columns.append('博客'+str(i))
#设置数据
#设置柱状图的主标题与副标题
bar = Bar("柱状图", "每个博客阅读数量")
#添加柱状图的数据及配置项,先行后列
bar.add("阅读量", columns, b, mark_line=["average"], mark_point=["max", "min"])
#生成本地文件(默认为.html文件)
bar.render()

爬虫不是重点,只是拿来爬阅读数量,pyecharts是重点

这次爬的是我自己的博客,一共10页,每页10片文章,正好写了100篇博客

pyecharts安装:

pip install wheelpip install pyecharts==0.1.9.4

直接pip install pyecharts会下载最新版无法调用

注意点:pyecharts调用,貌似无法实现多个py文件一起调用(意思是编写时不能在多个文件里出现import语句)

步骤解释:

1.爬虫爬取阅读数

2.去除非法字符装入新的数组

3.设置横轴数据,生成柱状图

4.在当前目录下生成render.html,打开查看柱状图

结果:

Python爬虫爬取博客实现可视化过程解析

柱状图是动态的,不是静态的

Python爬虫爬取博客实现可视化过程解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python enumerate遍历数组示例应用
Sep 06 Python
python批量同步web服务器代码核心程序
Sep 01 Python
跟老齐学Python之让人欢喜让人忧的迭代
Oct 02 Python
Python的Django框架中的表单处理示例
Jul 17 Python
python安装Scrapy图文教程
Aug 14 Python
Python设计模式之适配器模式原理与用法详解
Jan 15 Python
PyCharm更改字体和界面样式的方法步骤
Sep 27 Python
python每5分钟从kafka中提取数据的例子
Dec 23 Python
python GUI库图形界面开发之PyQt5动态(可拖动控件大小)布局控件QSplitter详细使用方法与实例
Mar 06 Python
Python生成随机验证码代码实例解析
Jun 09 Python
scrapy头部修改的方法详解
Dec 06 Python
matplotlib 范围选区(SpanSelector)的使用
Feb 24 Python
使用keras框架cnn+ctc_loss识别不定长字符图片操作
Jun 29 #Python
浅谈keras中的后端backend及其相关函数(K.prod,K.cast)
Jun 29 #Python
如何使用python记录室友的抖音在线时间
Jun 29 #Python
Python sublime安装及配置过程详解
Jun 29 #Python
keras K.function获取某层的输出操作
Jun 29 #Python
Python pytesseract验证码识别库用法解析
Jun 29 #Python
用Python开发app后端有优势吗
Jun 29 #Python
You might like
PHP二维数组排序的3种方法和自定义函数分享
2014/04/09 PHP
php结合正则获取字符串中数字
2015/06/19 PHP
phpMyAdmin安装并配置允许空密码登录
2015/07/04 PHP
Yii2压缩PHP中模板代码的输出问题
2018/08/28 PHP
圣诞节Merry Christmas给博客添加浪漫的下雪效果基于jquery实现
2012/12/27 Javascript
js改变鼠标的形状和样式的方法
2014/03/31 Javascript
基于promise.js实现nodejs的promises库
2014/07/06 NodeJs
jQuery中append()方法用法实例
2015/01/08 Javascript
ECMAScript 5严格模式(Strict Mode)介绍
2015/03/02 Javascript
jquery插件corner实现圆角边框的方法
2015/03/09 Javascript
浅谈JavaScript字符串拼接
2015/06/25 Javascript
基于Node.js的JavaScript项目构建工具gulp的使用教程
2016/05/20 Javascript
JS实现探测网站链接的方法【测试可用】
2016/11/08 Javascript
从零开始学习Node.js系列教程之SQLite3和MongoDB用法分析
2017/04/13 Javascript
Vue声明式渲染详解
2017/05/17 Javascript
微信小程序使用progress组件实现显示进度功能【附源码下载】
2017/12/12 Javascript
electron制作仿制qq聊天界面的示例代码
2018/11/26 Javascript
JavaScript递归函数定义与用法实例分析
2019/01/24 Javascript
说说Vue.js中的functional函数化组件的使用
2019/02/12 Javascript
详解vue中的父子传值双向绑定及数据更新问题
2019/06/13 Javascript
Python中删除文件的程序代码
2011/03/13 Python
python通过scapy获取局域网所有主机mac地址示例
2014/05/04 Python
Python发送form-data请求及拼接form-data内容的方法
2016/03/05 Python
Python爬取京东的商品分类与链接
2016/08/26 Python
Python中分支语句与循环语句实例详解
2018/09/13 Python
python aiohttp的使用详解
2019/06/20 Python
python利用openpyxl拆分多个工作表的工作簿的方法
2019/09/27 Python
通过python调用adb命令对App进行性能测试方式
2020/04/23 Python
python中使用.py配置文件的方法详解
2020/11/23 Python
韩国家庭购物网上商店:Nsmall
2017/05/07 全球购物
酒店中秋节活动方案
2014/01/31 职场文书
国际贸易专业个人求职信格式
2014/02/02 职场文书
黄金搭档广告词
2014/03/21 职场文书
雷锋精神演讲稿
2014/05/13 职场文书
戒赌保证书
2015/05/11 职场文书
大学生村官工作心得体会
2016/01/23 职场文书