Python制作数据预测集成工具(值得收藏)


Posted in Python onAugust 21, 2020

大数据预测是大数据最核心的应用,是它将传统意义的预测拓展到“现测”。大数据预测的优势体现在,它把一个非常困难的预测问题,转化为一个相对简单的描述问题,而这是传统小数据集根本无法企及的。从预测的角度看,大数据预测所得出的结果不仅仅是用于处理现实业务的简单、客观的结论,更是能用于帮助企业经营的决策。

在过去,人们的决策主要是依赖 20% 的结构化数据,而大数据预测则可以利用另外 80% 的非结构化数据来做决策。大数据预测具有更多的数据维度,更快的数据频度和更广的数据宽度。与小数据时代相比,大数据预测的思维具有 3 大改变:实样而非抽样;预测效率而非精确;相关关系而非因果关系。

而今天我们就将利用python制作可视化的大数据预测部分集成工具,其中数据在这里使用一个实验中的数据。普遍性的应用则直接从文件读取即可。其中的效果图如下:

Python制作数据预测集成工具(值得收藏)

实验前的准备

首先我们使用的python版本是3.6.5所用到的模块如下:

  • sklearn模块用来创建整个模型训练和保存调用以及算法的搭建框架等等。
  • numpy模块用来处理数据矩阵运算。
  • matplotlib模块用来可视化拟合模型效果。
  • Pillow库用来加载图片至GUI界面。
  • Pandas模块用来读取csv数据文件。
  • Tkinter用来创建GUI窗口程序。

数据的训练和训练的GUI窗口

经过算法比较,发现这里我们选择使用sklearn简单的多元回归进行拟合数据可以达到比较好的效果。

(1)首先是是数据的读取,通过设定选定文件夹函数来读取文件,加载数据的效果:

'''选择文件功能''' 
def selectPath(): 
  # 选择文件path_接收文件地址 
  path_ =tkinter.filedialog.askopenfilename() 
  # 通过replace函数替换绝对文件地址中的/来使文件可被程序读取 
  # 注意:\\转义后为\,所以\\\\转义后为\\ 
  path_ =path_.replace("/", "\\\\") 
  # path设置path_的值 
  path.set(path_) 
  return path 
 
# 得到的DataFrame读入所有数据 
data = pd.read_excel(FILENAME, header=0, usecols="A,B,C,D,E,F,G,H,I") 
# DataFrame转化为array 
DataArray = data.values 
# 读取已使用年限作为标签 
Y = DataArray[:, 8] 
# 读取其他参数作为自变量,影响因素 
X = DataArray[:, 0:8] 
# 字符串转变为整数 
for i in range(len(Y)): 
  Y[i] = int(Y[i].replace("年", "")) 
X = np.array(X) # 转化为array 
Y = np.array(Y) # 转化为array 
 
root = Tk() 
root.geometry("+500+260") 
# 背景图设置 
canvas = tk.Canvas(root, width=600, height=200, bd=0, highlightthickness=0) 
imgpath = '1.jpg' 
img = Image.open(imgpath) 
photo = ImageTk.PhotoImage(img) 
#背景图大小设置 
canvas.create_image(700, 400, image=photo) 
canvas.pack() 
path = StringVar() 
#标签名称位置 
label1=tk.Label(text = "目标路径:") 
label1.pack() 
e1=tk.Entry( textvariable = path) 
e1.pack() 
bn1=tk.Button(text = "路径选择", command = selectPath) 
bn1.pack() 
bn2=tk.Button(text = "模型训练", command = train) 
bn2.pack() 
bn3=tk.Button(text = "模型预测", command = test) 
bn3.pack() 
#标签按钮等放在背景图上 
canvas.create_window(50, 50, width=150, height=30, 
           window=label1) 
canvas.create_window(280, 50, width=300, height=30, 
           window=e1) 
canvas.create_window(510, 50, width=150, height=30, 
           window=bn1) 
canvas.create_window(50, 100, width=150, height=30, 
           window=bn2) 
canvas.create_window(510, 100, width=150, height=30, 
           window=bn3) 
 
root.mainloop()

效果如下可见:

Python制作数据预测集成工具(值得收藏)

(2)然后是数据的拟合和可视化模型效果:

# 模型拟合 
reg = LinearRegression() 
reg.fit(X, Y) 
# 预测效果 
predict = reg.predict(np.array([X[0]])) 
Y_predict = reg.predict(X) 
print(Y_predict) 
# 横坐标 
x_label = [] 
for i in range(len(Y)): 
  x_label.append(i) 
# 绘图 
fig, ax = plt.subplots() 
# 真实值分布散点图 
plt.scatter(x_label, Y) 
# 预测值分布散点图 
plt.scatter(x_label, Y_predict) 
# 预测值拟合直线图 
plt.plot(x_label, Y_predict) 
# 横纵坐标 
ax.set_xlabel('预测值与真实值模型拟合效果图') 
ax.set_ylabel('蓝色为真实值,黄色为预测值') 
# 将绘制的图形显示到tkinter:创建属于root的canvas画布,并将图f置于画布上 
canvas = FigureCanvasTkAgg(fig, master=root) 
canvas.draw() # 注意show方法已经过时了,这里改用draw 
canvas.get_tk_widget().pack() 
# matplotlib的导航工具栏显示上来(默认是不会显示它的) 
toolbar = NavigationToolbar2Tk(canvas, root) 
toolbar.update() 
canvas._tkcanvas.pack() 
#弹窗显示 
messagebox.showinfo(title='模型情况', message="模型训练完成!") 
其中的效果如下可见:

其中的效果如下可见:

Python制作数据预测集成工具(值得收藏)

模型的预测和使用

其中模型的预测主要通过两种方式进行预测,分别是:手动输入单个数据进行预测和读取文件进行预测。

其中手动输入数据进行预测需要设置更多的GUI按钮,其中代码如下:

#子窗口 
LOVE = Toplevel(root) 
LOVE.geometry("+100+260") 
LOVE.title = "模型测试" 
#子窗口各标签名 
label = ["上升沿斜率(v/us)", "下降沿斜率(v/us)", "脉宽(ns)", "低状态电平(mv)", "低电平方差(mv2)x10-3", "高状态电平(v)", "高电平方差(v2)", "信号质量因子"] 
Label(LOVE, text="1、输入参数预测", font=("微软雅黑", 20)).grid(row=0, column=0) 
#标签名称,字体位置 
Label(LOVE, text=label[0], font=("微软雅黑",10)).grid(row=1, column=0) 
Label(LOVE, text=label[1], font=("微软雅黑", 10)).grid(row=1, column=1) 
Label(LOVE, text=label[2], font=("微软雅黑", 10)).grid(row=1, column=2) 
Label(LOVE, text=label[3], font=("微软雅黑", 10)).grid(row=1, column=3) 
Label(LOVE, text=label[4], font=("微软雅黑", 10)).grid(row=1, column=4) 
Label(LOVE, text=label[5], font=("微软雅黑", 10)).grid(row=1, column=5) 
Label(LOVE, text=label[6], font=("微软雅黑", 10)).grid(row=1, column=6) 
Label(LOVE, text=label[7], font=("微软雅黑", 10)).grid(row=1, column=7) 
#编辑框位置和字体 
en1=tk.Entry(LOVE, font=("微软雅黑", 8)) 
en1.grid(row=2, column=0) 
en2=tk.Entry(LOVE, font=("微软雅黑", 8)) 
en2.grid(row=2, column=1) 
en3=tk.Entry(LOVE, font=("微软雅黑", 8)) 
en3.grid(row=2, column=2) 
en4=tk.Entry(LOVE, font=("微软雅黑", 8)) 
en4.grid(row=2, column=3) 
en5=tk.Entry(LOVE, font=("微软雅黑", 8)) 
en5.grid(row=2, column=4) 
en6=tk.Entry(LOVE, font=("微软雅黑", 8)) 
en6.grid(row=2, column=5) 
en7=tk.Entry(LOVE, font=("微软雅黑", 8)) 
en7.grid(row=2, column=6) 
en8=tk.Entry(LOVE, font=("微软雅黑", 8)) 
en8.grid(row=2, column=7) 
Label(LOVE, text="", font=("微软雅黑", 10)).grid(row=3, column=0) 
#测试输入框预测 
def pp(): 
  x=np.array([int(en1.get()),int(en2.get()),int(en3.get()),int(en4.get()),int(en5.get()),int(en6.get()),int(en7.get()),int(en8.get())]) 
  # 预测效果 
  predict = reg.predict(np.array([x])) 
  Label(LOVE, text="预测结果已使用年数为:"+str(predict[0])+"年", font=("微软雅黑", 10)).grid(row=4, column=3) 
  print(predict) 
Button(LOVE, text="预测:", font=("微软雅黑", 15),command=pp).grid(row=4, column=0) 
Label(LOVE, text="2、选择文件预测", font=("微软雅黑", 20)).grid(row=5, column=0) 
path1 = StringVar() 
label1 = tk.Label(LOVE,text="目标路径:", font=("微软雅黑", 10)) 
label1.grid(row=6, column=0) 
e1 = tk.Entry(LOVE,textvariable=path1, font=("微软雅黑", 10)) 
e1.grid(row=6, column=2) 
label = ["上升沿斜率(v/us)", "下降沿斜率(v/us)", "脉宽(ns)", "低状态电平(mv)", "低电平方差(mv2)x10-3", "高状态电平(v)", "高电平方差(v2)", 
       "信号质量因子"] 
  n = 0 
  for i in predict_value: 
    print(str(label) + "分别为" + str(X[n]) + "预测出来的结果为:" + str(i) + "年" + "\n") 
    f = open("预测结果.txt", "a") 
    f.write(str(label) + "分别为" + str(X[n]) + "预测出来的结果为:" + str(i) + "年" + "\n") 
    f.close() 
    f = open("result.txt", "a") 
    f.write(str(i) + "\n") 
    f.close() 
    n += 1 
  messagebox.showinfo(title='模型情况', message="预测结果保存在当前文件夹下的TXT文件中!") 
  os.system("result.txt") 
  os.system("预测结果.txt") 
Button(LOVE, text="预测:", font=("微软雅黑", 15), command=ppt).grid(row=7, column=0)

效果如下可见:

Python制作数据预测集成工具(值得收藏)

选择文件进行读取预测和模型训练数据的读取类似,代码如下:

#选择文件预测 
def selectPath1(): 
  # 选择文件path_接收文件地址 
  path_ =tkinter.filedialog.askopenfilename() 
  # 通过replace函数替换绝对文件地址中的/来使文件可被程序读取 
  # 注意:\\转义后为\,所以\\\\转义后为\\ 
  path_ =path_.replace("/", "\\\\") 
  # path设置path_的值 
  path1.set(path_) 
  return path 
bn1 = tk.Button(LOVE,text="路径选择", font=("微软雅黑", 10), command=selectPath1) 
bn1.grid(row=6, column=6) 
def ppt(): 
  try: 
    os.remove("预测结果.txt") 
    os.remove("result.txt") 
  except: 
    pass 
  # 文件的名字 
  FILENAME =path1.get() 
  # 禁用科学计数法 
  pd.set_option('float_format', lambda x: '%.3f' % x) 
  np.set_printoptions(threshold=np.inf) 
  # 得到的DataFrame读入所有数据 
  data =pd.read_excel(FILENAME, header=0, usecols="A,B,C,D,E,F,G,H") 
  # DataFrame转化为array 
  DataArray =data.values 
  # 读取其他参数作为自变量,影响因素 
  X = DataArray[:,0:8] 
  predict_value = reg.predict(X) 
  print(predict_value)

效果如下:

Python制作数据预测集成工具(值得收藏)

由于读取文件进行预测的话,数据较多故直接存储在TXT中方便查看

Python制作数据预测集成工具(值得收藏)

以上就是Python制作数据预测集成工具(值得收藏)的详细内容,更多关于python 数据预测的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python元组操作实例解析
Sep 23 Python
Python统计文件中去重后uuid个数的方法
Jul 30 Python
python模块简介之有序字典(OrderedDict)
Dec 01 Python
Python模块文件结构代码详解
Feb 03 Python
Django中针对基于类的视图添加csrf_exempt实例代码
Feb 11 Python
TensorFlow 滑动平均的示例代码
Jun 19 Python
python Django里CSRF 对应策略详解
Aug 05 Python
Python实现图片添加文字
Nov 26 Python
Tensorflow 定义变量,函数,数值计算等名字的更新方式
Feb 10 Python
python实现udp传输图片功能
Mar 20 Python
Python如何发送与接收大型数组
Aug 07 Python
python3中apply函数和lambda函数的使用详解
Feb 28 Python
简述 Python 的类和对象
Aug 21 #Python
DRF框架API版本管理实现方法解析
Aug 21 #Python
Django rest framework分页接口实现原理解析
Aug 21 #Python
Python -m参数原理及使用方法解析
Aug 21 #Python
python使用布隆过滤器的实现示例
Aug 20 #Python
QT5 Designer 打不开的问题及解决方法
Aug 20 #Python
Python配置pip国内镜像源的实现
Aug 20 #Python
You might like
php返回字符串中所有单词的方法
2015/03/09 PHP
php解决和避免form表单重复提交的几种方法
2016/08/31 PHP
实例分析PHP将字符串转换成数字的方法
2019/01/27 PHP
浅谈PHP各环境下的伪静态配置
2019/03/13 PHP
laravel框架实现敏感词汇过滤功能示例
2020/02/15 PHP
jqPlot 图表中文API使用文档及源码和在线示例
2012/02/07 Javascript
修改js Calendar日历控件 兼容IE9/谷歌/火狐
2013/01/04 Javascript
js+css实现的简单易用兼容好的分页
2013/12/30 Javascript
jQuery动画特效实例教程
2014/08/29 Javascript
jQuery支持添加事件的日历特效代码分享(3种样式)
2015/08/24 Javascript
jQuery+css实现的tab切换标签(兼容各浏览器)
2016/01/28 Javascript
JS实现title标题栏文字不间断滚动显示效果
2016/09/07 Javascript
原生JS查找元素的方法(推荐)
2016/11/22 Javascript
微信小程序 基础组件与导航组件详细介绍
2017/02/21 Javascript
react native基于FlatList下拉刷新上拉加载实现代码示例
2018/09/30 Javascript
layui实现把数据表格时间戳转换为时间格式的例子
2019/09/12 Javascript
Vue.js中provide/inject实现响应式数据更新的方法示例
2019/10/16 Javascript
JavaScript cookie原理及使用实例
2020/05/08 Javascript
js实现计算器功能
2020/08/10 Javascript
Django框架使用富文本编辑器Uedit的方法分析
2018/07/31 Python
Python实现去除列表中重复元素的方法总结【7种方法】
2019/02/16 Python
python time.sleep()是睡眠线程还是进程
2019/07/09 Python
Python综合应用名片管理系统案例详解
2020/01/03 Python
使用pytorch 筛选出一定范围的值
2020/06/28 Python
基于OpenCV的网络实时视频流传输的实现
2020/11/15 Python
详解Selenium 元素定位和WebDriver常用方法
2020/12/04 Python
Python 可视化神器Plotly详解
2020/12/26 Python
中国一家专注拼团的社交购物网站:拼多多
2018/06/13 全球购物
英国户外服装品牌:Craghoppers
2019/04/25 全球购物
暑期实践思想汇报
2014/01/06 职场文书
2014年毕业演讲稿范文
2014/05/13 职场文书
贷款委托书
2014/08/01 职场文书
违反单位工作制度检讨书
2014/10/25 职场文书
golang 定时任务方面time.Sleep和time.Tick的优劣对比分析
2021/05/05 Golang
只用40行Python代码就能写出pdf转word小工具
2021/05/31 Python
centos8安装MongoDB的详细过程
2021/10/24 MongoDB