Python+树莓派+YOLO打造一款人工智能照相机


Posted in Python onJanuary 02, 2018

不久之前,亚马逊刚刚推出了DeepLens 。这是一款专门面向开发人员的全球首个支持深度学习的摄像机,它所使用的机器学习算法不仅可以检测物体活动和面部表情,而且还可以检测类似弹吉他等复杂的活动。虽然DeepLens还未正式上市,但智能摄像机的概念已经诞生了。

Python+树莓派+YOLO打造一款人工智能照相机 

今天,我们将自己动手打造出一款基于深度学习的照相机,当小鸟出现在摄像头画面中时,它将能检测到小鸟并自动进行拍照。最终成品所拍摄的画面如下所示:

Python+树莓派+YOLO打造一款人工智能照相机 

相机不傻,它可以很机智

我们不打算将一个深度学习模块整合到相机中,相反,我们准备将树莓派“挂钩”到摄像头上,然后通过WiFi来发送照片。本着“一切从简”(穷)为核心出发,我们今天只打算搞一个跟DeepLens类似的概念原型,感兴趣的同学可以自己动手尝试一下。

接下来,我们将使用Python编写一个Web服务器,树莓派将使用这个Web服务器来向计算机发送照片,或进行行为推断和图像检测。

Python+树莓派+YOLO打造一款人工智能照相机 

我们这里所使用的计算机其处理能力会更强,它会使用一种名叫 YOLO 的神经网络架构来检测输入的图像画面,并判断小鸟是否出现在了摄像头画面内。

我们得先从YOLO架构开始,因为它是目前速度最快的检测模型之一。该模型专门给Tensorflow(谷歌基于DistBelief进行研发的第二代人工智能学习系统)留了一个接口,所以我们可以轻松地在不同的平台上安装和运行这个模型。友情提示,如果你使用的是我们本文所使用的迷你模型,你还可以用CPU来进行检测,而不只是依赖于价格昂贵的GPU。

接下来回到我们的概念原型上… 如果像框内检测到了小鸟,那我们就保存图片并进行下一步分析。

检测与拍照

Python+树莓派+YOLO打造一款人工智能照相机 

正如我们所说的,DeepLens的拍照功能是整合在计算机里的,所以它可以直接使用板载计算能力来进行基准检测,并确定图像是否符合我们的标准。

但是像树莓派这样的东西,我们其实并不需要使用它的计算能力来进行实时计算。因此,我们准备使用另一台计算机来推断出现在图像中的内容。

我使用的是一台简单的Linux计算机,它带有一个摄像头以及WiFi无线网卡( 树莓派3 + 摄像头 ),而这个简单的设备将作为我的深度学习机器并进行图像推断。对我来说,这是目前最理想的解决方案了,这不仅大大缩减了我的成本,而且还可以让我在台式机上完成所有的计算。

当然了,如果你不想使用树莓派视频照相机的话,你也可以选择在树莓派上安装OpenCV 3来作为方案B,具体的安装方法请参考【这份文档 】。友情提示,安装过程可谓是非常的麻烦!

接下来,我们需要使用Flask来搭建Web服务器,这样我们就可以从摄像头那里获取图像了。这里我使用了 MiguelGrinberg 所开发的网络摄像头服务器代码( Flask视频流框架 ),并创建了一个简单的jpg终端:

#!/usr/bin/envpython
from import lib import import_module
import os
from flask import Flask, render_template, Response
#uncomment below to use Raspberry Pi camera instead
#from camera_pi import Camera
#comment this out if you're not using USB webcam
from camera_opencv import Camera
app =Flask(__name__)
@app.route('/')
def index():
 return "hello world!"
def gen2(camera):
 """Returns a single imageframe"""
 frame = camera.get_frame()
 yield frame
@app.route('/image.jpg')
def image():
 """Returns a single currentimage for the webcam"""
 return Response(gen2(Camera()),mimetype='image/jpeg')
if __name__ == '__main__':
app.run(host='0.0.0.0', threaded=True)

如果你使用的是树莓派视频照相机,请确保没有注释掉上述代码中from camera_pi那一行,然后注释掉from camera_opencv那一行。

你可以直接使用命令python3 app.py或gunicorn来运行服务器,这跟Miguel在文档中写的方法是一样的。如果我们使用了多台计算机来进行图像推断的话,我们还可以利用Miguel所开发的摄像头管理方案来管理摄像头以及计算线程。

当我们启动了树莓派之后,首先需要根据IP地址来判断服务器是否正常工作,然后尝试通过Web浏览器来访问服务器。

URL地址格式类似如下:

http://192.168.1.4:5000/image.jpg

在树莓派中加载Web页面及图像来确定服务器是否正常工作:

Python+树莓派+YOLO打造一款人工智能照相机 

图像导入及推断

既然我们已经设置好了终端来加载摄像头当前的图像内容,我们就可以构建一个脚本来捕捉图像并推断图像中的内容了。

这里我们需要用到request库(一个优秀的Python库,用于从URL地址获取文件资源)以及 Darkflow (YOLO模型基于Tensorflow的实现)。

不幸的是,我们没办法使用pip之类的方法来安装 Darkflow ,所以我们需要克隆整个代码库,然后自己动手完成项目的构建和安装。安装好Darkflow项目之后,我们还需要下载一个YOLO模型。

因为我使用的是速度比较慢的计算机和板载CPU(而不是速度较快的GPU),所以我选择使用YOLO v2迷你网络。当然了,它的功能肯定没有完整的YOLO v2模型的推断准确性高啦!

配置完成之后,我们还需要在计算机中安装Pillow、numpy和OpenCV。最后,我们就可以彻底完成我们的代码,并进行图像检测了。

最终的代码如下所示:

from darkflow.net.build import TFNet
import cv2
from io import BytesIO
import time
import requests
from PIL import Image
import numpy as np
options= {"model": "cfg/tiny-yolo-voc.cfg", "load":"bin/tiny-yolo-voc.weights", "threshold": 0.1}
tfnet= TFNet(options)
birdsSeen= 0
def handleBird():
 pass
whileTrue:
 r =requests.get('http://192.168.1.11:5000/image.jpg') # a bird yo
 curr_img = Image.open(BytesIO(r.content))
 curr_img_cv2 =cv2.cvtColor(np.array(curr_img), cv2.COLOR_RGB2BGR)
 result = tfnet.return_predict(curr_img_cv2)
 print(result)
 for detection in result:
  if detection['label'] == 'bird':
   print("bird detected")
   birdsSeen += 1
   curr_img.save('birds/%i.jpg' %birdsSeen)
 print('running again')
time.sleep(4)

此时,我们不仅可以在命令控制台中查看到树莓派所检测到的内容,而且我们还可以直接在硬盘中查看保存下来的小鸟照片。接下来,我们就可以使用YOLO来标记图片中的小鸟了。

假阳性跟假阴性之间的平衡

我们在代码的options字典中设置了一个threshold键,这个阈值代表的是我们用于检测图像的某种成功率。在测试过程中,我们将其设为了0.1,但是如此低的阈值会给我们带来是更高的假阳性以及误报率。更糟的是,我们所使用的迷你YOLO模型准确率跟完整的YOLO模型相比,差得太多了,但这也是需要考虑的一个平衡因素。

降低阈值意味着我们可以得到更多的模型输出(照片),在我的测试环境中,我阈值设置的比较低,因为我想得到更多的小鸟照片,不过大家可以根据自己的需要来调整阈值参数。

代码开源

跟之前一样,我已经将所有的代码上传到GitHub上了,感兴趣的同学可以自行下载安装【 GitHub传送门 】。

Python 相关文章推荐
在Python中使用列表生成式的教程
Apr 27 Python
python实现生命游戏的示例代码(Game of Life)
Jan 24 Python
Python-OpenCV基本操作方法详解
Apr 02 Python
Python3 单行多行万能正则匹配方法
Jan 07 Python
Python使用修饰器进行异常日志记录操作示例
Mar 19 Python
浅析Windows 嵌入python解释器的过程
Jul 26 Python
Python Django Cookie 简单用法解析
Aug 13 Python
Python简易计算器制作方法代码详解
Oct 31 Python
Python爬虫库BeautifulSoup的介绍与简单使用实例
Jan 25 Python
python计算波峰波谷值的方法(极值点)
Feb 18 Python
Python实现多线程下载脚本的示例代码
Apr 03 Python
python 将html转换为pdf的几种方法
Dec 29 Python
matplotlib绘制动画代码示例
Jan 02 #Python
Python+matplotlib+numpy实现在不同平面的二维条形图
Jan 02 #Python
Python 实现淘宝秒杀的示例代码
Jan 02 #Python
python基于twisted框架编写简单聊天室
Jan 02 #Python
python http接口自动化脚本详解
Jan 02 #Python
详解用python实现简单的遗传算法
Jan 02 #Python
一个Python最简单的接口自动化框架
Jan 02 #Python
You might like
某大型网络公司应聘时的笔试题目附答案
2008/03/27 PHP
PHP通用分页类page.php[仿google分页]
2008/08/31 PHP
php面向对象全攻略 (十六) 对象的串行化
2009/09/30 PHP
自己写的php中文截取函数mb_strlen和mb_substr
2015/02/09 PHP
Thinkphp 框架扩展之数据库驱动常用方法小结
2020/04/23 PHP
JS验证控制输入中英文字节长度(input、textarea等)具体实例
2013/06/21 Javascript
将HTML的左右尖括号等转义成实体形式的两种实现方式
2014/05/04 Javascript
JavaScript验证图片类型(扩展名)的函数分享
2014/05/05 Javascript
JS+CSS实现感应鼠标渐变显示DIV层的方法
2015/02/20 Javascript
javascript针对不确定函数的执行方法
2015/12/16 Javascript
简单讲解AngularJS的Routing路由的定义与使用
2016/03/05 Javascript
Layui弹出层 加载 做编辑页面的方法
2019/09/16 Javascript
JavaScript代码压缩工具UglifyJS和Google Closure Compiler的基本用法
2020/04/13 Javascript
jquery html添加元素/删除元素操作实例详解
2020/05/20 jQuery
Jquery cookie插件实现原理代码解析
2020/08/04 jQuery
Python的Tornado框架的异步任务与AsyncHTTPClient
2016/06/27 Python
基于Python_脚本CGI、特点、应用、开发环境(详解)
2017/05/23 Python
python3+PyQt5重新实现QT事件处理程序
2018/04/19 Python
python实现遍历文件夹修改文件后缀
2018/08/28 Python
python统计字符的个数代码实例
2020/02/07 Python
使用Python实现牛顿法求极值
2020/02/10 Python
Python读取表格类型文件代码实例
2020/02/17 Python
HTML5移动端开发遇见的东西
2019/10/11 HTML / CSS
纽约现代艺术博物馆商店:MoMA STORE(室内家具和杂货商品)
2016/08/02 全球购物
面向对象编程是如何提高软件开发水平的
2014/05/06 面试题
小学生打架检讨书
2014/01/26 职场文书
简历中个人自我评价分享
2014/03/15 职场文书
让生命充满爱演讲稿
2014/05/10 职场文书
新农村建设汇报材料
2014/08/15 职场文书
2015个人简历自我评价语
2015/03/11 职场文书
学术会议通知
2015/04/15 职场文书
2015年第十五个全民国防教育日宣传活动方案
2015/05/06 职场文书
学校教学管理制度
2015/08/06 职场文书
祝福语集锦:朋友新店开业祝福语
2019/12/10 职场文书
MySQL创建索引需要了解的
2021/04/08 MySQL
springboot集成redis存对象乱码的问题及解决
2022/06/16 Java/Android