Python+OpenCV实现图像的全景拼接


Posted in Python onMarch 05, 2020

本文实例为大家分享了Python+OpenCV实现图像的全景拼接的具体代码,供大家参考,具体内容如下

环境:python3.5.2 + openCV3.4

1.算法目的

将两张相同场景的场景图片进行全景拼接。

2.算法步骤

本算法基本步骤有以下几步:

步骤1:将图形先进行桶形矫正

没有进行桶形变换的图片效果可能会像以下这样:

Python+OpenCV实现图像的全景拼接

图片越多拼接可能就会越夸张。

Python+OpenCV实现图像的全景拼接

本算法是将图片进行桶形矫正。目的就是来缩减透视变换(Homography)之后图片产生的变形,从而使拼接图片变得畸形。

步骤2:特征点匹配

本算法使用的sift算法匹配,它具有旋转不变性和缩放不变性,具体原理在之后会补上一篇关于sift算法的文章,这里就不做详细介绍。

在匹配特征点的过程中,透视矩阵选取了4对特征点计算,公式为

Python+OpenCV实现图像的全景拼接

点的齐次坐标依赖于其尺度定义,因此矩阵H也仅依赖尺度定义,所以,单应性矩阵具有8个独立的自由度。

如果在选取的不正确的特征点,那么透视矩阵就可能计算错误,所以为了提高结果的鲁棒性,就要去除这些错误的特征点,而RANSAC方法就是用来删除这些错误的特征点。

**RANSAC:**用来找到正确模型来拟合带有噪声数据的迭代方法。基本思想:数据中包含正确的点和噪声点,合理的模型应该能够在描述正确数据点的同时摈弃噪声点。

RANSAC方法随机获取4对不同的特征匹配坐标,计算出透视矩阵H1,再将第二张图的特征匹配点经过这个矩阵H1映射到第一张图的坐标空间里,通过计算来验证这个H1矩阵是否满足绝大部分的特征点。
通过迭代多次,以满足最多特征匹配点的特征矩阵H作为结果。

这样正常情况就可以去除错误的特征点了,除非匹配错误的特征点比正确的还多。

下图是我在嘉庚图书馆旁拍摄的照片的特征点匹配。

Python+OpenCV实现图像的全景拼接

步骤3:利用得到的变换矩阵进行图片的拼接。

可以看出基本做到了无缝拼接。只是在色差上还是看得出衔接的部分存在。

Python+OpenCV实现图像的全景拼接

实现结果

我在宿舍里又多照了几组照片来实验:
室内宿舍场景的特征点匹配:

Python+OpenCV实现图像的全景拼接

拼接结果:

Python+OpenCV实现图像的全景拼接

在室内的效果根据结果来看效果也还可以。

我测试了宿舍里景深落差较大的两张图片:

特征点匹配:

Python+OpenCV实现图像的全景拼接

虽然距离较远,但是还是可以粗略的匹配到特征点。

拼接结果:

Python+OpenCV实现图像的全景拼接

从结果上来看可以看得出来,两张图片依然可以正确而粗略地拼接再一起,可以看得出是同一个区域。只是由于特征点不够,在细节上景深落差较大的还是没办法完美地拼接。

import numpy as np
import cv2 as cv
import imutils

class Stitcher:
 def __init__(self):
 self.isv3 = imutils.is_cv3()

 def stitch(self,imgs, ratio = 0.75, reprojThresh = 4.0, showMatches = False):
 print('A')
 (img2, img1) = imgs
 #获取关键点和描述符
 (kp1, des1) = self.detectAndDescribe(img1)
 (kp2, des2) = self.detectAndDescribe(img2)
 print(len(kp1),len(des1))
 print(len(kp2), len(des2))
 R = self.matchKeyPoints(kp1, kp2, des1, des2, ratio, reprojThresh)

 #如果没有足够的最佳匹配点,M为None
 if R is None:
 return None
 (good, M, mask) = R
 print(M)
 #对img1透视变换,M是ROI区域矩阵, 变换后的大小是(img1.w+img2.w, img1.h)
 result = cv.warpPerspective(img1, M, (img1.shape[1] + img2.shape[1], img1.shape[0]))
 #将img2的值赋给结果图像
 result[0:img2.shape[0], 0:img2.shape[1]] = img2

 #是否需要显示ROI区域
 if showMatches:
 vis = self.drawMatches1(img1, img2, kp1, kp2, good, mask)
 return (result, vis)

 return result


 def detectAndDescribe(self,img):
 print('B')
 gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)

 #检查我们使用的是否是penCV3.x
 if self.isv3:
 sift = cv.xfeatures2d.SIFT_create()
 (kps, des) = sift.detectAndCompute(img, None)
 else:
 sift = cv.FastFeatureDetector_create('SIFT')
 kps = sift.detect(gray)
 des = sift.compute(gray, kps)

 kps = np.float32([kp.pt for kp in kps]) # **********************************
 #返回关键点和描述符
 return (kps, des)

 def matchKeyPoints(self,kp1, kp2, des1, des2, ratio, reprojThresh):
 print('C')
 #初始化BF,因为使用的是SIFT ,所以使用默认参数
 matcher = cv.DescriptorMatcher_create('BruteForce')
 # bf = cv.BFMatcher()
 # matches = bf.knnMatch(des1, des2, k=2)
 matches = matcher.knnMatch(des1, des2, 2) #***********************************

 #获取理想匹配
 good = []
 for m in matches:
 if len(m) == 2 and m[0].distance < ratio * m[1].distance:
 good.append((m[0].trainIdx, m[0].queryIdx))

 print(len(good))
 #最少要有四个点才能做透视变换
 if len(good) > 4:
 #获取关键点的坐标
 # src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
 # dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)
 src_pts = np.float32([kp1[i] for (_, i) in good])
 dst_pts = np.float32([kp2[i] for (i, _) in good])

 #通过两个图像的关键点计算变换矩阵
 (M, mask) = cv.findHomography(src_pts, dst_pts, cv.RANSAC, reprojThresh)

 #返回最佳匹配点、变换矩阵和掩模
 return (good, M, mask)
 #如果不满足最少四个 就返回None
 return None

 def drawMatches(img1, img2, kp1, kp2, matches, mask, M):
 # 获得原图像的高和宽
 h, w = img1.shape[:2]
 # 使用得到的变换矩阵对原图像的四个角进行变换,获得目标图像上对应的坐标
 pts = np.float32([[0, 0], [0, h-1], [w-1, h-1], [w-1, 0]]).reshape(-1, 1, 2)
 dst = cv.perspectiveTransform(pts, M)
 matchesMask = mask.ravel().tolist()

 draw_params = dict(matchColor = (0, 255, 0),
  singlePointColor = None,
  matchesMask = matchesMask,
  flags = 2)
 img = cv.drawMatches(img1, kp1, img2, kp2, matches, None, **draw_params)

 return img

 def drawMatches1(self,img1, img2, kp1, kp2, metches,mask):
 print('D')
 (hA,wA) = img1.shape[:2]
 (hB,wB) = img2.shape[:2]
 vis = np.zeros((max(hA,hB), wA+wB, 3), dtype='uint8')
 vis[0:hA, 0:wA] = img1
 vis[0:hB, wA:] = img2
 for ((trainIdx, queryIdx),s) in zip(metches, mask):
 if s == 1:
 ptA = (int(kp1[queryIdx][0]), int(kp1[queryIdx][1]))
 ptB = (int(kp2[trainIdx][0])+wA, int(kp2[trainIdx][1]))
 cv.line(vis, ptA, ptB, (0, 255, 0), 1)

 return vis

# def show():
# img1 = cv.imread('image/sedona_left_01.png')
# img2 = cv.imread('image/sedona_right_01.png')
# img1 = imutils.resize(img1, width=400)
# img2 = imutils.resize(img2, width=400)
#
# stitcher = cv.Stitcher()
# (result, vis) = stitcher.stitch([img1, img2])
# # (result, vis) = stitch([img1,img2], showMatches=True)
#
# cv.imshow('image A', img1)
# cv.imshow('image B', img2)
# cv.imshow('keyPoint Matches', vis)
# cv.imshow('Result', result)
#
# cv.waitKey(0)
# cv.destroyAllWindows()
# show()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中pandas.DataFrame的简单操作方法(创建、索引、增添与删除)
Mar 12 Python
Apache如何部署django项目
May 21 Python
python中找出numpy array数组的最值及其索引方法
Apr 17 Python
在Python中定义一个常量的方法
Nov 10 Python
通过pycharm使用git的步骤(图文详解)
Jun 13 Python
对Django中static(静态)文件详解以及{% static %}标签的使用方法
Jul 28 Python
django项目简单调取百度翻译接口的方法
Aug 06 Python
详解解决Python memory error的问题(四种解决方案)
Aug 08 Python
Python检查图片是否损坏及图片类型是否正确过程详解
Sep 30 Python
浅谈tensorflow 中tf.concat()的使用
Feb 07 Python
python Timer 类使用介绍
Dec 28 Python
如何用 Python 子进程关闭 Excel 自动化中的弹窗
May 07 Python
Python对象的属性访问过程详解
Mar 05 #Python
Python安装OpenCV的示例代码
Mar 05 #Python
opencv python在视屏上截图功能的实现
Mar 05 #Python
谈谈Python:为什么类中的私有属性可以在外部赋值并访问
Mar 05 #Python
python如何将两张图片生成为全景图片
Mar 05 #Python
Python 定义只读属性的实现方式
Mar 05 #Python
Pycharm中import torch报错的快速解决方法
Mar 05 #Python
You might like
提升PHP执行速度全攻略(下)
2006/10/09 PHP
一个从别的网站抓取信息的例子(域名查询)
2006/10/09 PHP
php读取csv文件后,uft8 bom导致在页面上显示出现问题的解决方法
2013/08/10 PHP
php实现学生管理系统
2020/03/21 PHP
PHP实现简单注册登录系统
2020/12/28 PHP
使用js获取QueryString的方法小结
2010/02/28 Javascript
基于jQuery的可用于选项卡及幻灯的切换插件
2011/03/28 Javascript
图片onload事件触发问题解决方法
2011/07/31 Javascript
js window.print实现打印特定控件或内容
2013/09/16 Javascript
js关于精确计算和数值格式化以及直接引js文件
2014/01/28 Javascript
不要使用jQuery触发原生事件的方法
2014/03/03 Javascript
分享12个非常实用的JavaScript小技巧
2016/05/11 Javascript
深入理解jquery跨域请求方法
2016/05/18 Javascript
避免jQuery名字冲突 noConflict()方法
2016/07/30 Javascript
vue的Virtual Dom实现snabbdom解密
2017/05/03 Javascript
jQuery实现的淡入淡出与滑入滑出效果示例
2018/04/18 jQuery
小程序点赞收藏功能的实现代码示例
2018/09/07 Javascript
vue 指令之气泡提示效果的实现代码
2018/10/18 Javascript
uploadify插件实现多个图片上传并预览
2019/09/30 Javascript
vue.js实现二级菜单效果
2019/10/19 Javascript
详解如何修改 node_modules 里的文件
2020/05/22 Javascript
python处理json数据中的中文
2014/03/06 Python
Fabric 应用案例
2016/08/28 Python
Python 专题二 条件语句和循环语句的基础知识
2017/03/19 Python
Python实现的摇骰子猜大小功能小游戏示例
2017/12/18 Python
Python连接字符串过程详解
2020/01/06 Python
详解Python中@staticmethod和@classmethod区别及使用示例代码
2020/12/14 Python
俄罗斯卫浴采暖及维修用品超级市场:Dkrussia
2020/05/12 全球购物
《雷鸣电闪波尔卡》教学反思
2014/02/23 职场文书
社区平安建设方案
2014/05/25 职场文书
HR求职自荐信范文
2014/06/21 职场文书
学校党的群众路线教育实践活动总结报告
2014/07/03 职场文书
婚内房产协议书范本
2014/10/02 职场文书
六一儿童节开幕词
2015/01/29 职场文书
导游词之江苏同里古镇
2019/11/18 职场文书
公历12个月名称的由来
2022/04/12 杂记