基于Python和openCV实现图像的全景拼接详细步骤


Posted in Python onOctober 05, 2021

基本介绍

图像的全景拼接,即“缝合”两张具有重叠区域的图来创建一张全景图。其中用到了计算机视觉和图像处理技术有:关键点检测、局部不变特征、关键点匹配、RANSAC(Random Sample Consensus,随机采样一致性)和透视变形。

具体步骤

(1)检测左右两张图像的SIFT关键特征点,并提取局部不变特征 ;
(2)使用knnMatch检测来自右图(左图)的SIFT特征,与左图(右图)进行匹配 ;
(3)计算视角变换矩阵H,用变换矩阵H对右图进行扭曲变换;
(4)将左图(右图)加入到变换后的图像的左侧(右侧)获得最终图像;

import cv2 as cv        # 导入opencv包
import numpy as np      # 导入numpy包,图像处理中的矩阵运算需要用到


# 检测图像的SIFT关键特征点
def sift_keypoints_detect(image):
    # 处理图像一般很少用到彩色信息,通常直接将图像转换为灰度图
    gray_image = cv.cvtColor(image, cv.COLOR_BGR2GRAY)

    # 获取图像特征sift-SIFT特征点,实例化对象sift
    sift = cv.xfeatures2d.SIFT_create()                
    
    # keypoints:特征点向量,向量内的每一个元素是一个KeyPoint对象,包含了特征点的各种属性信息(角度、关键点坐标等)
    # features:表示输出的sift特征向量,通常是128维的
    keypoints, features = sift.detectAndCompute(image, None)
    
    # cv.drawKeyPoints():在图像的关键点部位绘制一个小圆圈
    # 如果传递标志flags=cv.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,它将绘制一个大小为keypoint的圆圈并显示它的方向
    # 这种方法同时显示图像的坐标,size和方向,是最能显示特征的一种绘制方式
    keypoints_image = cv.drawKeypoints(
        gray_image, keypoints, None, flags=cv.DRAW_MATCHES_FLAGS_NOT_DRAW_SINGLE_POINTS)
    
    # 返回带关键点的图像、关键点和sift的特征向量
    return keypoints_image, keypoints, features


# 使用KNN检测来自左右图像的SIFT特征,随后进行匹配
def get_feature_point_ensemble(features_right, features_left):
    # 创建BFMatcher对象解决匹配
    bf = cv.BFMatcher()
    # knnMatch()函数:返回每个特征点的最佳匹配k个匹配点
    matches = bf.knnMatch(features_right, features_left, k=2)  # des1为模板图,des2为匹配图
    # 利用sorted()函数对matches对象进行升序(默认)操作
    matches = sorted(matches, key=lambda x: x[0].distance / x[1].distance)
    # x:x[]字母可以随意修改,排序方式按照中括号[]里面的维度进行排序,[0]按照第一维排序,[2]按照第三维排序

    # 建立列表good用于存储匹配的点集
    good = []
    for m, n in matches:
    # ratio的值越大,匹配的线条越密集,但错误匹配点也会增多
    	ratio=0.6
        if m.distance < ratio * n.distance:
            good.append(m)
    return good


# 计算视角变换矩阵H,用H对右图进行变换并返回全景拼接图像
def Panorama_stitching(image_right, image_left):
    _, keypoints_right, features_right = sift_keypoints_detect(image_right)
    _, keypoints_left, features_left = sift_keypoints_detect(image_left)
    goodMatch = get_feature_point_ensemble(features_right, features_left)

    # 当筛选项的匹配对大于4对(因为homography单应性矩阵的计算需要至少四个点)时,计算视角变换矩阵
    if len(goodMatch) > 4:
        # 获取匹配对的点坐标
        ptsR = np.float32(
            [keypoints_right[m.queryIdx].pt for m in goodMatch]).reshape(-1, 1, 2)
        ptsL = np.float32(
            [keypoints_left[m.trainIdx].pt for m in goodMatch]).reshape(-1, 1, 2)
        
        # ransacReprojThreshold:将点对视为内点的最大允许重投影错误阈值(仅用于RANSAC和RHO方法时),若srcPoints和dstPoints是以像素为单位的,该参数通常设置在1到10的范围内
        ransacReprojThreshold = 4
        
        # cv.findHomography():计算多个二维点对之间的最优单映射变换矩阵 H(3行x3列),使用最小均方误差或者RANSAC方法
        # 函数作用:利用基于RANSAC的鲁棒算法选择最优的四组配对点,再计算转换矩阵H(3*3)并返回,以便于反向投影错误率达到最小
        Homography, status = cv.findHomography(
            ptsR, ptsL, cv.RANSAC, ransacReprojThreshold)

        # cv.warpPerspective():透视变换函数,用于解决cv2.warpAffine()不能处理视场和图像不平行的问题
        # 作用:就是对图像进行透视变换,可保持直线不变形,但是平行线可能不再平行
        result = cv.warpPerspective(
            image_right, Homography, (image_right.shape[1] + image_left.shape[1], image_right.shape[0]))
        
        cv.imshow("扭曲变换后的右图", result)
        cv.waitKey(0)
        cv.destroyAllWindows()
        # 将左图加入到变换后的右图像的左端即获得最终图像
        result[0:image_left.shape[0], 0:image_left.shape[1]] = image_left
        
        # 返回全景拼接的图像
        return result


if __name__ == '__main__':

    # 读取需要拼接的图像,需要注意图像左右的顺序
    image_left = cv.imread("./Left.jpg")
    image_right = cv.imread("./Right.jpg")

    # 通过调用cv2.resize()使用插值的方式来改变图像的尺寸,保证左右两张图像大小一致
    # cv.resize()函数中的第二个形参dsize表示输出图像大小尺寸,当设置为0(None)时,则表示按fx与fy与原始图像大小相乘得到输出图像尺寸大小
    image_right = cv.resize(image_right, None, fx=0.4, fy=0.24)
    image_left = cv.resize(image_left, (image_right.shape[1], image_right.shape[0]))

    # 获取检测到关键点后的图像的相关参数
    keypoints_image_right, keypoints_right, features_right = sift_keypoints_detect(image_right)
    keypoints_image_left, keypoints_left, features_left = sift_keypoints_detect(image_left)

    # 利用np.hstack()函数同时将原图和绘有关键点的图像沿着竖直方向(水平顺序)堆叠起来
    cv.imshow("左图关键点检测", np.hstack((image_left, keypoints_image_left)))
    # 一般在imshow后设置 waitKey(0) , 代表按任意键继续
    cv.waitKey(0)
    # 删除先前建立的窗口
    cv.destroyAllWindows()
    cv.imshow("右图关键点检测", np.hstack((image_right, keypoints_image_right)))
    cv.waitKey(0)
    cv.destroyAllWindows()
    goodMatch = get_feature_point_ensemble(features_right, features_left)

    # cv.drawMatches():在提取两幅图像特征之后,画出匹配点对连线
    # matchColor ? 匹配的颜色(特征点和连线),若matchColor==Scalar::all(-1),颜色随机
    all_goodmatch_image = cv.drawMatches(
        image_right, keypoints_right, image_left, keypoints_left, goodMatch, None, None, None, None, flags=2)
    cv.imshow("所有匹配的SIFT关键特征点连线", all_goodmatch_image)
    cv.waitKey(0)
    cv.destroyAllWindows()

    # 把图片拼接成全景图并保存
    result = Panorama_stitching(image_right, image_left)
    cv.namedWindow("全景图", cv.WINDOW_AUTOSIZE)
    cv.imshow("全景图", result)
    cv.imwrite("./全景图.jpg", result)
    cv.waitKey(0)
    cv.destroyAllWindows()

左图关键特征点检测

基于Python和openCV实现图像的全景拼接详细步骤

右图关键特征点检测

基于Python和openCV实现图像的全景拼接详细步骤

所有匹配的SIFT关键特征点连线

基于Python和openCV实现图像的全景拼接详细步骤

扭曲变换后的右图

基于Python和openCV实现图像的全景拼接详细步骤

全景图

基于Python和openCV实现图像的全景拼接详细步骤

由于输入的左右图像之间有大量重叠,导致全景图的主要添加部分是在拼接图像的右侧,因此会造成拼接后全景图右边大量的黑色空白区域。

到此这篇关于基于Python和openCV实现图像的全景拼接的文章就介绍到这了,更多相关Python openCV实现图像的全景拼接内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python提示[Errno 32]Broken pipe导致线程crash错误解决方法
Nov 19 Python
在Python中编写数据库模块的教程
Apr 29 Python
python 调用win32pai 操作cmd的方法
May 28 Python
Python实现读取TXT文件数据并存进内置数据库SQLite3的方法
Aug 08 Python
Python 数据处理库 pandas 入门教程基本操作
Apr 19 Python
详解安装mitmproxy以及遇到的坑和简单用法
Jan 21 Python
Scrapy框架爬取Boss直聘网Python职位信息的源码
Feb 22 Python
Django的用户模块与权限系统的示例代码
Jul 24 Python
关于阿里云oss获取sts凭证 app直传 python的实例
Aug 20 Python
python将三维数组展开成二维数组的实现
Nov 30 Python
python 正则表达式参数替换实例详解
Jan 17 Python
解决pycharm修改代码后第一次运行不生效的问题
Feb 06 Python
C3 线性化算法与 MRO之Python中的多继承
Python编程super应用场景及示例解析
Python编程源码报错解决方法总结经验分享
Oct 05 #Python
Python编程根据字典列表相同键的值进行合并
Oct 05 #Python
python编程简单几行代码实现视频转换Gif示例
用 Python 定义 Schema 并生成 Parquet 文件详情
Sep 25 #Python
使用pipenv管理python虚拟环境的全过程
Sep 25 #Python
You might like
香妃
2021/03/03 冲泡冲煮
第四节--构造函数和析构函数
2006/11/16 PHP
php中time()和mktime()方法的区别
2013/09/28 PHP
PHP使用POP3读取邮箱接收邮件的示例代码
2020/07/08 PHP
通过javascript的匿名函数来分析几段简单有趣的代码
2010/06/29 Javascript
js对数字的格式化使用说明
2011/01/12 Javascript
扩展JS Date对象时间格式化功能的小例子
2013/12/02 Javascript
jquery内置验证(validate)使用方法示例(表单验证)
2013/12/04 Javascript
jquery实现文本框数量加减功能的例子分享
2014/05/10 Javascript
javascript中AJAX用法实例分析
2015/01/30 Javascript
纯js实现无限空间大小的本地存储
2015/06/18 Javascript
记一次用vue做的活动页的方法步骤
2019/04/11 Javascript
ES6中异步对象Promise用法详解
2019/07/31 Javascript
解决Vue + Echarts 使用markLine标线(precision精度问题)
2020/07/20 Javascript
python简单的函数定义和用法实例
2015/05/07 Python
python获得一个月有多少天的方法
2015/06/04 Python
Python模拟用户登录验证
2017/09/11 Python
python中使用正则表达式的连接符示例代码
2017/10/10 Python
tensorflow入门之训练简单的神经网络方法
2018/02/26 Python
Python JSON编解码方式原理详解
2020/01/20 Python
tensorflow求导和梯度计算实例
2020/01/23 Python
Pandas之read_csv()读取文件跳过报错行的解决
2020/04/21 Python
python Protobuf定义消息类型知识点讲解
2021/03/02 Python
基于CSS3实现的几个小loading效果
2018/09/27 HTML / CSS
HTML5学习笔记之History API
2015/02/26 HTML / CSS
如何用H5实现一个触屏版的轮播器的实例
2017/01/09 HTML / CSS
HTML5本地存储之IndexedDB
2017/06/16 HTML / CSS
在线吉他课程,学习如何弹吉他:Fender Play
2019/02/28 全球购物
美国第二大连锁药店:Rite Aid
2019/04/03 全球购物
电气自动化自荐信
2013/10/10 职场文书
同学聚会老师邀请函
2014/01/28 职场文书
超市总经理岗位职责
2014/02/02 职场文书
公务员试用期满考核材料
2014/05/22 职场文书
纺织工程专业推荐信
2014/09/08 职场文书
岳麓书院导游词
2015/02/03 职场文书
本科毕业答辩开场白
2015/05/27 职场文书