-
基于视频的三维重建研究
这是一篇华中科技大学的硕士毕业论文,里面对三维重建技术的讲解很详细,适合作为综述来看独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或集休已经发表或撰写过的研究成果。对木文的研究做出贡献的个人和集休,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名:日期:年月日学位论文版权使用授权书本学位论文作者完全了解学校有关侏留、使用学位论文的规定,即:学校有权保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权华屮科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以釆用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密口,在年解密后适用本授权书本论文属于不保密口。(请在以上方框内打“√”)学位论文作者签名指导教师签名:日期:年月日日期:年月日万方数据华中科技大学硕士学位论文摘要基于视频的重建技术在计算杋视觉领域中扮演着非常重要的角色,而如何恢复场景的三维模型是目前研究的热点与难点问题。本文围绕基于视频的场景重建技术展开讨论,包括棊于单目视频的三维场景重建和于双目视频的视差图和场景流获取。由于单目包含的深度信息比较少,如何基于单目视频恢复相机的运动参数以及目标的深度信息是研究的重与难点。双目视频虽然包含了非常显著的深度信息,但是考虑到视频中场景的迕续性问题,如何使得恢复岀的深度图保持前后帧的连续性以及场景中运动日标的一致性,也是比较困难的问题。因此,针对上述所提到的问题进行了深入的研究,具体的研究工作如下第一,对三维重建研究进行了详细的介绍,介绍了对于特征点匹配的理解以及我们提出的基于特征引导偏向性高斯混合模型( Feature Guided Biased GaussianMixture model,FGBG);详细介绍立体视觉中立体匹配算法的原理、分类及评测标准,并在4个典型的数据集上对有代表性的局部、全局、半全局算法进行对比实验。此外,详细介绍运动恢复结构(SFM)的基本原理,并进行了实验分析。第二,提岀一种基于双目视频的视差图和场景流获取技术。基于双目视频,首先获得初始的视差图和2D特征点轨迹;在此基础上获得初始的3D稀疏运动轨迹,利用本文提出的 Object Motion Hypothesis(OMH)算法获得运动物体的致性假设采用 slanted-plane model以及参考图像与前后时间点图像对的约束关系,构建超像素和运动物体之间的能量模型,通过优化获得视差和场景流的估计结果。第三,提出一种棊于单目视频的动态场景重建系统。在获取特征点轨迹的基础上,基于运动信息获得特征点轨迹的聚类结果;提出一种基于超像素的多标记Graph-cut算法,得到每一个日标的精确边界;为每一个运动日标分配一个虚拟相机通过标准的SFM方法分别单独估计每个运动目标对应的虚拟相机的参数和稀疏三维点云,通过PMVS和泊松表面重建获得目标的稠密重建结果。关键词:三维重建、单∏视频、双目视频、视差、场景流万方数据华中科技大学硕士学位论文Abstract3D reconstruction based on video has play an important role in computer vision, andhow to recover 3D scene model has been paid much attention and is a difficult problemBased on the importance of 3D reconstruction, in this paper, the 3D reconstruction basedon video has been studied, including 3D scene reconstruction based on monocular videoand depth map and scene flow estimating based on binocular video. Since the monocularcontains much less depth information, how to recover the camera motion and depth maphas been a difficult problem. Besides, although binocular view contains significant depthinformation, it is difficult to keep the consistency of depth map and moving objectsTherefore, in view of the problems mentioned above the specific research works are asFirst. we introduce two directions of 3D reconstruction in computer vision: based onstereo vision method and based on structure from motion. The stereo matching method hasbcen introduced in detail, including algorithm principle, classification, and evaluationmethod. And, we compare the global, local and semi-global algorithm on four typicaldataset. In addition, we have made a detail introduction of structure from motion(SFM)and the experiment has been carried out to get 3D point cloudSecond, a method for depth map and scene flow estimation is proposed. First, inputbinocular video, initial disparity map is got by SGM, 2 point trajectories are got byoptical flow. Then the 3D tracks are got by disparity map and 2D point trajectories, get theobject motion hypothesis. Considering constraint between the reference image and theforward-backward images, the energy model based on super-pixel and object isconstructed using slanted plane model. Finally, the depth map and scene flow will be gotThird, a method for reconstructing monocular dynamic scene with multiple movingrigid objects captured by a single moving camera is proposed. First of all, feature pointsare matched through the video sequence via the optical flow method and the tracks "aregot based on these matches. Then the tracks are divided into several groups according totheir motion differences. An improved graph cuts based multi-label auto imagesegmentation method is used to acquire the accurate boundary of each moving object and万方数据华中科技大学硕士学位论文the static background. Then we assume a virtual camera for each moving object and thestatic background. The pose of these virtual cameras are estimated via the standardStructure from Motion(SFM) pipeline. Finally a dense point set and textured model isreturned for each virtual camera. We evaluate our approach on real-world video sequenceand demonstrate its robustness and effectivenessKey words: 3D reconstruction, monocular video, binocular video, disparity, scenefleOw万方数据华中科技大学硕士学位论文目录摘要Abstract绪论1研究的背景及意义2国内外研究现状1.3论文的主要工作及结构···································:··········.················4·2三维重建基本方法研究2.1引言.………8)2.,2线性摄像机模型(8)23基于特征点的图像匹配24运动恢复结构方法(12)2.5立体匹配与三维重建···.·.·······.·················:····.····················(15)26本章小结(22)基于双目视频的视差图与场景流估计3.1引言(23)3.2运动目标的提取(25)3.3双向约束场景流模型..31)34实验分析.333.5本章小结(444基于单目视频的三维重建研究(45)4.2目标分割(464.3三维场景估计(51)万方数据华中科技大学硕士学位论文4.4实验分析(52)4.5本章小结(55)5全文总结与展望5.1木文的主要页献与创新点(56)5.2工作展望…7)致谢S8)参考文献非D·非非··非。非(59)附录万方数据华中科技大学硕士学位论文绪论11研究的背景及意义视觉是人类的基本功能。通过视觉,人们能够感知外部世界中物体的大小,以及辨别物体之间的相对位置,并且了解它们之间的相互关系。人类把这种功能称为视觉功能。随着科学技术的不断创新,新兴的电子产品不断涌现,数码设备的成熟和计算机理论的涌现让人们越来越关注计算机视觉。人们开始利用摄像机采集视频或者图像,并将其转化为人类可理解的信号。即利用计算机实现模仿人类视觉的功能,计算机视觉也就随之六生。计算机视觉是个涵盖多种学科知识的新兴学科。其理论研究的最终目的是通过对采集到的视频或者图像进行处理,将二维图像或视频转化为三维信息,从而感知场景或物体的形状及运动。因此,计算机视觉吸引了越来越多的研究人员参与其中,包括图像处理与模式识别,应用数学,计算札科学与技术等等。三维场景重建作为计算札视觉中一个重要的研究方向,受到许多研究者的青睐。最近,获取三维场景信息的方式主要有以下三种:第一种,利川常见的建模软件3DMax、CAD等进行重建;第二种,利用深度扫描仪、红外或者激光测距仪器等设备进行三维重建;第三种,利用计算机视觉原理,基于视频或者图像获取场景的三位模型。在上述方法中,第一种是最为成熟的,但是第一种方法的操作步骤十分复杂,并且建模周期长。第二种方式能够获得物伓的髙精度几何模型,但是这些仪器价格昂贵,费时费力,并且对于重建大型场景非常局限。因此,第三种方式受到了普遍的关注,它可以重建复杂的室外大型场景,真实感强,价格低廉且方便携带。利用图像或者视频对场景进行重建,即从图像或视频中恢复场景或者物体的三维几何信息,构建三维模型,给人以视觉亨受。三维重建的用途十分广泛,它可以用于机器人导航,无人驾驶,医学图像分析,游戏等众多方向在众多的三维场景重建方法中,于视频的重建方法一直是一个研究热点。其中,从单目视觉的角度出发,基于单目视频的三维重建技术就是利用单个摄像札对万方数据华中科技大学硕士学位论文场景进行拍摄,研宄如何利用图像序列光流估计运动物体或场景的三维运动来重建三维模型。从双日视觉的角度出发,基于双∏视频的三维重建技术就是利用两个摄像机,从两个不同的角度对同一个场景进行拍摄,研究如何利用左右两个图像序列各自的运动信息,以及左右视图之间的视差信息,完成场景的三维重建。本文的基于视频的三维重建技术具有十分重要的研究价值。针对双目视频,提出了一种基于双目视频的视差图和场景流获取技术,目的是同时获得视差图和场景流信息、。针对单目视频,提出个完整的基于包含多个刚体运动目标的单目动态场景视频的重建系统。12国内外研究现状121基于单目视觉的三维重建研究现状近年来,3D静态场景的重建己经取得了显著性的突破。其中,大多数的研究都是遵循一个特定的步骤:首先从一组多视角的图像中提取特征点,然后对多视图中的特征点进行匹配,构建基础矩阵,恢复相机参数,从而得到玚景的三维结构凹。其中, Snavely N主要通过SFM( (structure from motion)从无序图像序列中恢复相机的位置以及获得场景的三维稀疏点云倒。除∫稀疏点云的重建之外,很多学者也集中研究场景的三维稠密重建四。其中, Seitz s m对多种立体匹配算法进行比较,并且是第一个提供已标定的多视图数据集。 Kolev K在前者的基础之上提出了一个全局能量模型,融合了轮廪信息和立体信息。值得一提的是,深度信息也是一种非常有前景的3D重建方法,主要思想是通过恢复图像的深度信息,融合多幅深度图逃行稠密重建η。此外,很多研究集屮于基于单个视频的稠密表面重建,主要包括基于场景流( scene flow)s, mesh- based稠密表面重建例, patch-base稠密表面重。但是,大多数捕获的视频中,动态场景视频比铰常见。而上述的研究只能用于处理静态场景,它们在应对多目标运动场景方面是十分有限的。最近, Tron r提出了一个包含动态运动目标的场景分割标准山,它是·个重要的3D运动估计和重建的预处埋过程视频重建主要有于两个视图12和基于多个视图314其中,HanM和万方数据
- 2020-12-11下载
- 积分:1
-
数学建模大全
充分了解数学建模的相关知识,其中包括各种算法以及MATLAB在数学建模中的具体应用以及相关的程序代码,综合各方面的知识,方便我们了解例如线性规划maxx s.t. Ax>b的Maab标准型为min -cx s.Axcx∑anx,=bi=12,…,mst≥可行解满足约束条件(4)的解x=(x1,x2,…,xn),称为线性规划问题的可行解,而使目标函数(3)达到最大值的可行解叫最优解可行域所有可行解构成的集合称为问题的可行域,记为R14线性规划的图解法101+x2=106z=12图1线性规划的图解示意图图解法简单直观,有助」了解线性规划问题求解的基木原坦。我们先应用图解法来求解例1。对于每一固定的值z,使目标函数值等于z的点构成的直线称为目标函数等位线,当z变动时,我们得到一族平行直线。对于例1,显然等位线截趋于右上方,其上的点具有越大的目标函数值。不难看出,本例的最优解为x*=(2,6),最优目标值26从上面的图解过程可以看出并不难证明以下断言:(1)可行域R可能会出现多种情况。R可能是空集也可能是非空集合,当R非空时,它必定是若干个半平面的交集(除非遇到空间维数的退化)。R既可能是有界区域,也可能是无界区域(2)在R非空,线性规划既可以存在有限最优解,也可以不存在有限最优解(其目标函数值无界)。(3)若线性规划存在有限最优解,则必可找到具有最优目标函数值的可行域R的“顶点”。上述论断可以推广到一般的线性规划问题,区别只在」空问的维数。在一般的n维空间中,满足一线性等式∑a1x=b的点集被称为一个超平面,而满足一线性不等式氵=1∑ax≤b(或∑a1x,≥b)的点集被称为一个半空间(其中(a1…,an)为一n维行向量,b为一实数)。若千个半空间的交集被称为多胞形,有界的多胞形又被称为多面体。易见,线性规划的可行域必为多胞形(为统一起见,空集Φ也被λ为多胞形)。在一般n维空问中,要直接得出多胞形“顶点”概念还有一些困难。二维空间中的顶点可以看成为边界直线的交点,但这一几何概念的推广在一般n维空间中的几何意义并不十分直观。为此,我们将采用另一途径来定义它。定义1称n维空间中的区域R为一凸集,若Vx,x2∈R及元∈(01),有x+(1-4)x2∈R定义2设R为n维空间中的一个凸集,R中的点x被称为R的一个极点,若不存在x、x2∈R及∈(0,1),使得x=4x+(1-4)x2。定义1说明凸集中任意两点的连线必在此凸集中;而定义2说明,若x是凸集R的个极点,则x不能位于R中任意两点的连线上。不难证明,多胞形必为凸集。同样也不难证明,维空间中可行域R的顶点均为R的极点(R也没有其它的极点)1.5求解线性规划的 Matlab解法单纯形法是求解线性规划问题的最常用、最有效的算法之一。这里我们就不介绍单纯形法,有兴趣的读者可以参看其它线性规划书籍。下面我们介绍线性规划的 Matlab解法Matlab中线性规划的标准型为min c rAx shs t.Aeq. x=beb
- 2020-12-01下载
- 积分:1
-
labview读取文本文件到数组
自己写的一个小程序,可以从文本读取数值到字符串,然后读入数组!希望对大家有所帮助!
- 2021-05-07下载
- 积分:1
-
Matlab PCA+SVM人脸识别(包含GUI界面设计)
包含代码和人脸数据库,更改文件夹地址后即可运行,Matlab人脸识别,包含GUI界面设计
- 2020-12-06下载
- 积分:1
-
mini2440之U-boot移植详细手册-20110908.pdf
mini2440之U-boot移植详细手册-20110908.pdf上海嵌入式家园-开发板商城贺工www.embedclub.com第6章 U-BOOT在MN440上的移植.…556.1建立开发板文件,测试编泽环境55611修改顶层 Makefile561.2在/b0ad中建smd2440日录和文件5661.3 include/ngs/中建立发板配量之件,.:·61.4测试编译环境566,2第一阶段:探索启动代码6.2.1关闭为A79200写的ED必转576.2.2修改CPU额率初始化设置586.2.3修改0weve/nit.S文件,…59624修改代码重定向部分606.2.5增加ED的点亮架作…6963第二阶段:修改初始化代码7063修改加am/b0ard,C文件…706.3.2修改bord/ embedclub/smdk2440/5mdk2440.c文件64第三阶段:完善目标板夕设驱动…76641 Nand flash相关代码的修改..7664.2添加s(2)像烧写功能…7964.3修改 Nor flash写入功能的代644修改网络相关代码9364.5添加口 Xmodem传物协议(可不修改)93646添加CD显小功能96647添加D卡MMC)读取功能10165第四阶段:修正配置文件11865.1添加 CONFIG S3C2440条件定义11865.2修改量之 include/ configs/smdk2440a,h66重新编译并测试第7章UBO0T下添加自定义的命令13471MAN_LooP()与 ABORTBOOT(两数分析1347.11 main loop()的数分析:1357.1.2 abortboot/两数分析tinnddnd4灬13572U-BoOT卜添加主菜单界面命令MENU137第8章 U-BOOT下通过DNW实现 USB SLAVE下载功能4.81添加 USB SLAVE下载功能.…14382使用 WINDOWS下DNW测试 USB SLAVE下载功能14983在LNx下安装DNW实现 USB SLAVE下载功能151831 Linux下DNW源码下我1518.32编详DNW驱动和程序15183.3挂教 secbulk ko内孩模块.1518.34使iux下DNW完成下我…151第9章UBoD0T下载的源代码链接…上海嵌入式宗回-歇板商城嵌入式家园阙扯:ww.embedclub.com淘宝城网址http://embedclub,taobaocom/上海嵌入式家园-开发板商城贺工www.embedclub.com第章的概念与功能嵌入式 Linux软件结构与分布一般情况下嵌入式系统中的软件主要分为以下几部分:引导加载程序:其中包括内部中的固化启动代码和两部分。内部固化是厂家在芯片生产时候固化的,作用基本上是引导有的芯片比较复杂,比如在屮没有代码的时候有许多启动方式或以太网等等。而则很简单,只有和和文件系统。包括根文件系统和建立于内存设备之上的文件系统(等等)。它是提供管理系统的各种配置文件以及系统执行川户应用程序的良好运行环境及载体。应用程序。用户自定义的应用程序,存放于文件系统之中。在存储器中,他们的分布一般如:根文件系统其他文件系统参数区被挂载到根文件系统或者作为但是以上只是大部分情况下的分布,也有一些可能根文件系统是,被一起压缩到了内核映像甲,或老没有参数区,等等在嵌入式 Linux中 Bootloader的必要性内核的启动除了内核怏像必须在主存的适当位置,还必须具备一定的条件:R0=01.CPU寄存器的设置:R1= Machine id(即 Machine type number,定义在inux/arch/ arm/tools/ mach typesR2=内核启动参数在RM中起始基地址;2.CPU模式:必须禁止中断(IRQs和FIQs);CPU必须SVC模式M必须关闭3. Cache和MMU的设置:指令 Cache可以打开也可以关闭:数据 Cache必须关闭;上海嵌入式家园一开牧椒商城嵌入式家园阙扯:ww.embedclub.com淘宝城网址http://embedclub,taobaocom/上海嵌入式家园-开发板商城贺工www.embedclub.com但是在刚上电启动的时候,一般连内存掉制器都没有初始化过,根本无法在主存中运行程序,更不可能处在内核启动环境中。为了初始化及其他外设,使得内核可以在系统主存中运行,并让系统符合内核启动的必备条件,必须要一个先于内核运行的程序,他就是所谓的引导加载程序(而并不是才需要,而是几乎所有运行操作系统的设备都需要。我们的的就是的一部分(只是前期引导,后面一般还有外中的各种),对于来说,的功能和选择综上:所述是在操作系统内核启动之前运行的一段小程序。通过这段程序我们可以初始化硬件设备,从而将系统的软硬件环境带到一个合适的状态,以便为最终调用操作系统内核准备好止确的环境,最后从别处(、以太网、)载入内核映像到主存并跳到入口地址。由于需要直接操作硬件,所以它严重依赖于硬件,而且依据所引导的操作系统的不同,也有不同的选择。对于嵌入式世界中更是如此。就而言,如果是引导般选用韩国的公司设计的或者软件工程中心的,如果是引导,就选用。如果是开发构架下的,就可选用由和发布的。如果是要引导系统,可以选用同是公司开发的所以在嵌入式世界中建立一个通用的几乎是不可能的,而可能的是让一个代码支持多种不同的构架和操作系统,并让她有很好的可移植性。就是攴持多平台多操作系统的一个杰出代表。这也是的优势所在,因为如果在开发时熟悉了,再转到别的平台的时候,就可以很快地完成这个平台下的移植。而且的代码结构越来越合理,对于新功能的添加也十分容易次推荐阅读:嵌入式系统技术内幕上海嵌入式宗回-歇板商城嵌入式家园阙扯:ww.embedclub.com淘宝城网址http://embedclub,taobaocom/上海嵌入式家园-开发板商城贺工www.embedclub.com第章简介U-boot的起源是的简称,其含义是,是遵循条款的开放源码项目。最早德国软件工程中心的基于和的源码创建了工程项目,此后不断添加处理器的支持。而后,移植到平台上,创建了工程项日。最终,以工程和工程为基础,创建了工程年月日第一个版木发布,同时和停止维护而今作为一个主流、通用的,成功地被移植到包括等主流休系结构上的百种开发板,成为功能最多、灵活性最强,并且开发最积极的廾涼日前仍然由维护U-boot的开发情况和资源最早的版本号是由来表示的,从直发展到。之后便开始使用年份加月份的表示方法,从到现在的平均每个多月出一个新版本。每次代码的结构和定义都会有一些修和改进,其代码越来越规整,功能越来越强,但是移植的难度反而越来越小,需要修改的地方越来越少不仅有主线版本,在的代码仓库中还有各个构架的分支版本些分支会在一定的时候将修改汇入主线。下面总结一下关丁源代码的网络资源官方链接德国软件工程屮心主页官方主页注意其中的邮件列表链接官方源码下载官方代码仓库针对的修改于机的源码上海嵌入式宗回-歇板商城嵌入式家园阙扯:ww.embedclub.com淘宝城网址http://embedclub,taobaocom/上海嵌入式家园-开发板商城贺工www.embedclub.com的源码(针对源码(针对上海嵌入式宗回-歇板商城嵌入式家园阙扯:ww.embedclub.com淘宝城网址http://embedclub,taobaocom/上海嵌入式家园-开发板商城贺工www.embedclub.com第章开发环境搭建交叉编译工具链的安装编译公A的时候,必须使用交叉编译工具链。你可以使用友善之臂提供的交叉编译工具(版本),也可以使用或自己编译一个。至于如何用工具自己编译交叉编译工具链,请看的博客的相关文章:用建立—交叉编译环境建立交叉编译环境(以()为例)在编译好交叉编译工具链后,要在环境变量的中添加编译工具的路径(也就是所在的路径),这样在编译时系统才找得到编译器的命令。在下的修改方法如下:在最后加上:交叉编译工具的路径网路服务的设置在使用的时候常常会用到宿主机的和这两种网络服务,所以最好在开发前设置好。下面以下使用安装为例,简单介绍一下安装配置过程:安装配置服务安装酣置服务的大致步骤如下:()安装和程序()修改配置文件()根据配置文件的跻径,建立日录,并修改日录权限;()重启服务()本地传输测试。以下是一个安装和配置主要步骤的脚本,大家参考:你想要的目录路径上海嵌入式宗回-歇板商城嵌入式家园阙扯:ww.embedclub.com淘宝城网址http://embedclub,taobaocom/上海嵌入式家园-开发板商城贺工www.embedclub.com你想要的日录路径建立目录,并修改目录权限:重启安装配置服务安装配置服务的大致步骤如下:()安装内核服务;()重新配置服务,修改和配置文件,重启服务()修改服务的配置文件添加服务∏录和配置,重新导入配置()重启服务,并检查可挂载的日录()在本地挂载测试以下是一个安装和配置主要步骤的脚本,大家参考:上海嵌入式宗回-歇板商城嵌入式家园阙扯:ww.embedclub.com淘宝城网址http://embedclub,taobaocom/上海嵌入式家园-开发板商城贺工www.embedclub.com对选特别要注意上面的的形式,以前是形如,现在是掩码为数的形式。用旧的格式可能会出问题具体的说明建议看册:串口终端程序的安装配置在使用的时候,必然会用到串口与开发板进行通信,所以串口终端程序必不可少。下面简单介绍下常用的牛凵终端:和的安装配置(以下使川安装为例)。的安装配置(推荐安装)在下是通过串口传输文件到开发板,就属比较好用上海嵌入式宗回-歇板商城嵌入式家园阙扯:ww.embedclub.com淘宝城网址http://embedclub,taobaocom/
- 2020-12-08下载
- 积分:1
-
PWM调制及其matlab仿真
描述了各种PWM调制原理及在matlab的应用。
- 2021-05-06下载
- 积分:1
-
软件开发实习日记
自己写的C#和.net实习日记,没一篇都是自己经历并记录的,对于快毕业要写实习日记的朋友有帮助。
- 2020-12-07下载
- 积分:1
-
车辆检测数据集
128*128的ppm图片
- 2020-12-04下载
- 积分:1
-
基于改进的猫映射对图像加密
这是将传统猫映射改进后,对图像加密,是加密图像更具有安全性。希望能帮助研究基于混沌图像加密方向的同学
- 2020-11-30下载
- 积分:1
-
骑缝章盖章工具
骑缝章盖章工具
- 2020-07-01下载
- 积分:1