基于视频的三维重建研究
这是一篇华中科技大学的硕士毕业论文，里面对三维重建技术的讲解很详细，适合作为综述来看独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或集休已经发表或撰写过的研究成果。对木文的研究做出贡献的个人和集休,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名:日期:年月日学位论文版权使用授权书本学位论文作者完全了解学校有关侏留、使用学位论文的规定,即:学校有权保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权华屮科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以釆用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密口,在年解密后适用本授权书本论文属于不保密口。(请在以上方框内打“√”)学位论文作者签名指导教师签名:日期:年月日日期:年月日万方数据华中科技大学硕士学位论文摘要基于视频的重建技术在计算杋视觉领域中扮演着非常重要的角色,而如何恢复场景的三维模型是目前研究的热点与难点问题。本文围绕基于视频的场景重建技术展开讨论,包括棊于单目视频的三维场景重建和于双目视频的视差图和场景流获取。由于单目包含的深度信息比较少,如何基于单目视频恢复相机的运动参数以及目标的深度信息是研究的重与难点。双目视频虽然包含了非常显著的深度信息,但是考虑到视频中场景的迕续性问题,如何使得恢复岀的深度图保持前后帧的连续性以及场景中运动日标的一致性,也是比较困难的问题。因此,针对上述所提到的问题进行了深入的研究,具体的研究工作如下第一,对三维重建研究进行了详细的介绍,介绍了对于特征点匹配的理解以及我们提出的基于特征引导偏向性高斯混合模型( Feature Guided Biased GaussianMixture model,FGBG);详细介绍立体视觉中立体匹配算法的原理、分类及评测标准,并在4个典型的数据集上对有代表性的局部、全局、半全局算法进行对比实验。此外,详细介绍运动恢复结构(SFM)的基本原理,并进行了实验分析。第二,提岀一种基于双目视频的视差图和场景流获取技术。基于双目视频,首先获得初始的视差图和2D特征点轨迹;在此基础上获得初始的3D稀疏运动轨迹,利用本文提出的 Object Motion Hypothesis(OMH)算法获得运动物体的致性假设采用 slanted-plane model以及参考图像与前后时间点图像对的约束关系,构建超像素和运动物体之间的能量模型,通过优化获得视差和场景流的估计结果。第三,提出一种棊于单目视频的动态场景重建系统。在获取特征点轨迹的基础上,基于运动信息获得特征点轨迹的聚类结果;提出一种基于超像素的多标记Graph-cut算法,得到每一个日标的精确边界;为每一个运动日标分配一个虚拟相机通过标准的SFM方法分别单独估计每个运动目标对应的虚拟相机的参数和稀疏三维点云,通过PMVS和泊松表面重建获得目标的稠密重建结果。关键词:三维重建、单∏视频、双目视频、视差、场景流万方数据华中科技大学硕士学位论文Abstract3D reconstruction based on video has play an important role in computer vision, andhow to recover 3D scene model has been paid much attention and is a difficult problemBased on the importance of 3D reconstruction, in this paper, the 3D reconstruction basedon video has been studied, including 3D scene reconstruction based on monocular videoand depth map and scene flow estimating based on binocular video. Since the monocularcontains much less depth information, how to recover the camera motion and depth maphas been a difficult problem. Besides, although binocular view contains significant depthinformation, it is difficult to keep the consistency of depth map and moving objectsTherefore, in view of the problems mentioned above the specific research works are asFirst. we introduce two directions of 3D reconstruction in computer vision: based onstereo vision method and based on structure from motion. The stereo matching method hasbcen introduced in detail, including algorithm principle, classification, and evaluationmethod. And, we compare the global, local and semi-global algorithm on four typicaldataset. In addition, we have made a detail introduction of structure from motion(SFM)and the experiment has been carried out to get 3D point cloudSecond, a method for depth map and scene flow estimation is proposed. First, inputbinocular video, initial disparity map is got by SGM, 2 point trajectories are got byoptical flow. Then the 3D tracks are got by disparity map and 2D point trajectories, get theobject motion hypothesis. Considering constraint between the reference image and theforward-backward images, the energy model based on super-pixel and object isconstructed using slanted plane model. Finally, the depth map and scene flow will be gotThird, a method for reconstructing monocular dynamic scene with multiple movingrigid objects captured by a single moving camera is proposed. First of all, feature pointsare matched through the video sequence via the optical flow method and the tracks "aregot based on these matches. Then the tracks are divided into several groups according totheir motion differences. An improved graph cuts based multi-label auto imagesegmentation method is used to acquire the accurate boundary of each moving object and万方数据华中科技大学硕士学位论文the static background. Then we assume a virtual camera for each moving object and thestatic background. The pose of these virtual cameras are estimated via the standardStructure from Motion(SFM) pipeline. Finally a dense point set and textured model isreturned for each virtual camera. We evaluate our approach on real-world video sequenceand demonstrate its robustness and effectivenessKey words: 3D reconstruction, monocular video, binocular video, disparity, scenefleOw万方数据华中科技大学硕士学位论文目录摘要Abstract绪论1研究的背景及意义2国内外研究现状1.3论文的主要工作及结构···································:··········.················4·2三维重建基本方法研究2.1引言.………8)2.,2线性摄像机模型(8)23基于特征点的图像匹配24运动恢复结构方法(12)2.5立体匹配与三维重建···.·.·······.·················:····.····················(15)26本章小结(22)基于双目视频的视差图与场景流估计3.1引言(23)3.2运动目标的提取(25)3.3双向约束场景流模型..31)34实验分析.333.5本章小结(444基于单目视频的三维重建研究(45)4.2目标分割(464.3三维场景估计(51)万方数据华中科技大学硕士学位论文4.4实验分析(52)4.5本章小结(55)5全文总结与展望5.1木文的主要页献与创新点(56)5.2工作展望…7)致谢S8)参考文献非D·非非··非。非(59)附录万方数据华中科技大学硕士学位论文绪论11研究的背景及意义视觉是人类的基本功能。通过视觉,人们能够感知外部世界中物体的大小,以及辨别物体之间的相对位置,并且了解它们之间的相互关系。人类把这种功能称为视觉功能。随着科学技术的不断创新,新兴的电子产品不断涌现,数码设备的成熟和计算机理论的涌现让人们越来越关注计算机视觉。人们开始利用摄像机采集视频或者图像,并将其转化为人类可理解的信号。即利用计算机实现模仿人类视觉的功能,计算机视觉也就随之六生。计算机视觉是个涵盖多种学科知识的新兴学科。其理论研究的最终目的是通过对采集到的视频或者图像进行处理,将二维图像或视频转化为三维信息,从而感知场景或物体的形状及运动。因此,计算机视觉吸引了越来越多的研究人员参与其中,包括图像处理与模式识别,应用数学,计算札科学与技术等等。三维场景重建作为计算札视觉中一个重要的研究方向,受到许多研究者的青睐。最近,获取三维场景信息的方式主要有以下三种:第一种,利川常见的建模软件3DMax、CAD等进行重建;第二种,利用深度扫描仪、红外或者激光测距仪器等设备进行三维重建;第三种,利用计算机视觉原理,基于视频或者图像获取场景的三位模型。在上述方法中,第一种是最为成熟的,但是第一种方法的操作步骤十分复杂,并且建模周期长。第二种方式能够获得物伓的髙精度几何模型,但是这些仪器价格昂贵,费时费力,并且对于重建大型场景非常局限。因此,第三种方式受到了普遍的关注,它可以重建复杂的室外大型场景,真实感强,价格低廉且方便携带。利用图像或者视频对场景进行重建,即从图像或视频中恢复场景或者物体的三维几何信息,构建三维模型,给人以视觉亨受。三维重建的用途十分广泛,它可以用于机器人导航,无人驾驶,医学图像分析,游戏等众多方向在众多的三维场景重建方法中,于视频的重建方法一直是一个研究热点。其中,从单目视觉的角度出发,基于单目视频的三维重建技术就是利用单个摄像札对万方数据华中科技大学硕士学位论文场景进行拍摄,研宄如何利用图像序列光流估计运动物体或场景的三维运动来重建三维模型。从双日视觉的角度出发,基于双∏视频的三维重建技术就是利用两个摄像机,从两个不同的角度对同一个场景进行拍摄,研究如何利用左右两个图像序列各自的运动信息,以及左右视图之间的视差信息,完成场景的三维重建。本文的基于视频的三维重建技术具有十分重要的研究价值。针对双目视频,提出了一种基于双目视频的视差图和场景流获取技术,目的是同时获得视差图和场景流信息、。针对单目视频,提出个完整的基于包含多个刚体运动目标的单目动态场景视频的重建系统。12国内外研究现状121基于单目视觉的三维重建研究现状近年来,3D静态场景的重建己经取得了显著性的突破。其中,大多数的研究都是遵循一个特定的步骤:首先从一组多视角的图像中提取特征点,然后对多视图中的特征点进行匹配,构建基础矩阵,恢复相机参数,从而得到玚景的三维结构凹。其中, Snavely N主要通过SFM( (structure from motion)从无序图像序列中恢复相机的位置以及获得场景的三维稀疏点云倒。除∫稀疏点云的重建之外,很多学者也集中研究场景的三维稠密重建四。其中, Seitz s m对多种立体匹配算法进行比较,并且是第一个提供已标定的多视图数据集。 Kolev K在前者的基础之上提出了一个全局能量模型,融合了轮廪信息和立体信息。值得一提的是,深度信息也是一种非常有前景的3D重建方法,主要思想是通过恢复图像的深度信息,融合多幅深度图逃行稠密重建η。此外,很多研究集屮于基于单个视频的稠密表面重建,主要包括基于场景流( scene flow)s, mesh- based稠密表面重建例, patch-base稠密表面重。但是,大多数捕获的视频中,动态场景视频比铰常见。而上述的研究只能用于处理静态场景,它们在应对多目标运动场景方面是十分有限的。最近, Tron r提出了一个包含动态运动目标的场景分割标准山,它是·个重要的3D运动估计和重建的预处埋过程视频重建主要有于两个视图12和基于多个视图314其中,HanM和万方数据
- 2020-12-11下载
- 积分：1
模糊理论和神经网络的基础与应用.pdf
模糊理论和神经网络的基础资料，相关知识说得较明白易懂。模糊理论和神经网络的基础与应用(仅供交流学习使用,请勿用于商业交易,否则后果自负)中国计算机学会学术著作丛书模糊理论和神经网络的基础与应用Introduction to Fuzzy Theory andNeural Networks and Their Application赵振宇徐用恐著清华大学出版社广西科学技术出版社模糊理论和神经网络的基础与应用(仅供交流学习使用,请勿用于商业交易,否则后果自负)(京)新登字158号(桂)新登字06号内容简介模糊理论和神经网弊是近年来得到迅速发展的嘶兴学料,它们的应用和影响己经遍及人工智能算机科学自动控制、专家系统信息科学、 CAD/CAN医疗诊断、经济等部门和领域本书系统驰论述了模糊理论和神经网络的基本理论、方法,从统一的工程角度综合分析了两大学科的最新成果,研究动向以及两者交叉部分中的前沿研究并介绍了高技术的应用实例。全书非14章,分三大都分第一部分为模糊理论的基础、建模方法和实际应用第二部升为神经网将的基本理论罔络学习方法和典型实倒第三部分讨论了模棚系统和神经网络系统的异同、融合和相互转换方法,本书还提供了大暈劑颞,以便读者自己模伤实践加深理解。本书可供白动控制计算机、信号信息处理、电路与系统、系綻工程等专业的高校师生利科技人虽遄用版权所有,醐印必究。本书封面貼有消华大学出版社激光防伪标签,无标签者不得销嘗肉书在版編目(CIP數据模糊理论和神经网络的基础与应用=Ⅰ NTRODUCTION TO FUZZY THEORY ANDNEURAL NETWORKS AND THEIR APPLI CATTON/赵振宇,徐用懋著.一北京:清华大学出版社,1995.19〔中国计算机学会学术者作丛书IsHN7-302-02061-2I.模r.①赵…闪徐…】,①模糊数学-应用-计算机网络②神经网络应川计算机网终Ⅳ.TP393中国版本图书馆CIP数据核字(95)第23616号出版者:清华大学出版社(北京清华大学校内,邮编100084)西科学技术出版社(厂西南宁河堤路14号,邮编530021印刷者:北京市清华园印刷厂发行者:新华书店总店北京科披发行所开本:787×1092116印张;13.75字数:324千字版次:i996年6月第1版199日年6月第1次印刷号:IN7-302-020612/TP·958印数:001-4000定价:16.00元模糊理论和神经网络的基础与应用(仅供交流学习使用,请勿用于商业交易,否则后果自负)清华大学出版社广西科学抆术出版社计算机学术著作出版基金评审委员会主任委员张效祥副主任委员周远清汪成为委员王鼎兴杨芙清李三立施伯乐徐家福夏培肃董韫美张兴强徐培忠模糊理论和神经网络的基础与应用(仅供交流学习使用,请勿用于商业交易,否则后果自负)出版说明近午来随岩微电子和计算相技术渗透到各个技术领域,人类正在步入一个技术迅插发展的新时期。这个新时期的主要标志是计算机和信息处理的广泛应用。计算机在改造传统产业实现管理自动化促进新兴产业的发展等方面都起着重要作用,它在现代化建设中的战略地位愈来盒明显。算机科学与其它学科的交叉又产生了许多新学科推功着科学技术向更广阔的领域发展,正在对人类社会产生深远的影响科学技术是第一生产力。计算机科学技术是我国高科技领域的一个重要方面。为了推动我国计算机科学及产业的发展,促进学术交流,使科研慮果尽快转化为生产力华大学出版杜与广西科学技术出版社联合设立了“计算机学术著作基金”,旨在支持和员科技人员,提写高水平的学术著作,以反映和推广我国在这一领域的最新成果计算机学术著作出版基金资助出版的著作范国包括:有重要理论价值或重要应用价值的学术专著计算机学科前沿探索的论著推动计算机拔水及产业发的专著;与计算机有关的交叉学科的论蓍有较大应用价值的工具书世界名著的优透翻译作品。凡经作者本人申请,计算机学术著作出版基金评审委员会评牢通过的著作,将由该基金资助出版,出版社将努力徹好出版工作基金还支持两社列选的国家高科技葷点图书和国家教委重獻图书规划中计算机学科领域的学术著作的出版为了做好选题工作出版社特邀请“中国计算机学会”“中国中文信息学会”帮助做好组织有关学术普作丛书的列选工作。热诚希望得到厂大计算机界同仁的支持和帮助清华大学出版社计算机学术著作出版基金办公室西科学技术出版社1992年4月模糊理论和神经网络的基础与应用(仅供交流学习使用,请勿用于商业交易,否则后果自负)丛书序亩计算机是当代发展最为迅猛的科学技术其应用几乎已深入到人类社会活动和生活的一切领域大大提高了社会生产力引起了经济结构社会结构和生活方式的深刻变化和变革,是最为活跃的生产力之一。计算机本嘉在国际范围内已成为年产值达250亿美元的巨大产业国际争异常剧烈,预计到本世纪末将发展为世界第一大产业。计算帆科技具有极大的综合性质,与众多科学技术相交叉而反过来又渗入更多的科学技术,促进它们的发展。计算机科技内容十分丰富学科分支生长尤为迅速,日新月异,层出不穷。因此在我国计算机科技尚比较落后的情况下加强计算机科技的传播实为当务之急。中国计算机学会一直把出版图书刊物作为学术动的重要内容之一。我国计算机专家学者通过科学实践做出了大量成果积累了丰富经验与学识。他们有撰写著作的大积极性,但相当时期以来计算机学术著作出于印数不多,出版往往退到不少困难,专业性越强有深度的著作出版难度越大最近清华大学出版杜与西科学枝术出版社为促进我国计算机科学技术及产业的发椎动计算机科技著作的出版工作,特设立“计算机学术著作出版基金”,以支持我国计算机科技工作者撰写高水平的学术著作并将资助出版的著作列为中国计算机学会的学术荷作从书我们十分盒视这件事,并三把它列为学会本屈理事会的工作要点之一。我们希望这一系划丛书能对传播学术成果,交流学术愿想促进科转化为生产力起到良好作月能对我国计算积科技发展具有有益的导向意义,也希望我国广大学会会员和计算机和技工作者括海外工作和学习的神州学人们能积极投稿,出好这一系列丛书。中国计算机学会1992年4月20日模糊理论和神经网络的基础与应用(仅供交流学习使用,请勿用于商业交易,否则后果自负)Introduction to Fuzzy Theory, Neural Networks sand Their Applicationsby Zhen-Yu Zhao and Yong-Mao XuThe fields of fuzzy sets and neural networks have made rapid progress in recentyears, This book gives a comprehensive presentation on recent developments in boththeory and applications, Special emphasis is placed on basic concepts, system designnalysis and development methods of fuzzy systems and neural network systemsThis hook consists of three majar parts. The first two parts present the fundamen-tals and real world applications of fuzzy sets theory and ueural nel works, respectivelyThe last part addresses various state-of-the-art techniques o combine fuzzy logic withneural networks eliminating the disadvantages of each of these technologies while effec-tively combining their advantageshis book can be used as the text for an advanced course on fuzzy theory and neuraletworks. It is also a valuable reference to all researchers and engi eers interested inthese subjects模糊理论和神经网络的基础与应用(仅供交流学习使用,请勿用于商业交易,否则后果自负)序非高兴得知赵振宇博士和除月懋教投巴完成他们的合著《棋糊理论利神兰网络的基础与应用》近年来模糊理论和神经网络提供了行之有效的方法来解决在特定环境以及采用定性描述方式的多冒的设计中的各种间题这本节从模糊埋论利神网络的基出发,综合分析和归纳了两领域的研究成果,并附有大量的应用实例赵博士和徐教授对棋糊系统和神经网络研究较深,这次他们对此专题的合著正合时宜。此外,赵博土还利用他精通语和英讦的特长,充分收纳了这两大领域的最新发展和动向。二十余年前,L, A. Zadeh教提出的模棚集合哩论已在工程的众多领域中得到广泛深入的研究。对于实际操作人员,即没有精确的数据和过程模型他也能操作和控制复杂的过程。而模糊理论正是将掘作人员的操作经骏鞍换成可以在计算机上运行的掉制算法以便实现模糊控制樸糊控制已泛应用于水质控制她铁操作汽车减震和牵引以及摄泉机聚焦等系统中。人工神经网络是由大量并行分布、有机相联的神经元构成的计算机构,对这种计算机构的研究受启于生物神纸系统的学习能力和并行机制。近年米,对神经网络方面的研究受到愈来愈密切的关注,特别在人工智能、心理学、工程学和物理学等学科中显得空前的活跃。另外,应用神经网络技术的商业产品亦愈来愈多,典型的例子如:语言识别系统爆炸检测器和飞机座位订票系统等绒合模糊理论、神经网络以及其它智能算法(如人上邀传斧法)的研究和应用将有卡常广阔的前景。一个明显的例子就是结合神网络的学习能力来训练基于模糊规则的系统。此书在这方面已有深刻的反映。作者正从统一的角度综合闯述了惯糊理论和抻经网络的重大课题和应用。我相信,此书对行志于模糊理论和神纸网络研究的读者是有裨益Masayos hi tomizuka美圈加州怕党莱大学机械系教授模糊理论和神经网络的基础与应用(仅供交流学习使用,请勿用于商业交易,否则后果自负)FOREWORDI am very pleased that Dr. Zhen-Yu Zhao and Professor Yong-Mao Xu have completed theit book," Introduction to Fuzy Theory, Neural Networks, and Their Appli-cations. In recent years, the fuzzy theory and neural networks have demonstrated theiryaludc for providing solutiont ta problems in unccrtain and imprecise environments a3well as to those with multi-design objectives, which may be stated in a qualitative man-ner. This book starts with Fundamentals of fuzzy theory and neural networks, developsthe ideas for comprehensive coverage of the two sub jects and presents their applications. Having rich rcscarch experienec in fuzzy systcms and neural nerworks, Dr. Zharand Professor Xu make an ideal team to write a book on these subjects. D. Zhao hastaken an advantage of his mastery of two ianguages, Japanese and English. Many recentimporcant developmerts in fuzzy thcory and neural networks havc bcen rcportcd in thesctwo languagesThe theory of fuzzy set&, established by Professor L, A. Zadeh about 20 years agohas been extensively studied in varicus fields of engineering. It is well known that hu-man beings have an ability to operate and control complicated processes without havingprecise data and plant models, Fuzzy theary has been shown to translate such knowldge of human beings into computer implementable control algorithms which are ronmonly called"fuzzy control. "Fuzzy control has been used in many practical applicalionssuch as water quality control, subway operation systems, automotive suspension andraction control and camcorder fotusing and stabilizationArtificial neural networks are computing architectures that consist of massiveparallel interconnections of simple neural proCessors. The study of such architectureshas becn inspired by thc learning abilities and parallelism of biological nervous syatemsIn recent years, neura! networks have received considerable Attention and are now beingactively explored in the fields of artificial intelligence psychology engineering andphysics. Neural networks have been applied to many conmercial products such asspeech recognition systems, explosive detectors and airline seat allocation systerms.Ambitned use af fuzzy theory neural networks, as well as other computational in-telligence algorithms such as genetic algotithms, has heen recognized as being promising, An obvious example is the training of fuzzy rule-based systems ly using the learm
- 2021-05-06下载
- 积分：1
