VINS论文推倒及代码解析
VINS 的功能模块可包括五个部分:数据预处理、初始化、后端非线性优化、闭环检测及闭环优化。代码中主要开启了四个线程,分别是:前端图像跟踪、后端非线性优化(其中初始化和 IMU 预积分在这个线程中)、闭环检测、闭环优化。、总体框架Measurement PreprocessingInitializationCamera(30hz)Feature Detectionnd rackerVisual-lnertialInitializedis- onlySfMAlignmentIMU (100hMU Pre-integrationLocal Visual-Inertial: OldestSliting WindowNewestNonli+、 Keyframe?OptimizationBundle Adjustment II Loop detectionwith RelocalizationStates from Loop ClosureFealure retrievel oop Deleted二二1---11------22===Global Pose Graph4-DoF Pose Graph OptimizationKeyframe DatabaseOptimization图1VINS框架ⅵINS的玏能模块可包括五个部分:数据预处理、初始化、后端非线性优化、闭环检测及闭环优化。代码中主要开启了四个线稈,分别是:前端图像跟踪、后端非线性伉化(其中初始化和IMU预积分在这个线程中)、闭环检测、闭环优化各个功能模块的作用上要有:1.I图像和MU预处理●图像:提取图像 Harris角点,利用金字塔光流跟踪相邻帧,通过 RANSAC去除异常点,最后将跟踪到的特征点push到图像队列中,并通知后端进行处理●IU:将IMU数据进行积分,得到当前时刻的位置、速度和旋转(PVQ),同时计算在后端优化中将用到的相邻帧的预积分增量,及预积分误差的 Jacobian矩阵和协方差项。1.2初始化首先,利用SFM进行纯视觉佔计滑窗內所有帧的位姿及3D点逆深度,最后与IMU预积分进行对齐求解初始化参数1.3后端滑窗优化将视觉约束、IMU约束和闭环约束放在·个大的目标函数中进行非线性优化,求解滑窗内所有帧的PVQ、bias等。L M States in the sliding windowIMU:k States from loop clos1Camera:冷 MU measurements>visual measurements★ Catur图2滑窗优化示意图14闭环检测和优化利用D)BoW进行闭环检测,当检测成功后进行重定位,最后对整个相机轨迹进行闭环优化。U预积分VisionIMUVision图3MU预积分示意图21当前时刻pVQ的连续形式将第k唢和第kl帧之间的所有IMU进行积分,可得第kHI帧的位置、速度和旋转(PVQ),作为视觉估计的初始值,这里的旋转采用的四元数。v△t+k+1∈[k,k+1]rW(at-ba ) -owletbk JtE[k, k+1]n(,-bdt∈[k,k+1]其中,a2和O为ⅠMU测量的加速度和角速度,是在Body自身坐标系, world坐标系是IMU所在的惯导系,上式的旋转公式推导可参考附录10.1。22当前时刻PVQ的中值法离散形式公式(1)给出的是连续吋刻的相机当前PVR的达代公式,为了跟代码致,下面给出基于中值法的公式,这与 Estimator:; processIMg(O函数中的Ps]、Rs]和Vs是一致的,IMU积分出来的第j时刻的物理量可以作为第j帧图像的初始值。tr t+a26t(2)ka,St其中q(a1-ba)-g"+q:+1(a+1-ba)(a;+o;+1)2.3两帧之间PVQ增量的连续形式通过观察公式(1)可知,IvU的预积分需要依赖与第k帧的ν和R,当我们在后端进行非线性优化时,需要迭代更新第κ唢的ν和R,这将导致我们需要根据每次迭代后值重新进行积分,这将非常耗吋。因此,我们考虑将优化变量从第k帧到第κ+1帧的IU预积分项中分离开来,通过对公式(1)左右两侧各乘Rb,可化简为:R(+p2k-=2△)+ak+1b其中DtElk, k+1t∈[k,k+1R k(at-bar)ldt)Wendtt∈[kk+1这样我们就得到了连续时刻的MU预积分公式,可以发现,上式得到的MU预积分的值只与不同时刻的a2和o相关。这里我们需要重新讨论下公式(5)预积分公式,以ab,为例,我们发现它是与MU的bias相关的,而bias也是我们需要优化的变量,这将导致的问题是,当每次迭代时,我们得到一个新的bias,又得根据公式(巧5)重新对第k帧和第k+1帧之间的IMU预积分,非常耗时。这里假设预积分的变化量与bias是线性关系,可以写成:ab,+/6n6ba+/16b+8 8ba +p(6)k+1sb24两帧之间PVQ增量的欧拉法离散形式面给出离散时刻的IMU预积分公式,首先按照论文中采用的欧拉法,给出第i个MU时刻与第i1个IMU时刻的变量关系为b+1k+的6t+元R(P)(1+R(P")(a2-bbn)δt25两帧之间PⅤQ增量的中值法离散形式卜面给出代码中采用的基」中值法的IMU预积分公式,这与 Estimator: processIMUO函数中的 Integration Base: push backo上是一致的。注意这里跟公式(2)是不一样的,这里积分出来的是前后两顿之间的IU增量信息,而公式(2)给出的当前帧时刻的物理量信息+1+B k St +=a, &tbb+1Bi + au1其中a,=slqilai-bai)+qiDi t aitl2.6连续形式下PVQ增量的误差、协方差及 JacobianIMU在每个吋刻积分出来的值是有误差的,下面我们对误差进行分析。首先我们直接给出在t时刻误差项的导数为:sa00016a000000-82(066hkR;0006|=00-(a-bh)0-1192k|+|000|mLL000016ba00101n000018b000F+ozk+ Gt其中:F25×15,G215×2,62x1,n12×,上式推导可参考附录102。下面我们讨论它的作用,将其可以简写为:6之k=F62z+Gtnt根据导数定义可知:62b=1m24-6262+8=62+628t=(+F6t)6z+(Gt6t)nt(11)这里我们对公式(1)的IMU误差运动方程再说明,将上式和EKF对比可知,上式恰好给出了如EKF一般对非线性系统线性化的过程,这里的意义是表示下一个时刻的IMU测量误差与上一个时刻的成线性关系,这样我们根据当前时刻的值,可以预测出下一个时刻的均值和协方差,而公式(1)给出的是均值预测,协方差预测公式如下Pb+6=(1+Ft)P(+Fl6t)7+(G,t)Q(G18t)ot(12)上式给出了协方差的选代公式,初始值Pk=0。其中,Q为表示噪声项的对角协方差矩阵000003000另外根据(11)式可获得诀差项的 Jacobian的迭代公式:(I+F26t)(14)其中 Jacobian的初始值为bk=12.7离散形式的PVQ增量误差分析我们首先直接给出PVQ增量误差在离散形式下的矩阵形式,为了与代码一致,我们修改下变量顺序,这和代码中 midPointIntegration(函数是一致的。(但不知为何计算的V中与前四个噪声项相关的差个负号?)1t fo660f106t‖loeBk+1=0f211f20016bδb0[6b102001rnot000kRkotk+1(15006t0n0000δt其中,推导可参考附录10.3:stE(ak-ba)02-4B+1(kk+121k+1b.)6t|6t2(Rr+ rk+18t2Stn=71=Rk+1(a+1-b)6tWr+ wf1=Ik+11+Gb。)δt-Rn+1(ak+121=-2配+1Stl st21(RK+Ruts)4rula1RrotstStR+1(a1R,+114/+11t28离散形式的PVQ增量误差的 Jacobian和协方差将公式(15)简写为:k+1F15×158215×1+V15×13Q则 Jacobian的迭代公式为k+15×15=F/k(16)其中, Jacobian的初始值为/k=l。这里计算出来的k+1只是为了给后面提供对bias的acoblar。协方差的迭代公式为P+15×15=FPFr+vQv(17)其中,初始值P=0。Q为表示噪声项的对角协方差矩阵:00000000aa000Q18×180a00(18)000000三、后端非线性优化31状态向量状态向量共包括滑动窗口内的n+l1个所有相机的状态(包括位置、朝向、速度、加速度计bias和陀螺仪bias)、 Camera到IMU的外参、m+1个3D点的逆深度X=[xr=pw,vb bpc,q3.2目标函数吗+(喻,2)+2(19)其中三个残差项即误差项分别为边缘化的先验信息、IMU测量残差、视觉的重投影残差。三种残差都是用马氏距离表示。根据《十四讲》中高斯牛顿法,若要计算目标函数的最小值,可以理解为,当优化变量有一个增量后,目标函数值最小,以IU残差为例,可写成如下所示:nin lre2bk, X+8Xrk x)+HSⅩDk+1oXk+1k+1其中HB,为B关于 XIK Jacobian,将上式展开并令关于6X的导数为0,可得增量δx的计算公式:H k 8X=k+1TB那么,公式(28)可写成+∑+∑Tk∑1rc上式中,B为MU预积分噪声项的协方差,P为vual观测的噪声协方差。当MU的噪声协方差P越大时,其信息矩阵Pk,将越小,意味着该MU观测越不可信,换句话说,因MU噪声较大,越不可信IMU预积分数据,而更加相信 visual观测。注意,这里的IMU和vsua协方差的绝对值没有意义,因为考虑得是两者的相对性可将上式继续简化为:(Ap+AB +Acox=bp +bB +bc其中,Ap,AB和Ac为 Hessian矩阵,上述方程称之为增量方程。33MU约束1)残差:两帧之间的PVQ和bias的变化量的差△tx+k+1bk qbk+1bR+1 xyz+g"△t)-Bk(20)sbbbb其中各增量关于bias的 Jacobian可从公式(16)的大 Jacobian中的相应位置获得。上面与代码中 Integration base: evaluateD对应,2)优化变量pb, 0W, Svb ,8ba:,bor Opb,, 80W ,Swb,, bakr, Sba3)Jacobian:计算 Jacobian时,残差对应求偏导对象分别为p6e,6vB,6h,ba],6b,6b
- 2020-12-07下载
- 积分：1
西门子MindSphere技术白皮书
西门子MindSphere技术白皮书西门子MindSphere技术白皮书白皮书| MindSphere简介物联网(oT)两门子预测物联网(oT)将带来巨大的机遇。物联网的价值在于连接真实世界和虚拟的数据世界。数字化转型将开辟新的业务模式。在物联网中,数丨亿物品都有其地址,并与玍联网相联。它们可将数据传送至厶进行处理,并可通过应用程序进行管理和控制。计算机的微型化、传感器的廉价化、网终的无所不在性和“智能”设备的可用性越米載高,将使这一情景变成现实。其应用示例涵盖了从网络车辆到健身数据跟踪工具,从智能家居刭智能农业等领域在软硬件结合方面,西门了的成功经验举世公认-包括生产、铁路管理、交通管理和分布式供电系统等领域的自动化解决方案。这些均是必须有监视和控制功能的复杂系统:它们具备真实世界和数字世界中的组件,通常涉及关键的基础设施。此类领域的客户对数据安仝性、可靠性、耐用性和保护性的期望非常高。此外,他们还希望采用数字化技术在不损害现有系统的前提卜加强有设备的功能。这止是西门了为什么要详绀描述物联网概念在⊥业上的应用。在这种方案中,设备和机器(例如,由西门」子生产的)以及它们在系统中的交互处于数字互联工业应用的中心地位。西门子正在将这一方案用于大量项日中。具体示例包括:汉堡、哥德堡和斯德哥尔摩正在使用的电动公交车充电系统。在该系统中,公交车内部的电气组件、快速充电站和受电弓等全鄙组件均通过Web进行通信并对充电过程实施协同。圣彼徳堡的供水管网优化项目。它通过一个智能传感器网络来帮助检测滴漏并将泵的能耗降低至最低程度。项日的重点在于集成已有的控制系统。现在,位」维也纳阿斯城滨湖的廾发项目凵经成功地将智能变压器用」智能电网智能城市能源管理风力发电mrm有了电力和天然气数字化工厂loT发电服务过程工业与驱动汽车楼宇技术医疗本白皮书的发有者:西门子生命周期管理软件公司-非限制性文档白皮书| MindSphere物联网是西门子数字化战略的基石。物联网已具备技术可行性,该方案也具各可转让性;所有这一切为西门子公司及其在各个行业的客户开创了全新的业务机遇-无论这些客户属于能源公用设施、交通控制、楼宇、制造业还是其它工业领域。数字化随着世界互联程度的日益提高,数字化(采用数字技术实现ψ务运营方式的转换)已经成为保持公司竞争力的关键技术手段。数宇化有望降低生产成木,提高生产质量、生产灵活性和生产效率,缩短对客户需求和市场需求的响应时间,同时,还开创了全新的创新性业务机遇数字企业已经成为现实;公司正通过数字化转型获得利润和发展机遇-这一过程要求整个价值链都实现无缝数据集成。产海量数据的数十亿智能设备正在推动例如工业4.0和物联网等创新技术。如何将这些数据转变成价值是一个关键的成功因索西门子正在利用基于电气化、自动化和数字化的数字技术应对这些挑战。数字化西门子数字化服务西门子软件Mind Sphere自动化只面采用数字化增强的电气化和自动化电气化@数字化进程正在重塑各个工业领域。随着计算、物联冈和其它相关技术的迅猛发展,企业现在可以实时采集、分析大数据,从中获得可以引导业务决策的可付诸行动的信息。西门子在自动化和电气化领域的经验和专家知识正在帮助企业应对这些挑战数字化是一个关键的技术手段,可让企业在未持续保持竞争力。这既适用小型公司,也适用只备全球性业务的大公司。日益变短的创新周期,意味着上业企业必须持之以恒地缩短产品丌发和产品生产吋间。这要求在整个价值链-从产品构想到实际产品直到产品维修-都实现无缝数据集成。利用数字化提供的机遇更快、更灵活地响应客户的需求,将公获得市场优势。白皮书发布者:西门子生命周期管理软件公司-非限制性文档白皮书| Mind Sphere西门子惠及客户的整个价值链数据分析实现更高水平的生产率和上市时灵活性和适应性可用性和效率。人工智能设计和工程组态自动化和运营维护和服务]仿真1具C云和平台技术安全连接网络安全确保工业级网络安全作为一个全球性制造企业,西门子对客户的理解绝对不会局限于表面层次。西门子依托自有经验理解客户如何才可以更快、更灵活地以最髙效率和最佳质量将产品推向市场-换句话说,就是通过产品硏发的虚拟世界与真实的制造世界之间的完美协同。四门子是当前市场中哐—一个集最新产品生命周期管理软件、功能强大的自动化技术和服务于一身的公司。凭借在世界各地安装的数以百万计西门子设备(3000万个自动化系统、7000万个智能仪表、80万个关联品),西门子及其合作伙伴可利用 MindSphere丰富的应用程序接口(AP)开发高价值应用,并基于深厚的行业知识和经验交付数字化服务设计和程组态自动化和运营维护和服务西门子软件西门子数字化服务Mind sphere-物联网操作系统采用数字化增强的电气化和自动化数字化双胞胎除了连接西门子设备外,客户还利用西门子软件来设计、仿真和生产数以百万计的、支持物联网的产品。这些产品涵盖高技术电子产品、消费类产品、汽车、航空航天和其它大量工业领域。西门子是产品生命周期(PLM)软件和制造运营管理(MOM)软件的仝球领先供应崗。其系统和服务遍及仝球,分发的授权超过1500万个,全球客户数超过了140000个-全球尚没有哪一个物联网提供商可以像西门子一样地通过用于产品、生产和绩效的全数字化双孢胎推动闭环创新5本白皮书的发有者:西门子生命周期管理软件公司-非限制性文档白皮书| MindSphereMindsphereMind Sphere是西门子推出的、基于云的开放式物联网操作系统。融合真实世界与数字化世界,使利用强大的工业应用和数字化服务驱动商业成功成为可能。 MindSphere的开放式半台即服务(PaaS)使卡富的合作伙伴生态系统开发和交付新应用成为可能。将数字化和物联网数据转化为生产运营成果是 Mindsphere的核心驱动力。基于 MindSphere构建的高价值行业应用,可通过基于最佳实践解决方案获得重人成果。此外,个业还可利用 Mindsphere将产品的构思、实现和利用封閉成一个环,将运营数据无缝集成到整个价值链中-不仅可以提高运营效率,而且还可以实现仿真和测试结果与实际观察结果之间的比较。本白皮书从四个重要的方面描述 Mind Sphere的功能和优点:快速、方便地融合真实世界与数字化世界基于开放的半台即服务(PaS)创造强大的合作伙伴生态系统利用强大的领域专用行业应用和数字化服务推动业务成功采用全数字化双胞胎实现无与伦比的闭环创新Mind Sphere作为完整数字化战略的一部分,可以探索新的解决问题的方法,计仚业思考创新性的商业模式。白皮书发布者:西门子生命周期管理软件公司-非限制性文档白皮书| MindSphere融合真实世界与数字化世界目前互联网上连接了80亿个设备。2030年,这一数字将达到10000亿。水源:2016世界经济论坛互联是物联网领域的主要话题之一。全球已经安装了数百万个西门子设备、资和自动化系统。这些设备、资产和自动化系统涉及到电丿发电、能源管理、交通运输、工业牛产以及楼宁技术等领域。人多数情况下,可以获取特定场景下的数据,但尚能挖掘其中的价值。西门子将向现有系统提供插件和扩展程序,使Mind Sphere可以方便地连接这些插件和扩展程序以利用这些数据西门子一直稳定地交付数百万个新型设备、资产和自动化系统。这些设备、资产和自动化系统在交付时就集成了 MindSphere连接功能,因此,安装后即可获得数据产生的价值。借助开放通信标准,其它供应商提供的设备、资产和自动化系统也可以将数据传送全 MindSphere。这确保同·方法的可用性,并可以对数据分析技术采用此前无法使用的组合运用。除了西门子系统外,采用西门子PLM数字化企业软件套装和制造软件进行产品设计、开发和制造的企业也可为其客户提供数十亿个文持物联网功能的产品,例如笔记本电脑、计算机、电视、汽车、卡车、飞机、重型设备、健身设备和白色家电等产品。这些产品中的物联网数据源自大量各种不同数据源。西门子展望Mind Sphere将连接大量各种不同物联网源设备,从而可以收集这些产品的相关数据,并将其用于MindSphere应用。Mind Sphere1回交通运输能源管理运营公月设备个可持续性本白皮书的发有者:西门子生命周期管理软件公司-非限制性文档白皮书| MindSphere可以连接到 MindSphere上的设备类型几乎是无穷无尽的,并且 MindSphere将会支持大多数主流开放连接标准能源例如,涡轮机、风力发电机、蓄电池、智能电表、变电站、压缩机交通运输例如,火车、地铁车站、船舶、卡车、行李车、集装箱工业生产例如,机床、输送机、控制裝置、传动装置、泵、阀楼宇技术例如,采暖、通风、空调、照明、门禁安全、消防安全医疗例如,医疗设各、植入设备、医院其他例如,农业、智能家居、零售髙价值App将利用米自各种不同源的数据向 Mindsphere用户提供独特的价值。Mind Sphere采用了简洁、清晣的结构,可以使用户忺速地将其资产连接到云,并从其物联网数据获得相关价值。SIEMENS3∷∴∷ MindSphere∷∷为了实现用户数据端至端的集成,仝业首先必须将其资产连接到数字化世界。⊥厂、机器和系统所产生的原始数据,如果事先没有对其实施连接、采集和管理,将不能得到全方位的深入分析MindConnect,轻松实现安全连接为了简便、安全地将资产连接到 MindSphere,西门子提供了系列丰富的 MindConnect组件。 Mind Connect组件是软件和庋或硬伫解决方案,它们使即插即用连接成为可能,从而可以收集相关数据,例如将能量计、移动设备(火车等)、空调、各种传动装置和输送系统的状态数据按设定的间隔传输到 Mind Sphere。这使得仝业可以快速、经济地收集性能数据,并将它们发送给 MindSphere以进行分析。白皮书发布者:西门子生命周期管理软件公司-非限制性文档白皮书| MindSphereMindSphere可使客户可以快速展开相关工作Mind Sphere可以帮助客户快速实现其数字化商业模式。无需编程技术,也个需要关停设备每个客户都有一个可定制型登录功能。主页面简洁、清晰,仅显示建立连接时所需要的功能(“资产组态"( Asset Configuration)、管理员客户端与用户登录功能(“客户管理( Customer Management)和"用户管理”( User Management))和 MindApp利用 Mind connect组件的即插即用连接,客户可以快速地使用 MindSphere。貝体过程如下设置并连接 Mindconnect组件组态需要发送给 MindSphere的数据利用集成有规则引擎的 Fleet Manager进入第一个界面并定义相关操作SIEMENSInghuiyf-Lfe23第1步迕接|获得 MindSphere用尸帐号,接收数据接入网关并将它集成到机器/备中第2步组态|利用 Mind Sphere对数据采集功能,连接和可视仁分析器进行组态第3步正棠使用|监视全部设备的健康状念信息:采用 Fleet Manager查看详细的信息MindSphere使客户可以快速展开相关工作开放式连接标准开放的标准和接∏使得从各种不同制造商所生产的资产、设备和系统抉得相关数据成为可能。 Mind connect基于已经建立的工业标准确保可以进行可靠的、独立于制造商的通信。这些标准中有一个名为OPC统架构(○PCUA)标准。该标准是由OPC基金组织制定的、用于实现工业自动化交互性的机器-机器通信协议。对于本文此前描述的各种不冋资产类型的其它标准和协议,将由西门子或其合作伙伴提供相应支持。Mind connect软件具备良好的可扩展性,可以方便地适应各种不同资户类型、协议和通信标准。通过这些扩展, MindSphere客户可以对两门子和其它第三方支持 MindSphere的资产实施全球性访问,并通过嵌入式连接或辅助连接高效地从中提取数据。这将给各种供应商制造的各种资产连接至 MindSphere提供了无尽的可能性。此外, Mind connect库还可协助开发人员将定制型软件代理连接至 Mind connet ap:·库的代码很短,可以方便地集成第三方设备资产·可以定制数据采集功能本白皮书的发有者:西门子生命周期管理软件公司-非限制性文档白皮书| MindSphere·可将数据直接发送给 Mind Sphere,无需掌握任何 Internet协议知识可以简化 MindSphere的通信与调试过程。安全通信Mind connect组件采用了相关安全机制,只允许连接 MindSphere平台并将数据发送给该平台。它通过安全证书验证识别 Mind Sphere后端。对于 Mind connect组件所采用的证书和密钥,通过证书和密钥管理措施进行处理。登录期间, Mind cannect组件必须通过 MindSphere的认证过程。该认证过程完成后,双方即就后续通信所采用的加密密钥达成一致。因此, Mind Sphere平台被设计成只接收来自合法 Mindconnect组件的数据:合法 Mindconnect组件指登录期间成功地完成了认证过程的 MindConnect组件与 MindSphere进行加密通信随着数字化稈度的日益提高,综合性应用安全方案的重要性也越来越人。对于纵深防御,西门子按照丨SA99EC62443和面向工业的信息安全标准lsO27001/BS的建议提供了一种与信息安全、网络安全和系统完整性有关的多层方案。通信数据始终采用不低于256位的 SSL/TLS进行加密。Mind connect组件与 MindSphere平台之间的全部通信都采用传输层安全(TLS)1.2标准进行加密。对于TLS的组态,将会定期检查,使其符合适用的西门子信息安仝指南。这有助于防止中间人攻击和对Mindsphere平台通信实施的各种篡改行为。例如, Mind Connect nano只通过已经建立的、连接至 MindSphere平台的 Https对外连接进行基于Https的、与防火墙友好的互联网出站通信( Https端口443)(该连接的建立由 Mindconnect nano而非 MindSphere半台发起)。即使史新了 Mind connect nano上的固件,仍然遵守“仅出站”规则。最高机密性MindSphere客户是数据的拥冇人,并负责控制杈限级别。 MindSphere提供髙安全数据环境,允诈数据拥有者可对数据访问权限级别进行完全控制。数据保存在由领先的云数据中心合作伙伴(aS)提供的高安全基础设施中。这些专业的laaS提供商可以提供比典型的现玚和本地数据存储设施高得多的安全标准。此外,还通过分离租用者对数据访问权限实现严格管理,从技术上仅允许已经分配的租用拥有者(数据拥有者)进行数据访问。Mind Sphere开发时将数据安全冒于最高优先级,设计了访问保护、分段和加密通信、防篡改保护和机密性保护等功能。客户可确信对自凵的数据进行完仝的访闩控制。白皮书发布者:西门子生命周期管理软件公司-非限制性文档
- 2020-12-05下载
- 积分：1
