反向传播算法推导—全连接神经网络
反向传播算法是人工神经网络训练时采用的一种通用方法，在现代深度学习中得到了大 规模的应用。全连接神经网络(多层感知器模型，MLP)，卷积神经网络(CNN)，循环神 经网络(RNN)中都有它的实现版本。算法从多元复合函数求导的链式法则导出，递推的 计算神经网络每一层参数的梯度值。算法名称中的“误差”是指损失函数对神经网络每一层 临时输出值的梯度。反向传播算法从神经网络的输出层开始，利用递推公式根据后一层的误 差计算本层的误差，通过误差计算本层参数的梯度值，然后将差项传播到前一层(w, x,)+b这个神经元接受的输入信号为向量(),向量()为输入向量的组合权重,为徧置项,是标量。神经儿对输入冋量进行加权求和,并加上偏置项最后经过激活函数变换产生输出为表述简洁,我们把公式写成向量和矩阵形式。对每个神经元,它接受的来自前一层神经元的输入为向量,本节点的权重向量为,偏置项为,该神经元的输出值为先计算输入向量与权重向量的内积,加上偏置项,再送入一个函数进行变换,得到输出这个函数称为激活函数,典型的是函数。为什么需要激活函数以及什么样的函数可以充当激活函数,在之前的公众号文章“理解神经网终的激活函数”中已经进行了介绍。神绎网络一般有多个层。第一层为输入层,对应输入向量,神绎元的数量等于特征向量的维数,这个层不对数据进行处理,只是将输入向量送入下一层中进行计算。中间为隐含层,可能有多个。最后是输出层,神经元的数量等于要分类的类别数,输出层的输岀值被用来做分类预测。下面我们来看一个简单神经网络的例了,如下图所示这个网络有层。第一层是输入层,对应的输入向量为,有个神经元,写成分量形式为(),它不对数据做任何处理,直接原样送入下一层。中间层有个神经元,接受的输入数据为向量,输出向量为,写成分量形式为。第三个层为输出层,接受的输入数据为向量,输出向量为,写成分量形式为()。第一层到第层的权重矩阵为(,第二层到第三层的权重矩阵为()。权重矩阵的每一行为一个权重向量,是层所有神经元到本层某一个神经儿的连接权重,这里的上标表小层数如果激活函数选用函数,则第二层神经元的输出值为+(-(+0)+(1+(0)(-(()第三层神经元的输出值为如果把代入上面二式中,可以将输出向量表示成输出向量的函数。通过调整权重矩阵和偏置项可以实现不同的函数映射,因此神经网终就是一个复合函数需要解决的·个核心问题是·旦神经网络的结构(即神经元层数,每层神经元数量)桷定之后,怎样得到权重矩阵和偏置项。这些参数是通过训练得到的,这是本文推导的核心任务个简单的例子首先以前面的层神经网络为例,推导损失函数对神经网络所有参数梯度的计算方法假设训练样本集中有个样本()。其中为输入向量,为标签向量。现在要确定神经网络的映射函数:什么样的函数能很好的解释这批训练栟本?答案是神经网络的预测输出要尽可能的接近样本的标签值,即在训练集上最小化预测误差,如果使用均方误差,则优化的目标为:∑‖()-其中()和都是向量,求和项内部是向量的范数平方,即各个分量的平方和。上面的误差也称为欧氏距离损失函数,除此之外还可以使用其他损失函数,如交叉熵、对比损失等。优化目标函数的自变量是各层的权重矩阵和梯度向量,一般情况下无法保证目标函数是凸函数,因此这不是一个凸优化问题,有陷入局部极小值和鞍点的风险(对于这些概念和问题之前的公众号文章“理解梯度下降法”,“理解凸优化”中己经做了详细介绍)这是神经网络之前一直被诟病的一个问题。可以使用梯度下降法进行求解,使用梯度下降法需要计算出损失函数对所有权重矩阵、偏置向量的梯度值,接下来的关键是这些梯度值的计算。在这里我们先将问题简化,只考虑对单个样本的损失函数()-‖后面如果不加说明,都使用这种单样木的损失函数。如果计算出了对单个样木损失函数的棁度值,对这些梯度值计算均值即可得到整个目标函数的梯度值。和(要被代入到网络的后一层中,是复合函数的内层变量,我们先考虑外层的和。权重矩阵是一个x的矩阵,它的两个行分别为向量(和是个维的列向量,它的两个元素为()和()。网络的输入是向量,第一层映射之后的输出是向量首先计算损失函数对权重矩阵每个元素的偏导数,将欧氏距离损尖函数展开,有((+))(())6(如果,即对权重矩阵第行的元素求导,上式分了中的后半部分对来说是常数。根据链式法则有S()+()O如果,即对矩阵第二行的元素求导,类似的有:可以统一写成可以发现,第一个下标决定了权重矩阵的第行和偏置向量的第个分量,第二个下标决定了向量的第个分量。这可以看成是一个列向量与一个行向量相乘的结果,写成矩阵形式为上式中乘法⊙为向量对应元素相乘,第二个乘法是矩阵乘法。是个维列向量,+也是一个维列向量,两个向量执行⊙运算的结果还是个维列向量。是一个元素的列向量,其转置为维行向量,前面这个:维列向量与的乘积为的矩阵,这正好与矩阵的尺寸相等。在上面的公式中,权重的偏导数在求和项中由部分组成,分别是网络输出值与真实标签值的误差激活区数的导数+(),本层的输入值。神经网络的输出值、激活函数的导数值本层的输入值都可以在正向传播吋得到,因此可以晑效的计算出来。对所有训练样本的偏导数计算均值,可以得到总的偏导数对偏置项的偏导数为:如果上式分子中的后半部分对来说是常数,有:()⊥()如果类似的有这可以统写成:写成矩阵形式为偏置项的导数由两部分组成,分别是神经网络预测值与真实值之间的误差,激活函数的导数值,与权重矩阵的偏导数相比唯一的区别是少了。接下来计算对和的偏导数,由于是复合函数的内层,情况更为复杂。()是个的短阵,它的个行向量为(),(,(,(。偏置项()是维向量,个分量分别是(),(,(),(。首先计算损失函数对的元素的偏导数:而上式分子中的两部分都有,因此都与有关。为了表述简活,我们令:根据链式法则有:其巾((和和都是标量和()是两个()向量的内积,的每一个分量都是()的函数。接下来计算和这里的一是个向量,衣示的每个分量分别对求导。当时有:后面个分量相对于求导变量(都是常数。类似的当时有:()0)(()和时的结果以此类推。综合起来有:同理有:()十如果令合并得到()()[()-)。()。()写成矩阵形式为()最后计算偏置项的偏导数()类似的我们得到:合并后得到()写成矩阵形式为:(0)至此,我得到了这个简单网络对所有参数的偏导数,接下来我们将这种做法推广到更般的情况。从上面的结果可以看岀一个规律,输出层的权重矩阵和偏置向量梯度计算公式中共用了()-)()对」隐含层也有类似的结果完整的算法现在考虑一般的情况。假设有个训练样本(),其中为输入向量,为标签向量。训练的目标是最小化样木标签值与神经网络预测值之闩的误差,如果使用均方误差,则优化的目标为:其中为神经网络所有参数的集合,包括各层的权重和偏置。这个最优化问题是·个不带约束条件的问题,可以用梯度下降法求解。上面的误差函数定义在整个训练样本集上,梯度下降法每一次迭代利用了所有训练样本,称为批量棁度卜降法。如果样木数量很大,每次迭代都用所有样木进计算成木太高。为了解决这个问题,可以采用单样本梯度下降法,我们将上面的损失函数写成对单个样本的损失函数之和:定义对单个样本()的损失函数为)=-()如果采用单个样本进行迭代,梯度下降法第次迭代时参数的更新公式为:nV如果要用所有样本进行迭代,根据单个样本的损失函数梯度计算总损失梯度即可,即所有样本梯度的均值用梯度下降法求解需要初始化优化变量的值。一般初始化为一个随机数,如用正态分布(a)产生这些随机数,其中G是一个很小的正数到日前为止还有一个关键问题没有解决:日标函数是一个多层的复合函数,因为神经网络中每一层都有权重矩阵和偏置向量,且每一层的输出将会作为下一层的输入。因此,直接计算损失函数对所有权重和偏置的梚度很复杂,需要使用复合函数的求导公式进行递推计算几个重要的结论在进行推导之前,我们首先来看下面几种复合函数的求导。又如下线性映射函数:其中是维向量,是×的矩阵,是维向量。问题:假设有函数,如果把看成常数,看成的函数,如何根据函数对的梯度值Ⅴ计算函数对的梯度值Ⅴ?根据链式法则,由于只和有关,和其他的≠无关,因此有:c∑(对于的所有元素有:写成矩阵形式为:问题:如果将看成常数,将看成的函数,如何根据V计算Ⅴ?由于任意的和所有的都有关系,根据链式法则有写成矩阵形式为这是一个对称的结果,在计算函数映射时用矩阵乘以向量得到,在求梯度时用矩阵的转置乘以的梯度得到的梯度。问题:如果有向量到向量的映射:
- 2020-12-09下载
- 积分：1
微波网络及其应用.pdf
微波网络及其应用 免费分享85,6直接耦合谐振器笮带带通§7.8支线定向合器…………滤波器………………………§7.9混合电桥的基本概念3!9§区.71/4波长短截线和联接线宽§7.10魔?和折叠双T接头………3I带带通滤波器…957.11矩形波导裂缝电桥§5.8平行耦合线带通滤泼器…20087.12环形电桥h十酽■■■冒吾1·P■■··3了3§59交指型带通滤波器……………6§7.13三端功率分配器…§5.10微带阻滤波器习趣§5,11徼波分路滤波器……………26§5,12微波滤波酱的相移和时延第八章微速铁氧体元件……特性司卓p自申●■啁口中●口啁■四●d自■口■§8.1引言……………………3日§5.13元件损耗对滤波器性能的§82张量导磁率和本征导磁率…影响4■即22383铁氧体非互易网络-346习题230§8,4Y型结环行器分析…………370§8.5双模移相器分析第大拿.阻抗匹配网络「2§8.6边导模器件…39§6.1引言23题………397§6.2抗匹配网络的宽带极……233§631/4波长阶梯阻抗变换器…a九章微渡系統分析中·“章自甲·‘86,4渐变线阻抗变换器…7§9.1引6.5低通港波阻抗变换器25289.2复杂网络的一般婢论……………4§6.6电抗性负载阻抗匹配网络……25939.3微波混合系统分析……n09§67负阻负载随抗匹配网络……21§9.4微波复杂系统分析…………43对题27589.5徼波溅量系统分柝·§9.6长馈线网络反射系数的概第七蠶微波定向網合器、沮合电桥及率分布+66功率分配器27T习趙87,1引肓……27§72定向耦合器的基本概念第十章计算乱输助设计网络初步…4537了§7.3平行矩形披导圆孔阵定向§1.1引言476合器21§1.2计鲜机辅助设计的一般§7.4正交矩形波导十字槽定向问题45构合器■·十■■平■■+·4女■画■p■b■29010,3矩量法S75单节平行糊合线定向糊§1合,4微波网络的优化99合器…295§10.5模拟技术§7.6多节平行耦合线定向§10.6计算机辅助设计的发展糊合楼越势50r§77不均匀耦合线高通定向耦合器……附录四单纯形优计录附录五长愦缤网络反射系数的附录一矩阵代数模拟程序及其说明附录二互易定理参考书目…晶幽"55附录三行主元消去法求逆矩阵…506第一章微波网络基础§1.1引言任何一个微波系统,都是由各种微波元件和徽波传输线连接而成。微波传输线特性可以用广义传输线方程来描述,徼波元件特性可以《类似低频网络)等效电路来描述,于是复杂的徽波系统,就可以用电磁理论和低频网络理论相绪合来求解,成为一门傲波网络理诒。每个微菠元件都可飴和几个微波传输线相连接,按照所连接传输线数目多少,微波元件可以分成苧端口、双端『、三端口、四端口等微波元件。每个微波元件都可以看成个微波网络,堕着徵波元件端口数的不同,微波网络也分为单端口、双端『、三端口、四端口等微波网络。实际所用的微波元件可高达四端口,凹端厂以上的徽波元件就很少应用了微波网络理论的主要目的,在于分析做波元件的工作特性,或依据它的工作特性,综合出微波元件结构和设讨方法,以便工程应用。分析微波元件的工作特性的方法有二,是应用麦克斯韦方程和元件的特定边界条件,求出其场强的分布、波的振荡和传输等特性;另一是把微波元件等效成微波网络,把连接它的传输縐等效成双导线传输线,然后用网络方法进行分菥。第一种方法比迹严格,听得结果ⅸ较全面正确,但其数学送算繁琐,所得结果通常都是特妹函缴,不便于下程应用。第种方法是近似的,能够得到微波元件主要传输特性,并且网络参薮可用测量方法来确定,便于工程应用,但不能得出元件内部场的分布情況。昱然如此,但由于网络方法计算简便,易于测量,又为广大工程技术人员所熟知,揿应用较为广泛。徽波电磁理论与徹波网络理论域是两大独立分支,但两者是相互连系的,微波网络理论是微波电磁理论的工程化,只信在微波电憾理论的基础上来探讨和发展微波网络理论,才是正确的方向微波网络理论又分为线性网绉理论和非线性网络理论,本书只讨论线性网络理论微波网络方法分析法和综合法两种,分析法是按已经掌握的基本微波网络结构及其特性,进行各种组合,来满足工作要求;综合法则根预定工作特性要求,来实现徼波网络结构。前者设计比较简单,但往往得不到性能优良而元件较少的最佳结果;后者虽然设计理论比较复杂,但能得到性能优良而元件较少的最佳设计。现在由于电子计算机的发展网络猕合所雷要的繁琰计算,都可用计算机来完成,一些主要元件设计都有现成图表数据备查,因而网络综合法已成为设计微波元件的主要方法。本书就是以网络综合法作为主要方法本章日的在于给定微波阿络的一些基本概念和基本参数。首先讨论广义传输线理论3从而定义出微波网络的电压和电流,这对了解等效电路的意义是很必要的。然后导出网络的阻抗矩阵、导纳矩阵、A矩阵、散射矩阵以及传输矩阵,并讨论它们的性质与相互变换,这给我们分析徽波网络是供数学工具。最后,讨论徼波闼络的本征值问题、网络参数浏量理论以及讯号流图,这对我们求解微波网络问题提供些必要的手。§1.2做波传输线及其特性电磁波可以用导体战介质进行引导,使其按一定方向传输·这种引导电磁被的装置叫妝传输线。在微波波段内,导行波的现象特明显,特别容彭b,因而有各种各样的微波传输线。图1.2-1示出几种常见的微波传输线,它们都是直的〔轴向),可以很长,直至无穷远。它们的横截面(横〕的几旋早4)矩形导(Abet〔c)同抽线何形状和媒质分布处处灬样,不因轴向位置不同而改变n这类传轴线叫做均匀传输线。在这些传输线中,电磁波沿着轴向传输,横截面上电磁场按一定规律分t带线布,所以这类电磁场问题可分为d)带状线两部分来研究。一是研究轴向的团12-1各种做菠传输线传输问题,叫做纵向问题;一是研究横截面上电磁场分布问题,叫做横向问题。两者相互联系,相互制约,究竟先研究哪个阿题,在理论上是无关紧要的。本背先从麦克斯韦方程发,简略叙速这类传输线的分析方法,从而得出其传输特性和等效电路。、微波传输线的电磁场方架研究任意檢截面的均匀徼波传输线中的电碱场,应从麦克斯韦方程出发。在正弦交变场情况下支克斯韦方程的复数形式是vxH=OEYXE=-FoWH.2-1·E=0V·=Q式屮∈是媒质的介电常数,μ是导磁率,它们都是与场强无关的當数。为求解传输线中电场E和磁场酽的方便,通常引入两个赫兹矢量位。由VH=0出发,可引入一个矢量位∏,使得≡{×∏,它消足回·H=jω∈V·(Vⅹn)=0,因为任何欠量旋度的散度恒等于零。矢量位∏°叫做赫兹电矢量,它揣足三维亥姆霍茨方程V2T+2T-0H=j∈V×T(1.2-2E=V(∏)+kT由￠-E=0出发,还可引入另一个矢量位冂,使得E=-fμ×n,并满足方程,j0v·(×T")=0。矢量位∏叫做赫兹磁矢量,它也满足三维亥姆霍茯·EVm+2r”=E=-jcV×nH=V(·T")+2n式中k=v比∈是无限媒质的波数。为解出均匀传输线中电磁场的普遍关系式,我们釆用广义正交柱坐标系(,琶,2)其中z是纵向直坐标,而,v是横截面上的曲线坐标,如图1.2-2所示。对于直角坐标系,“=%,U=y。在此坐标系中,为求解方程常数(12-2)和(12-3)筒便起见,可令『和∏t情数只有z方间分量,即=ir=ili同时担算符Ⅴ写成Ⅴ=4十--,其中Ⅴ是横截面型标的算符、L是之方向的单位矢。将上述关图122广叉止交坐訴系系代入(1.22)和(12-3)式中即可得到H=冖jo∈XV∏EA=v022十2∏z以及V21]z+21i=0E=j四Hz=×Ⅴm(1.2-5FI = =vp点2丑由此可见,在惹电矢量只有z分量的情况F,电磁波在2方向只有电场分量Ex而磁场分量Hx=,掀叫橫磁波(TM模),又叫徹哐波(E貘)。在勅兹磁矢量只有z分量的情况下,电磁波在z方向只有磁场分量II,而电场分量x=0,故叫做横忠波(TE模),又叫徹磁波(摸)这些模式能否在传输线中存在,是出其边界条件来决定的。对于TM模,在W=常数或U=常数的电壁(殚想导体表面)上!9=0;在H=常数的磁壁⊥d=0,在=常数的磁壁上(理想导磁体表面),。0=0,对于模,在2常数的电壁上,0,在=常数的电壁上,a门=0;在=砦数或v=常数的磁瑾上,巧=0在徽彼传输线中,如果单纯TM模或TE核不能满足逊界条件时,两者必须同时存在此时电磁就既有Ex分量,也有丑分量,叫做混合模。在直型标系中,混合模有两种简单形式,可令(12-2)或(1.2-3)式中=,「=求得。它们的表示式是∏6+hnr+R s上x=0d+们(1.2-7)EPoYEHII∵x由此可见,在赫兹电矢量只有x分量的情况下,电憾波的电场和磁场都具有之分量,仨磁场没有分量,即H=0,磁力线分纵向截上,叫做纵向磁波,筒称LSM模或TM模。在赫兹磁欠量只有x分量的情况下,电磁波的电场和磁场都有z分量,但电场没有x分量,即E:=0,电力线分布在纵向截面上,叫做纵向电波,简称LSE模或TEx棋。广义传输线方程我竹已知:求解黴波传输线的电磁场时,不管其中存在何种传输模式:槨要解赫兹矢量的三维亥姆霍茨方程,特别重要的是求解其中某一坐标分量的三维亥姆霍茨方积Van+kl o即YAI T五↓高I=0式中波函数Ⅱ既可以代表赫兹电矢量的κ分量(M模〉或x分量(LSM模),也可以代表赫兹磁矢量的2分量(TE模)或分量(LSE樸)。(1.2-8)式是个二阶偏微分方程,可用分离交量法求解。求解时令∏(#,沙,2)=∫(#,v)ψ(212-9式中f(u,t)只是横截面平标和的函数,ψ(x)只是纵向坐标之的图数。将(1,2-9式代入(1.2-8)式中就得到Vif(m, v)d2p(2)上式芹边仅仅是和U的数,与2无关;右边仅仅是z的函数,与和矿无关。两边相等,表明它们都必须等于常数。设此分离常数为一,则有(1.2-10)y2(2)=0(1.2-11)式中γ=k一由此可见,波函数∏(,U,2)可分离成f(u,)烈ψ(2)两个函教之积,其中f(,v)满足横坐标和v的二维亥姆霍茨方程,它决定横截面上电磁场分布。ψ(2)满足纵巫标z的传输线方程,它决定轴向电磁波的传输特性,故此方程称为广义传输线方程。由于我们所研究的微波传输线是无穷长,没有反射波,,故(1.2-11)式的解是2〕=Ag式中A是一个常缴,决定波的振幅。于是波函数n是∏(u,,z)=f(,u)ψ(z)=Af(n,)e(1.2-12)已知波函数后,传输线中各种模式的电戤场可由(1.2-4)到(1.2-7)式求得例如对于TM模∈A2xV(H,U)EE1=一YAVf(,t)e1.2-13)42)e对」IEE=j甲A2×Vf(,)e1(1.2-14)ustkA(u, ue传输特性电磁波在微波传输线中的传输特性,通常用其相速、波阳抗以及传输功率来表征,因为用它们可以确定波的传输快慢、强弱以及电场与磁场间的关系。一般说来,波的这些特性都与传输线的横截面的儿何结构有关,也就是与其边界条件关。下面分别叙述之1.被的速度在(12-2)式中波函数具有因子cY,它表示电磁波沿2方向的传输情况。ˇ叫做传输常数,通常是个复数,可以写为y=a+。其中叫做衰减常数,表示波在传输过程中振幅哀减的快慢β叫做相移常数,表示波不传输过程中相位变化的快慢。如果我们假设媒质是无耗的,μ和∈郗是实常数,则波数長=如vμ也是实数,这样,由y2后一}2可知,y的性质随者的不同而异,而是白横截面的边界条件决定的但是,不管横截画的几何结构如何,只可能有三种情况:(1)是的=0,(2)是>0,(3)是A0的情况下,电磁波的E。或H不等于,可以是M糖、E模或混合模这时传掏常数是即1.2-1?)如果令h=-5=2x/2n,B=/=2x/入,h=2τ/A其中是无限媒质中的波长,2是波导波长,A是截止波长,则(12-17)式变为(λ3/A入)21.2-18}由此可见,当為a,kx>λ,即波的相速大子无限媒质的光速,叫做快波。快波的波长大于无限媒质的波长。当λ>λa时,相速和波长都是虚激,没有物理意义,但这时=kk式中α是实数,故此电磁波变成衰减电磁场,随着轴向距离的增大,场的振幅逐惭衰演,但其相位不变,故衰减场是不能在传输线上传输的。0=是传输线中传输快波还是衰减场的临界情况,这时=0,月=0,传输线中既没有快波传输,也不是衰减场,而是等福的电磁场。λ之所以叫儆截止铍长,是因为当λ≥λe时,传输线中没有电磁波传输。在始8:因此Y=vR一的=v1+(B/R)=f于是波的相速和波长是1.2-19)2兀=入/V1+(戶,/)2由此可见,这类波的相速小于无阳媒质中的光速,岍做慢波,慢波的波长小于无限媒中的波长
- 2020-12-10下载
- 积分：1
