卷积神经网络CNN学习笔记 pdf
个人整理的CNN学习笔记，所有素材均来自于互联网。把经典的摘之以作备案，待整理好这份笔记后，发现对CNN也有了深入理解，希望对你也有帮助！LOCALLY CONNECTED NEURAL NETCONVOLUTIONAL NETSTATIONARI? Statisties issimilar at dif ferent locationsLearn multiple filters.Example: 1000x1000 image1M hidden unitsFilter size: 10x10E.g. 1000x1000 image100M parameters100 FiltersFilter size: 10x10u鴻網互聯EEIDEE下面的分析来源于:htp/ log csdn. net/zouxy09/ article/details,/8781543我们知道,隐含层的每一个神经元都连接10x10个图像区域,也就是说每一个神经元存在10x10=100个连接权值参数。那如果我们每个神经元这100个参教是相同的呢?也就是说每个神经元用的是同一个卷积核去卷积图像。这样我们就只有多少个参数??只有100个参数啊!!!亲!不管你隐层的神经元个数有多少,两层间的连接我只有100个参数啊!亲!这就是权值共享啊!亲!这就是卷积神经网络的主打卖点啊!亲!(有点烦了,呵呵)也许你会问,这样做靠谱吗?为什么可行呢?好了,你就会想,这样提取特征也忒不靠谱吧,这样你只提取了一种特征啊?对了,頁聪明,我们需要提取多种特征对不?假如一种滤波器,也就是一种卷积核就是提出图像的一种特征,例如某个方向的边缘。那么我们需要提取不同的特征,怎么办,加多几种滤波器不就行了吗?对∫。所以假设我们加到100种滤波器,每种滤波器的参数不一样,表示它提出输入图像的不同特征,例如不同的边缘。这样每种滤波器去卷积图像就得到对图像的不同特征的放映,我们称之为 Feature Map。所以100种卷积核就有100个 Feature Map。这100个 Feature Map就组成了一层神经元。到这个时候明了了吧。我们这一层有多少个参数了?100种卷积核x每种卷积核共享100个参数=100×100=10K,也就是1万个参数。才1万个参数啊!亲!(又来了,受不了了!)见上图右:不同的颜色表达不同的滤波器嘿哟,遗漏一个问题了。刚才说隐层的参数个数和隐层的神经元个数无关,只和滤波器的大小和滤波器种类的多少有关。那么隐层的神经元个数怎么确定呢?它和原图像,也就是输入的大小(神经元个数)、滤波器的大小和滤波器在图像中的滑动步长都有关!例如,我的图像是1000×1000像素,而滤波器大小是10×10,假设滤波器没有重叠,也就是步长为10,这样隐层的神经元个数就是(1000×1000y(10×10}=100×100个神经元了,假设步长是8,也就是卷积核会重叠两个像素,那么……我就不算了,思想懂了就好。注意了,这只是一种滤波器,也就是一个 Feature Map的神经元个数哦,如果100个 Feature Map就是100倍了。由此可见,图像越大,神经元个数和需要训练的权值参数个数的贫富差距就越大。CONV NETS: EXTENSIONSBypool ing"(e. g. max or average)filterresponses at different locations we gain Over the years. some new medes have proven to be veryrubustness to the exact spatial location effective when plugged inte corv-netsof featuresL2 PoolingU, kEN(x,r)Local Contrast normalizationhN(x y)iN(xvIRenato总之,卷积网络的核心思想是将:局部感受野、权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。23实例视觉皮层存在两类相关的细胞,S细胞( Simple Cel)和C( Complex Cell)细胞。S细胞在自身的感受野内最大限度地对图像中类似边缘模式的剌激做出响应,而C细胞具有更大的感受野,它可以对图像中产生刺激的模式的空间位置进行精准地定位C是卷积层,S是下采样层。参看这个两个网址,对理解CNN非常有帮助http://www.68idc.cn/help/buildlang/ask/20150705417730.htmlhttp://www.68idc.cn/help/buildlang/ask/20150705419299.html涵pC1s2c384江蘇鴻網互刷三 -TOLERc是卷积层,S是下采样层。输入的一幅图像,在C1层,通过和3个卷积模板做卷积运算,然后加上偏置值,再经过 sigmoid激活函数,得到3幅输出图像,在S2层,对C1层输出的3幅图像做下采样,假设采样因子是2,也就是图中每2*2的 patch中的4个像素进行求和,再加偏置,再通过激活函数,得到3张尺寸减小了的输出图像。同样的,再经过C3S4。将S4的输出拉成一个向量,输入传统的神经网络中,并得到输出24综合实例G1: feature maps8@28X28C3: f. mapInp ut20@10x1032×32S1: f. mapsS4: f. maps@14x1420@5x5C5:120Output: 9ConvolutionsSubsamplingSubsamplingconnectionConvolutions og. Csdn. n Convolutions 688图中的卷积网终Ⅰ作流程如下,输入层由32×32个感知节点组成,接收原始图像。然后,计算流程在卷积和子抽样之间交替进行,如下所述·第一隐藏层进行卷积,它由8个特征映射组成,每个特征映射由28×28个神经元组成,每个神经元指定一个5×5的接受域,这28×28个神经元共享5×5个权值参数,即卷积核第二隐藏层实现子抽样和局部平均,它同样由8个特征映射组成,但其每个特征映射由14×14个神经元组成。每个神经元具有一个2×2的接受域,一个可训练系数,一个可训练偏置和一个 sigmoid激活函数。可训练系数和偏置控制神经元的操作点;第三隐藏层进行第二次卷积,它由20个特征映射组成,每个特征映射由10×10个神经元组成。该隐藏层中的每个神经元可能具有和下一个隐藏层几个特征映射相连的突触连接,它以与第一个卷积层相似的方式操作。第四个隐藏层进行第二次子抽样和局部平均汁算。它由20个特征映射组成,但每个特征映射由5×5个神经元组成,它以与第一次抽样相似的方式操作。●第五个隐藏层实现卷积的最后阶段,它由120个神经元组成,每个神经元指定一个5×5的接受域。最后是个全连接层,得到输出向量。综合起来,如下图山辆入员/閩张38的圈像辆入|种特图到C28×28KD卷,:对应位遇相森再未和⊙如偏置每种图有个偏置a老积层f同治减函数6↑5的卷铝kC6个偏置值b输邶钟培钲图24X0mno:22域的值平均坐smle=2辆入6种征图列12|2k2个55的着核kKk22个偏置值b辆出12钟特钲图8×88×g年怦居D mean pooL斜样9=2s输出口钟特征图4x叶把S园輪出的特征图垣成一年向量入,维,:平4x×12=12F房入节点有2个192资接的神经刚络W1,09W参教W:20×192矩阵爹教bho0x1向量oh辆出节点有个,国为baby的度是o·上图中28如何变成24的?12如何变成8的?详情见这个网址:hto:/ud. stanfordedu/wki/ index. php/ Featureextractionusing convolution这个过程中,有这么几个参数:a.深度 depth:神经元个数,决定输出的dept厚度。同时代表滤波器个数。*b.步长 stride:决定滑动多少步可以到边缘。C.填充值zero- padding:在外围边缘补充若干圈0,方便从初始位置以步长为单位可以刚好滑倒末尾位置,通俗地讲就是为了总长能被步长整除。最左边一列是输入层,第二列是第一个滤波器(W0),第三列是第二个滤波器(W1),第四列是输出层。*该图有两个神经元,即 depth=2,意味着有两个滤波器数据窗口每次移动两个步长取3*3的局部数据,即stde=2。zero-padding=13cNN的激励层与池化层ReLU激励层不要用 sigmoid,因为它容易饱和、造成终止梯度传递,且没有0中心化ReLU的优点是收敛快,求梯度简单。·池化poo层池化,简言之,即取区域平均或最大,如下图所示Single depth slice1124Xmax pool with 2X2 filters5678 and stride 26832234304y参考文献:·htp:/ yann lecun. com/exdb/lenet/index. html( Yann securη实现的CNN演示,以动画的形式演示了位移、加噪、旋转、压缩等识别,最有价值的是把隐层用图像显示出来了,很生动形象)
- 2021-05-07下载
- 积分：1
时域有限差分法 (高本庆)
时域有限差分学习书籍，有研究FDTD方法的可以学习学习国防科技图书出版基金第二届评审委员会组成人员名誉主任委员怀国模主任委员黄宁副主任娄员殷鹤龄高景德陈芳允曾铎员尤子平朱森无朵英贤按姓氏笔划为序)刘仁何庆芝何因伟何新贵宋家树张汝果范学虹胡万忱柯有安侯迁候正明莫梧生崔尔东秘书长刘琯德时域有限差分法(Fnte- Differerce Time-Domain Method简称FDTD Method)是求解电磁问题的种数值技术,它是在1966年由K.S.Yee第一次提出的。fDTD法直接将有限差分式代替麦克斯韦时域场旋度方程中的微分式,得到关子场分量的有限差分式,用具有相同电参量的空间网格去模拟被研究体,选取合适的场初始值和计算室间的边界条件,可以得到包括时间变量的麦克斯韦方程的四维数值解。通过傅里叶变换可求得三维空间的频域解20多年来FDTD法历经了一个蓬勃发展的过程。最初是用它来求解金属体上的散射问题,用的是笛卡尔坐标系,使空间单元网格呈直角六面体。鉴于当时的计算机容量水平,特别是FDTD技术本身尚有若重要问题未很好解决,使得早期的数值精度不够高,应用范围也不很广,这种局面大约延续到70年代末期。随着FDTD技术的发展,首先需要解决的是有限计算空间的无反射截断问题,早期采用的一种方法是加大边界与散射体间距离,以在边界上构成外向行波,这种方法精度不高、计算空问亦大。直到将波方程的二阶近似用以处理边界上的场值,得到了较好近似的吸收边界条件,才将这个间题的解决向前推进了一大步在直角坐标系中用FDTD技术进行模拟时,光滑曲线形媒质表面将呈锯齿形状这可能产生沿面的表面波,加大了数值色散误差,解决这个问题的有效方法是“共形”技术的提出,这包括:或是使用曲线坐标系使媒质表面与坐标曲线共形,或是在直角坐标系中改变媒质介面上的网格形状,使二者共形,利用共形网格明显提高了计算精度。在类电磁问题中,当媒质结构尺寸比网格尺寸小时(如细线、窄槽或薄介质层等),将使FDTD模拟变得很困难。近来相继出现以麦克斯韦方程的国路积分形式建立相应FDTD算法式,FDTD与其他方法(如积分方程法或矩量法)的混合技术,以及媒质参数竹网格平均技术等,均提供了解决这类特殊问题的途径。FDTD法的特点是很易得到被研究体的近场,但不易一次直接得到远场值。80年代初期提出的利用等效原理将频城近场变换为远场是解决这个问题的好方法,近几年又将此技术发展到时域这二种路径给求解散射间题和天线问题提供了强有力的工具。值得提出的是,早期fTD方法中没有计及媒质的色散特性,即假定被研究媒质的电参数是与频率无关的。实际上自然界中有很多媒质的电参数具有很强的色散特性,近几年已开始注意研究色散媒质中的FDTD算法,为解决这电磁领域内难题铺平了道路。上述几方面问题的进展有力推动了FDTD技术的发展和应用,使它在解决复杂形体结构和多种媒质并存的一类呵题中占有重要的一席之地。今天,它不仅在电磁散射、电磁兼容预测、生物电磁学中得到卓有成效的应用,而且在天线做波技术、光电子学等的应用中意益受到重视。本书内容包括三部分:第一部分论述了FDTD法基本知识和各种FDTD算法,包括各种坐标系和特殊结构媒质的算法,以及FDTD与其他方法相结合的混合法等;第二部分介绍了FDTD法在电磁学各领域中的应用情况,内容涉及电磁散射微波传输线、天线、电磁榘容预測及生物电磁学范畴;第三部分讨论近期发展的色散媒质的FDTD算祛原理及其应用情况。本书在给出各种应用实例时,多将FDID法数据与理论值或实验数据或其他数值解数据(如矩量法等)进行比较。除早期发表的少数例子误差稍大外,大多数均与相比较的数据吻合很好。从目前水平看,在分析…般散射问题中,数值误差约在L%~3%附近(RCS的误差略大些),而在求谐振器本征值问题中,FDTD数值解与理论值误差低于百分之,某些情况能小于千分之一,这个精度是很喜人的。可以无夸张地说,FDTD法与其他数值解从精度上讲是可以媲美的,有的则有胜过。加之FDTD法得到的是时域解,通过傅氏变换可得到频域解。即它具有次时域计算代替频域上逐点计算的潜力。这些均L表示FDTD法具有较明显的优势。本书是作者尝试将已发表在不同场合不同时间的有关资料经整理推演、加工编写成专著。内容取材上亦包括作者及同事们近几年在这方面开展的工作结果。编写本书的目的是希望能起到抛砖引玉的效果。希给初学者提供…个入门途径,给从事这方面工作的同行们提供较系统的参考资料,以便更好地促进FDTD技术的发展和更进一步拓宽它的应用。由于作者才疏学浅,加上时间关系,错误和不足在所难免,上述目的恣难如愿敬请各位专家学者和读者多提供宝贵意见。在本书确立大纲的过程中,得到北京理工大学张德齐教授和楼仁海教授、西安交通大学汪文秉教授的帮助,汪文秉教授对内容安排提出了贵意见。要特别提到的是,在本书编写过程中得到中国科学技术大学旅美陈金元博士的大力支持和帮助陈博士及时寄来最新研究资料(见§7.6以充实本书内容。书稿完稿后,张德齐教授通阅了全稿,并提出宝贵意见国防工业出版社在本书出版过程中给予很多帮助,作者在此对他们表示衷心的感谢作者t993年8月于北京内容简介本书重点介绍」时域有限差分(FDTD)法的基本知识及其在电磁学各个领域内的应用。全书包括二部分(共八章),第一部分论述了FDTD法的基本知识(第…章)和各种FDTD算法,包括各种坐标和特殊结构媒质中FDTD算法及混合算法等(第二章);第二部分介绍FDTD法的爷种应用,内容涉及电磁散射(第三章〉微波传输线和谐振腔(第四章)、天线(第五章)、电磁兼容预测第六章)生物电磁学(第七章)等领域;第三部分介绍近期发展的色散媒质屮FDTD算法原及其应用情祝等(第八章〕。木书可供从事时域计算电磁学理论和应用妍究的人员参考,亦可供有关专业教师、研究生及商年级大学生作选修和参考用书目·录第一章时域有根差分法基本知识1.1支克斯韦方程1)].2FTD基本方程■h吾早4中■暑h音h鲁↓ψ中4山■■骨日◆p4白(生)1.3解的稳定性“……““〔l1)1.4边界条件…(13)1.5激励派的类型和设置……………………………(22)816误差分析………*………(29)§1.7近场一远场变换山中■冒↓d4白■■■e40)氵1.8FDTD数值解步骤…………(45〕参考文献■··■跏■·幽自嚞ψ■■·自·■甲血幽b中■●鲁歌●■甲晉『甲●■目■■46第二章FDTD算法变异48)82.1一般曲线坐标系的FDTD算法4甲●鲁ψψ■“ψ晕P山血曾■■■省口_P■口(48)§2.2正交曲线坐标系的PDTD算法(58}2.3非均匀网格尺寸的FDTD算法…(69)2.4细薄结构媒质的FTD算法……………*………(80)2.5FDTD瞬态积分方程的混合算法:(95§2.6FDTD矩量法时混合算法…………………*………(101)参考文献…………………………………………(105)第三章在电磁散射问题中的应用聊司自■电■■悬■■··ψb■■t最聊10883.1二维散射体■■画■·■唱口■■』烟·■口甲■唱■■即■■■口·吾■昌■■■■即■■■晶』h画p■■■昌〔108§3.2三维敢射体……………(114)3.3RCS计算……〔121)§3.4散射体的时域综合……………………**……(134)参考文献(143)第阿章在徽波传输线和谐振腔中的应用…………………(141徵带和共面传输线咖自b·山山山啬■■山■■ψ·;跏·■■“■士鲁■b■口■■■动●咖【41§4.2徼带不均匀性和徼带元件●日日鲁■日聊聊昏目申聊■与;自语↓ψ■ψ口一·↓c自ψb53)氵4.3波导传贛线元件……………………………………(63)8.4谐振腔的本征值……4…(j72)4.5谐振腔的e值(I名1参考文献…………………………………………(185第五章在天线问题中的应用·……(!8?)§5.1圆柱形单极天线………4■·↓■自·h■■■■■■■■甲4■■■▲187)5.2波导口和喇明线………………………………………(196)§5.3徽带贻片天线200)§5.4天线互朝的计算…ra……(210)参考文献1■幽昏p■■◆(215第六章在电磁兼容预测中的应用…(218§6·]瞬变电驚环境下飞机表面效应………“(216)§6.2EMP对连接有尾气焰导弹体的效应…(22)s63EM场透入导弹导引头的预浏■■■非十(230)6.4飞行体上微带贴片天线的EMP效应……a(233)6.5TEM传导胞腔中不均匀性影响的预测…-4…*4(239参考文献昏■■·聊■●■■■·ψ■山幽■如卓■■ψ卩■■中斷鲁晋■■口自■■导画晋■b山1〔241第七章在生物电磁学中的应用……246§7.1生物组织的电磁特性及人体电磁模型……………"……(246)72平面波照射下人体内的电磁效应号昌◆+卓b4即u(z56)7.3工业加热器对人体的作用…………………………(263)7.4动力电的人体效应…sa…(2687.5高压EMP的生物效.…·…(273)N7.6虾篾电话的人体效应…■■■■■↓鲁号↓個山山……(280)参考文………………………………………(2865第八章色教媒质的FDTD算法日■■d十■T■一一會■■『■■■血288)N8.1离散时域卷积建立FDTD方程……〔288N8.2由德拜方程和频域场到吋域的直接变换建立FDTD方程"sr…:…(295)氵8.3由z变换建立FDTD方程日ψ号■自卓自甲ψ吾■■■日■■■道语晶画『4b即44■(298)4色散媒质的吸收边界条件…………………"………(303)8.5(FD)TD法应用举例……(3058.6表面阻抗概念在fDTD法中的应用……(314)s8.了表面阻抗FDT法应用举例………■·■■b■324)参考文献(召30
- 2021-05-06下载
- 积分：1
