企业级的网络设计方案的规划与测试
中海工业（江苏）有限公司作为一个大型的造船业基地，负责船舶工业的各项任务，而各项任务作为一个整体又需要各种数据信息的交流整合，因此公司的信息化建设是对于各项业务正常稳定进行的通讯保证，信息化网络的设计必须充分考虑到数字化使用和智能化管理的要求，遵循功能性、实用性、兼容性、前瞻性、安全性、扩展性和经济性的原则。素,并对大型企计算机企业网的建设提出了相应的方法和策略。在总结以往网络设计方案的基础上,提出了一种基于交换机组网模式和路由器组网模式相结合的网络设计方案,通过对核心层网络设计、汇聚层网络设计和接入层网络设计的方案设计的总结,使得网络设计方案能够将两个地域上分开的部分,采用通过各自的核心交换机连接的方式,保证线路和设备接口的稳定,并且保证数据能安全和可靠地传输。在计算机和通信內络系统的结构设计攴网络规划设计时,常常要进行大量的仿真分析,本文介绍的就是一种先进的网络仿真软件OPNET。文中介绍了 OPNET的组成、特点及其网络仿真的方法与步骤,并且给出了 OPNET在局域网规划和设计中的应用企业网,网络规划和设计,络仿真, OPNET第页第页第页附件四上海交通大学学位论文原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名;支训口期:208年2月必日附件五上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定,同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文保密口,在年解密后适用本授权书。本学位论文属于不保密M(请在以上方框内打学位论文作者签名,士X指导教师签名:龙多日期:208年10月28日日期>1年0月28为适应企业信息化的发展,满足日益增长的通讯需求和网络的稳定运行,如今的大型企业网络建设比传统企业网络建设提出更高的要求,主要表现在如下几个方间:)现代大型企业网络需要高带宽和高性能,以满足企业员工工日益增长的通讯需求。随着计算机技术的多样化发展,基于网络的各种应用日益增多,如今的企业网络已经发展成为一个多业务载平台,它不仅要继续承载企业的办公自动化和浏览等简单的数据业务,还要承载涉及个业生产运营的各种业务应用系统数据,以及带宽和时延都要求很高的电话、视频会议等多媒体业务,因此数据流量将大大增加,尤其是对核心网络的数据交换能力提出前所未有的要求)现代大型企业网终需要更高的可靠性和实时性,用以保障企业生产运营的止常进行。随着企业各种业务需要在计算机网络上进行操作,如何保障企业网络无屮断运行已经成为保证企业正常的生产运营的关键。现代人型企业网络在可靠性设计方面主要应从三方面考虑:首先是设备级可靠性设计,这里不仅要考察网络设备是否实现了关键部件的冗余备份,还要从网络设备整体设计架构、处理引擎种类笭多方面去考察;其次是业务的可靠性设计,这里要注意网络设备在故障倒换过程中是香对业务的正常运行有影响;再次是链路的可靠性设计,以人网的链路安仝来自于它的多路径选择,所以在企业网络建设时要考虑网络设备是否能够提供冇效的链路自愈手段和快速重路由协议的支持现代大型企业网络需要提供完善的端到端保障,以满足企业网多业务承载的需求。大型企业网络承载业务的不断增多,单纯的提高带宽并不能够有效的保縫数据交换的畅通无阻,所以如今的大型企业网络建设必须要考虑到网络应能够智能的识別应用事件的紧急和重要程度,如视频、音频、数据流,同时能够调度网终中的资源,保证重要和紧急业务的带宽、时延、优先级和无阻塞的传送,实现对业务的合理调度才是一个大型企业网络提供高效实用服务的保障。)现代大犁企业网络应提供更完善的网络安全解决方案,以阻击病毒和黑客的攻击,减少企业的经济损失传统个业网络的安全措施主要是通过部署防火墙、、杀毒软件以及配合交换机或路由器的访问列表来实现对于病毒和黑客攻击的防御,但实践证明这些第页被动的防御措施并不能有效的解决企业网络的全问题。在企业网络已经成为公司生产运营的重要组成部分的今天,现代企业网络必须要有一整套从用户接入控制,病毒报文识别到主动抑制的一系列安全控制于段,才能有效的保证企业网终的稳定运行。网络设计人员通常有能力创建出一个符合要求的企业网络,但当问题出现的时候,他们却不能采用构建网络时的思维来解决这些问题。每一次对网络的升级、打补」以及修改都会进一步增加网络的复杂性。这些问题可能导致网络难以被人理解,也不易于故障排除。随着时间的推移,可能导致网络不如预期的那样运行良好,随着网络规模的不断增长而不能很好的扩展,并且不能达到客户的需求解决这一问题的方法就是采用规范化、系统化的于段来构建企业网络。自顶向下的网络设计采用了结构化系统分析的思想。结构化系统分析的主要目标是能够更准确的描述用户需求,但在实际工作中,用户的需求常常被设计人员忽略或理解错误。另一个目标是将项目分解成更易被维护与修改的模块,使其便于管理。结构化系统分析有下列特性网络按照自顶向下的顺序设计。在设计期间,现有的许多技术和模型可以被用来刻划现有的系统、新的用户需求和将来的系统结构等特征。●理解薮据流量、数据类型以及能够访问或修改数据的进程。理解企业屮各阶层用户的定位和需求。●逻辑模型必须在物理模型之前被开发岀来。逻辑模型描述了功能划分和系统结构的基本组成模块。物理模型描述了设备的特定的技术和实现。对亍大型的网络设计项目,模块化显得十分必要。设计应该依功能划分,从而使项目更容易管理。在本文中,网络设计主要分成四个阶段,并以周而复始的方式执行1)需求分析。在这个阶段内,网终分析人员通过与用户和技术人员当面交流来获取对于新的或升级系统所需的商业和技术目标的一种理解。然后归纳岀当前网络的状况,包括逻辑和物理拓扑结构以及网络性能。这个阶段的最后一步是分析现在和将来的网络通信量,包括流量以及负载、协议行为和服务质量(QoS)的要求。2)逻辑设计。这个阶段需要设计新的或者升级网络的逻辑拓扑结构,网络层的编址,命名,交换机路由选择协议。逻辑设计也包括安全规划,网络管理设计,以及对服务提供商能够满足的广域网和远程访问的需求作初步调查。3)物理设计。在物理设计阶段,实垗逻辑设计的具体的技术和产品被选择第页出来。此外,在逻辑设计阶段开始对服务提供商的调查,必须在这个阶段完成。4)测试、优化、和记录文档。自顶向下网络设计的最后步骤是编写和实施测试计划,建造一个原型或者试验环境,优化网络设计,把所有网终设计的提议以及工作进程绘制成文档。当用户反馈的网络监测建议对网络加以提高或者需要增加新的应用时,这些主要网络设计阶段将不断周而复始地运行。图1-1显示了网络设计和实施循环周期。分析需求监测优化逻车设计网络性能实施及测试网终物埋设计测试,优化并记录设计图1-1网络设计和实施循环周期首先,作为该工程项目的参与人员之一,在阅读了大量企业网设计与规划方面的资料与文献后,逐渐认清了目前我国大型企业网络建设的研究背景及研究意义,然后和导师及同事们分析探讨了影响大型企业计算机企业网建设的主要因素,并对大型企业计算机企业网的建设提出了相应的方法和策略,在整个设计过程中釆用结构化的网络设计方法,将这个设计过程分为需求分析、逻辑设计、物理设计、测试等四步骤。其次,这个项目的客户是一家船舶制造单位,在详细研究了客户的招标文件中技术方的需求后,根据其业务流程表现出了其特定的网络建设的需求,我方在和客户充分的交流后,将客户的技术需求转化为各项网络技术目标,并得到了客户的认可再次,多次实地考察,结合实际情况和客户的需要,提出适合于该企业的组网模式,兼顾网络性能、安仝性、可管理性、可扩展性以及成本控制。在总结以往网络设计方案的基础上,提出了一种基于交换机组网模式和路由器组网模式相结合的网络设计方案,通过对核心层网络设计、汇聚层网络设计和接入层网络设第页
- 2020-12-05下载
- 积分：1
风控建模一等奖
使用拍拍贷数据，建模全过程，从数据预处理开始到最后的模型比较。仅用于交流学习。队伍介绍队名“不得仰视本王”,队伍由五个小伙伴组成,我们是在一个类以的比赛(微额借款用户人品预测大赛)认识的,对数据挖掘竹热爱让我们走到了一起,以下是成员简介:姓名学校、学历比赛经历匚陈靖」中国科学技术大学研二天泡科学家总分第三,微额借贷用户人品预测大赛季军朱治亮浙江大学研二淘宝穿衣搭配比赛李军,微额借贷用户人品预测大赛李军质耀重庆邮电大学研二微额借贷用户人品预测大赛冠军匚赵蕊」重庆邮电大学研微额借贷用户人品预测大赛亚军黄伟鹏北京大学研一微额借贷用户人品预测大赛冠军解决方案概述2.1项目介绍与问题分析拍拍贷“魔镜风控系统”从平均400个数据维度评估厍户当前的信用状态,给每个告款人打出当前状态的信用分,在此基础上再结合新发标的信息,打出对于每个标约6个月内逾期率的预沨,为没资人提供关键的决策依据。本次竞赛目标是根据用户历史行为数据来颈测用户在六来6个月内是否会逾期还款的概率。问题转换成2分类问题,评估指标为AUC,从 Master, LogInfo, Update Info表中构建恃征,考虑评估指标为AUC,其本质是排序优化问题,所以我们在模型顶层融合也使用基于排序优化的 RANK AVG融合方法。2.2项目总体思路本文首先从数据清洗开始,介绍我们对缺失值的多维度处、对离群点的剔除方法以及对字符、空格等的处理;其次进行特征工程,包括对地理位置信息的特征构建、成交玉间特征、类别特征编码、组合特征构建、 Lpdatelnfo和 Log Info表的特征提取等;再次进行特征选择,我们采用了 boost, boost的训练过栏即对特征重要性的排序过程;然后处理类别的不平衡度,由于赛题数据出现了类不平衡的情况,我们采用了代价敏感学习和过采样两和方法,重点介绍我们所使用的过采样方法;最后一部分是模型设计与分析,我们采用了二业界广泛应用的逻辑回归模型、数据挖掘比赛大杀器 ghost.,创新性地揆索了large- scale sⅧm的方法在本赛题二的应用,玟得了不错的效果,此外还介绍了模型融合方、数据清洗3.1缺失值的多维度处理在征信领域,用户信总的完善程度可能会影响该层户的信用评级。一个信息完苦程度为100%的户比起完善程度为50%的用户,会更加容易官核通过并得到借款。从这一点亡发,我们对缺失值进行了多维度的分析和处理按列(属性)统计缺失值个数,进一步得到各列的缺失比率,下图(图1)显示了含有缺失值的属性和相应的缺失比率sing rate of Attributes图1.属性缺失比枣WeblogInfo_1和 WeblogInfo3的缺失值比率为97%,这两列属性基本不携带有用的信息,直接剔除。 Uscr Info_11、 Userinfo_12和 Uscr info_13的缺失值比率为63%,这三列属性是类别型的,可以将缺失值用-1垣充,相当于“是否缺失”当成另一种类别。其他缺失值比卒较小的数值型属性用中值填充按行统计每个样本的属性缺矢值个数,将缺失值个数从小到大排序,以序号为横坐标,缺失值个数为纵坐标,画出如下散点图(图2)test set16016014014C12012Cw9mczE100400060008000Order Numbe(sort ircreasinglyOrde Nt mber(sort increasing ly)图2.样本属性缺失个数对比 trainset和 testset上的样本的属性缺失值个数,可以发现其分有基本一致,但是trainset上出了几个缺失值个数特别多的样本(红框区域内),这几个样本可以认为是离群点,将其剔除另外,缺矢值个数可以作为一个特征,衡量用户信息的完善程度。3.2剔除常变量原始数据宁有190维数值型特征,通过计算每个数值型特征的标准差,剔除部分变亿很小的特征,下表(表1)列出的15个特征是标准差接近于0的,我们剔了这15维特征表1.剔除数值特征标准差属性标准差属性标准差属忾标准差Webloglnfo_10 0.0707 WeblogInfo_41 0.0212 Webloglnfo_490.0071Webloglnfo_23.0939 WeblogInfo_43 0.0372 Webloglnfo_5200512Webloglnfo_31.0828 Webloglnfo_44.0166 Webloglnfo_5400946Webloglnfo_32 0.0834 Webloglnfo_46.0290 WeblogInfo_5500331Webloglnfo_40.0666 Webloglnfo_47 0.0401 WeblogInfo_58006093.3高群点剔除在样本空间中与其他样本点的一般行为或特征不一致的点称为离群点,考虑到离群点的异常特征可能是多维度的组合,我们通过分析样本属性的缺矢值个数,剔除了极少量的离群点(见3.1节)此外,我们还采用了另外一种简单有效的方法:在原始数捶上训练ⅹ gboost,用得到的xgb模型输出特征的重要性,取最重要的前20个特征(如图3所示),统计每个栏本在这20个特征上的缺失值个数,将缺矢值个数大于10的样本作为离群点。ThrciParty Ifn PeriodIntrAparty nto HerodThrcPorty hfo Penod3ardiParty hfo Period?ThirdParty Info Penod图3.Xgb特征重要性通过这个方法,易除了400多个样水。这些样在重要特征上的取值是缺失的,会使得模型学习变得因难,从这个角度妖说,它们可以看成是离群点,应剔除掉。3.4其他处理(1)字符大小写转换Userupdate Info表宁的 Userupdate Info1字段,属性取值为英文字符,包含了大小写,如Q"和”qQ",很玥显是同一和取值,我们将所有字符统一转换为小写(2)空格符处理Mastor表中 UserInfo9字段的取值包含了空格字符,如“中国移动”和“中国移动”它们是同一种取值,需要将空格符去除。(3)城市名处理Userinfo_8包含有“重庆”、“重庆市”等取僬,它们实际上是同一个城市,需要把字符中的“市”全部去掉。去掉“市”之后,城市数由600多下降到400多。四、特征工程4.1地理位置的处理对地理位置信(类别型变量)最简单的处理方式是独热编码(one- hot encoding),但是这样会得到很高维的稀疏特征,影响糢型的学习,我们在独热编码旳基础上,做了特征选择。下面介绍具体的方法。赛题数据提供了用户的地挛位置信息,包括7个字段: Userinfo2、 Userinfo4、UserInfo7、 UserInfo8、 UserInfo I9、 UserInfo20,其中 UserInfo_7和 UserInfo19是省份信息,其余为城市信息。我们统计了每个省份和城市的违约率,下图以 Userinfo_7为例图1.省分违约率可视化图5可视化了每个省份的违约率,颜色越深代表违约率越大,其中违约率最大的几个省份或直辖市为四川、湖南、湖北、吉林、天津、山东,如下图所示:图5.违约深突出省份可视化因此我们可以构建6个二值特征:“是否为四川省”、“是否为湖南省”...“是否为山东省”,其取值为或1。其实这相当于对地理位置信息做了独热编码,然后保留其中有判别性的菜些列。这里 UserInfo_7何含32和取值,编码后可以得到32维的稀疏特征,而我们只保留其宇的6维以上我们是通过人工的分析方法去构延二值特征,在处理省份信息时还是匕较直观的,但是处理城市信息,比如 Userinfo2,包含了33个减市,就没有那么直观了。为了得到有判别性的二值特征,我们首先对 Userinfo2进行独热编码,得到333维的二值特征,然后在这333维稀疏特征上训练ⅹgb模型,再根据xgb输出的特征重要性刷选二值痔征,以下是选取到的部分二值特征(对应的城市):“淮纺市”、“九江市”、“三门峡市”、“汕头市”、“长春市”、“铁岭市”、“济菊市”、“成都市”、“淄博市”、“牡丹江市”。按城市等级合并类别型特征取值个数太多时,独热编码后得到太高维的稀疏特征,除了采用上面提到的特征选择方法外,我们还使用了合并变量的方法。按照城市等级,将类别变量合并,例如线城市北京、上海、广州、深圳合并,赋值为1,同样地,二线城市合并为2,三线城市合并为3>经纬度特征的引入以上对地理位置信息的处理,都是基于类别型的,我们另外收集了各个城市的经纬度,将城市名用经纬度替换,这样就可以将类别型的变量转化为数值型的变量,比如北京市,用经纬度(39.92,116.46)替换,得到北纬和东经两个数值型特征。加入经纬度后,线下的cross validation有千分位的提升。城市特征向量化我们将城可特征里的城市计数,并取Log,然后等值离散化到610个区间内。以下图为例,将 serino2这个特征里面的325个城市离散为一个6维向量。向量“100000”表示该城位于第一个区间。线下的 cross validation有千分位的提升。Loglui2 num)6.城市特征离散化地理位置差异特征如图8所示,1,2,1,6列郗是城市。那么我们构建一个城市差异的特征,比妇diff_12表示1,2列的城市是否相同。如此构建 diff l2,diff_14,diff_l6,diff_24,diff26,diff46这6个城市差异的特征。线下的 cross validation有千分位的提升。⊥aJse⊥nfa2 userinfo4 Userinfo7 Userinfo8 Userinfo19uer⊥nf。201C013郴州1C020惠州1C033零1c035深圳东东东东建东福建省10038济104连云港远言港带1C042德州1c043青岛聊拔东自聊城市46深圳汕广东广东省汕尾市105所多工新乡图7.地理位置差异样例4.2成交时间特征按日统计训练集中每天借贷的成交量,正负样本分别统计,得到如下的曲线图8,横坐标是日期(20131101至20141109),纵坐标是每天的借贷量。蓝色由线是违约的样本每天的数量(为了对比明显,将数量乘上了2),绿色曲线对应不违约的样本train set1200count o10008004002广外从20030350Date20131101~20141109图8.每日借贷量统计可以发现拍拍贷的业务量总体是在埤长的,而违约数量一开始也是缓慢增长,后面基本保持不变,总体上违约率是平稳甚至下降的。在横坐标300~350对应的日期区间,出现了些借贷量非鸴大的时间苄点,这些可能隐减着苿些信息,我们尚未挖掘出来。考虑到违约率跟时间线有关,我们将戒交时间的字段 Listinginfc傲了几种处理,一和是直接将其当做连续值特征,也就是上图对应的横坐标,另一和是离散化夂理,每10天作为一个区间,乜就是将日期0`10离散化为1,日期1120离散化为2.4.3类别特征的处理除了上面提到的对菜些类别特征进行特殊处理外,其他类别特征都做独热编码。44组合特征Xgboost的训练完成后可以输出特征的重要性,我们发现第三方数据特征ThirdParty Info Period XX”的 feature score比较大(见图3),即判别性比较高,于是用这部分特征构建了ξ合特征:将特征两两相除得到7000个特征,然后使用 boost对这7000多个特征单独训练模型,训练完成后得到特征重要性的排序,取其中top500个特征线下cv能达到0.73+的AUC值。将这500个特征添加到原始特征体系中,线下cv的AC值从0.777捉高到0.7833。另外,也组合了乘法特征(取对数):10g(x*y),刷选出其中的270多维,加入到原始特征休系中,单模型cv又提高到、0.785左右。4.5 Upadte Info表特征根据提供的修改信息表,我们从中抽取了用户的修改信息特征,比如:修改信息次数,修改信息时间到成交时间的跨度,每和信息的修改次数等等特征。46 LogInfo表特征类似地,我们从登录信息表里提取了用户的登录信息特征,比如登录天数,平均登录间隔以及每种操作代码的次数等47排序特征对原始特征中190维数值型特征接数值从小到大进行排序,得到190维排序特征。排序特征对异常数据有更强的鲁棒性,使得模型更加稳定,降低过拟合的风险。五、特征选择在特征工程部分,我们构建了一系列位置信息相关的特征、组合特征、成交时间特征、排序特征、类别稀疏侍征、 updateinfo和1 oginfo相关的特征等,所有特征加起来将近1500维,这么多维特征一方面可能会导致维数灾难,另一方面很容易导致过拟合,需要做降维处理,降维方法赏用的有如PCA,tSNE等,这类方法的计算复杂度比较高。并且根据以往经验,在数据挖掘类的匕赛中,PCA或t-SNE效果仨往不好。除了釆用降维算法之外,也可以通过特征选择来降低特征维度。特征选择的方法很多:最大信息系数(MIC)、皮尔森相关系数(衡量变量间的线性相关性)、正则化方法(L1,L2)、基于模型的特征排序方法。比较高效的是最后一种,即基于学习模型的特征排序方法,这种方法有一个好处:模型学习的过程和特征选择的过程是同时进行的,医此我们采用这和方法,基于 boost来做特征选择, xgboost模型洲练完成后可以输岀特征的重要性(见3.3图),据此我们可以保留TopN个特征,从而达到特在选择的目的。
- 2020-06-23下载
- 积分：1
