初等概率论附随机过程_钟开莱_中文
初等概率论附随机过程_钟开莱_中文内容提本书系根拐施普林格出版社( Springer-Verlag出版的钟开莱著初等慨率论附随机过程》( Elementary Probabilily Theory with Stoch-astic Processes)1975年第二版译出,鳳书是大学教学教科书,可作为我囯高等学校有关挚业的教学参孝书D2.底等擎校教杂考书初等概率论附隋机过程钟开粟著魏宗舒吕乃刚王万中汪振林举于人兵出新华书店北意发行所发行潜江县印刷厂印装开本?87X10921/32的张12.25字数293,01979年8月第1版1980筇莒月湖北第1次印刷印数1—12,400书号13012·0382定价0.89元第一版序言在过去半个世纪中,概率论从一个较小的孤立的课题发展成为一个与数学许多其它分支相互影响内容宽广而深入的学科,同时,它对各种应用科学,诸如统计学、运筹学、生物学、经济学和心理学的数学化赶着中心作用—这里仅举几个在它们的名种前早已牢固地安上“数理这个前缀词的科学.就率成年的标志反映在该学科教科书内容的改变上,在过去的日子里,这类书的大多数明显分成两种不同的类型,一种是组合的随机游戏,另一种是以正态分布为中心的“误差论”在费勒的经典著作〔见[ Feller11④)于1950年问世后,这一时期就告终止,我第一次讲授的有点份量的穊率论教程就是取材于这部书的原稿.随着时间的推移,概率论及其应用在大学课程中赢得了一个位置,成为许多领域中必修的一门数学学科,现在:这一理论的要点在不同的水上讲授,有时甚至在微积分之前讲授.这本教科书是作为大学二年级水平的门课程而写的,它并不要求对这一学科有任何事先了解,并且头上三章射大部分无需微积分的帮助就可以阅读.接下来的三章则要求懂得如何使用无穷级数及其有关课题的识而对于涉及具有密度的随机变量的讨论,当然要求有某些微积分知识.那些讲解“连续情况”的部分,是很容易与“离散情况”的部分分开的并且可以留到以后去读.头上六章的内容应该成为任何有意义的概率论初级导论的主要部分,在这以后,一个合理的选择包括:7.1普哇松分布,它可插在本课程较前的部分},对3,74,7.6(正方括号内的名字清查阅书术的一般参考文献威席·费勸 Willam Fell〔1906~1970)a11((/868态分布和大数定律)作某种不太深入的阅读,和§8.1(简单随机动,这既有启发性又很有用),所有这些,在二分制学校(→学年分灯两个学期)可以一学期内完成,但对四分制学校(一学年分为四个学期〕要一学期完成的话,就必须作一些削减.明确地说,对这样个短课,第一和第三章可以粗读一下并把打星号的材料路去.无论哪种情况;例如在一个二分之一学年的课程或两个四分之一学年的课程中,只要时间允许,就务必对第七章的正态近似定理作扎实的讲解.最后的第八章,给出马尔可夫链一个完整而初等的描述并且是课程主要郣分在较成熟的水平上的一个推广正态近似定理,连同打星号的§5.3,5.4(序贯抽样和卜耶坛子模型),以及§7.2(普哇松过程),或者再包括附录中的某些补充,这些材料提供了由浅入深、稳步地进人随机过程领城的途径,把这些课题包括在内,本书适合于一→门两个四分之一学年的课程,这也就是我多次对数学科学和学工程的學生讲授的内容,但是,经过头上六章的训练后,读者可以进入如上面提到的费勒专著中一些更深的专题,如果读者具有足够的数学基础,他也有资格选读门严谨的课程,其内容有如我那本较深书 Chung1]中所提供的为了适合课堂之用,如何选择、组织和讲解材料,我确是动了些脑筋,但我却没有试图提供一个装璜精美、适合精确的时间表或程序表的内容,就象大众对快速服务框台要求提供的商品那样因为教师对他的班级恰好需要什么,能作出最好的决定,所以应留給他一定程度的伸缩性和选择性,为了说明主旨和解释清楚,每章开头总包含一些容易阅读的部分,因此教师可以集中注意课文中较严格的方面。每章还包含一些略具挑戕性的课题(例如§.425)以供选择,它们并不是为了刁难初学者,而是想引导他们作进一步的研究,本书始终着重于初等概率论中基本概念和方法透◆2彻和细致的讨论,而修饰或复杂的技巧极少,由于预见到初学者的困难,特地选择许多例题以引起更好的思考这常常是用提和回答一些诱导性的问题来实现的.加入一些历史的、哲学的和个人的注释,可以给这一生动学科增添一总趣味,我希望读者不但从这本书中学到一些东西,还在阅读过程中享受到一定的乐趣头上六章有二百多个习题,最后两章有八十多个习题.许多是容易的,较难的都打上星号,书末附有全部答案.带星号的背和段处理较专门或较细致的内容,可以跳过它们但浏览一下还是值得的任何初等教科书的作者总得感谢无数前人.我个人特别应该致谢的如下: Michel nadzela写出了我1970年在斯坦福大学的饼课笔记, Gian-Carlo Rota见了这份笔记后,推动我把它改写为一本书.DG. Kendall对某几初稿提了意见并进一步给予道义上的支持,JL,Dob自愿阅读大部分手稿并提供许多有益的建议.K.B. Erickson在他所教的课程中用了一部分材料,AA. Halkema审阅了最后一稿并作了许多改进, Dan Rudolph和我一赶看了校样, Perfecto Mary画了讨人喜欢的所有插图Gail Lemmoud用她一贯的高效率和可信任的态度担负打字工作.最后,我非常高兴地感谢我的老出版商 Springer- Verlag米纳我的新书,以开始一套新的大学教程丛书钟开莱1974年3月第二版序言为『改正第一版中的镨误,做了坚决的努力.帮助我完成这工作的有以下各位: Chao Hung-po,J.L.Doob,R.M. Exner,W. H Fleming, A M. Gleason, Karen Kafador, s.H. Polit FhP. van moerbeke. Kafador女士和Poit博土提出了一份特别仔细的建议清单.最使人生气的错误,出现在习题的解答中.我检查了第一至第五章,Chao先生检套了第六至第八章的所这些错误.我强烈地希鲲继线残留在这一范围的镨误不大可能有了.还作了一些小的改进和增加,但在这一点上并不是所有的劝告都可以遵行的.恳切希望使用这本书的人提出批评和意见,以便将来再版中研究采用.我还要感谢 Springer-Verlag的工作人员,他们使这乍书出版后这样快就出了修订版钟开莱目录序■■■↓■■■督■ψ山晉血·■■中■■■血■■■昏4山■■■h■■凸唱昏卿甲噜中自自h唱■■自■第一章集合■自ψ自■■鲁自↓自自鲁■q■_Pψ自卓自卩自自■●■·p■P自卓·■P甲音■号P甲■自白白·音口··血§1.1.祥木集合山中4白■■号司平p■P甲P鲁4p省甲甲■p■甲Pm甲p中甲d◆k中■m§1.2.集合运算§.3.各种关系"甲··d甲m旷音中学中d司甲甲面qmhψb甲ψd面■■日音h暑■"「·■81.4.桁示子h晶甲曾T日甲q甲"甲-甲如■■·P■俨md山h·t血↓包■【■冒习题h日甲日h血■·■幽■b■白■日■■甲■■平曾■「省·甲-l8第二章概率………………………………2§2.1.概率的例了20§2.2.定义和例子了…24§2.3.公理的推论……………………………………………………32豸2.4.独立事供甲噌普P血即白幽备§2.5.算木密度…………………………*44题…5第三计数*…““4933.1.基本法则…493.2,各种取祥方式…………………………………………·5333.分配模型,二项系数…■■■1■甲【■口甲■甲!蚤■■59F3.4,怎样求解………68习题了8第四章随机变量……………………………"“82§4.1.什么是一个随机变量?……■口鲁■甲■■■■82842.随机变量是怎样产生的?……………………"864,3.分布和望………………93§4.4,取整数值的随机变量白■dd4■昏44……………100ε4,5,具存密度的随机变量………4.6.一般情况………参甲"117■鲁■■■b鲁■■■■昏■■■面■鲁4山■【■■■■■…MM…4M]22附录1波雷尔城和一般的随机变虽…■會甲■噜■■鲁?■鲁■血鲁個由[幽噜血_鲁個會■■26第五章条件性和独立性…………………………………………129条件性的例子……………………………………………129§5.2,基木公式血甲嚯噜中■■會會■■血·13585.3.*序贯抽样∵§5.4.*卜里耶的坛子模型………………………………-………15且§5.5.独立性和关联性…………Tψ口山■d聊ψψ司聊■b■■聊血■hbd■4■■面■;聊p159§5.6.*遗传模型……………………………………………171习題………………177第六章平均值,方差和变换…18386.3,期塑的基本性质………………………………r-………………183§6.2,密度的情况『■『■中↓冒4唯中1咽早tT昏中-188§63.乘法定理方差和协方差………193§6.4,多項分布………*…………“…………………………"201落6.5,母函数和其他…………………*…208习题217第七章普咤松分布和正态分布■··『·■·白·ψ司●自■t■·山山2247.1,普哇松分布的模型r…"*…2487z.普哇松过程…………………………………………………23373,由二项分布到正态分布早卜卜吾早4b■444·■!4■■·■已587,4,正态分布會■…………………25375.中心极限定理會■中口血一………-………257§7.6.大数定律…"……"…………264习题………………"…………………272爾录2斯梯林公式和德莫哇佛→拉普拉斯定理276第八章从随机游动到马尔可夫链·279§8、1、流浪者或赌徒朐问题……………………………*……27998,2,板限模型……………………………………………………………286§8.3,转移概率■q『d■跏■卜县啬■警白■■卜■■b冒甲■bP4d■普■中■冒即即……293§8.4,马尔可夫链的基本结构……………………………303§8.5.进一步的发展■凸■Pψ‘■■自■■曾血■血■鲁P■■■日■啁·■4自■日自即■血4自L■血§8.6.意定状态…§8.7,绡束还继续搞下去?4·336习题……………………………*………………………………347附录3鞅甲■dqL■■■■■血■▲dP甲hψ自甲甲■看………36一般参考文献"…."!358只题答案……………359索引…376
- 2020-11-28下载
- 积分：1
风控建模一等奖
使用拍拍贷数据，建模全过程，从数据预处理开始到最后的模型比较。仅用于交流学习。队伍介绍队名“不得仰视本王”,队伍由五个小伙伴组成,我们是在一个类以的比赛(微额借款用户人品预测大赛)认识的,对数据挖掘竹热爱让我们走到了一起,以下是成员简介:姓名学校、学历比赛经历匚陈靖」中国科学技术大学研二天泡科学家总分第三,微额借贷用户人品预测大赛季军朱治亮浙江大学研二淘宝穿衣搭配比赛李军,微额借贷用户人品预测大赛李军质耀重庆邮电大学研二微额借贷用户人品预测大赛冠军匚赵蕊」重庆邮电大学研微额借贷用户人品预测大赛亚军黄伟鹏北京大学研一微额借贷用户人品预测大赛冠军解决方案概述2.1项目介绍与问题分析拍拍贷“魔镜风控系统”从平均400个数据维度评估厍户当前的信用状态,给每个告款人打出当前状态的信用分,在此基础上再结合新发标的信息,打出对于每个标约6个月内逾期率的预沨,为没资人提供关键的决策依据。本次竞赛目标是根据用户历史行为数据来颈测用户在六来6个月内是否会逾期还款的概率。问题转换成2分类问题,评估指标为AUC,从 Master, LogInfo, Update Info表中构建恃征,考虑评估指标为AUC,其本质是排序优化问题,所以我们在模型顶层融合也使用基于排序优化的 RANK AVG融合方法。2.2项目总体思路本文首先从数据清洗开始,介绍我们对缺失值的多维度处、对离群点的剔除方法以及对字符、空格等的处理;其次进行特征工程,包括对地理位置信息的特征构建、成交玉间特征、类别特征编码、组合特征构建、 Lpdatelnfo和 Log Info表的特征提取等;再次进行特征选择,我们采用了 boost, boost的训练过栏即对特征重要性的排序过程;然后处理类别的不平衡度,由于赛题数据出现了类不平衡的情况,我们采用了代价敏感学习和过采样两和方法,重点介绍我们所使用的过采样方法;最后一部分是模型设计与分析,我们采用了二业界广泛应用的逻辑回归模型、数据挖掘比赛大杀器 ghost.,创新性地揆索了large- scale sⅧm的方法在本赛题二的应用,玟得了不错的效果,此外还介绍了模型融合方、数据清洗3.1缺失值的多维度处理在征信领域,用户信总的完善程度可能会影响该层户的信用评级。一个信息完苦程度为100%的户比起完善程度为50%的用户,会更加容易官核通过并得到借款。从这一点亡发,我们对缺失值进行了多维度的分析和处理按列(属性)统计缺失值个数,进一步得到各列的缺失比率,下图(图1)显示了含有缺失值的属性和相应的缺失比率sing rate of Attributes图1.属性缺失比枣WeblogInfo_1和 WeblogInfo3的缺失值比率为97%,这两列属性基本不携带有用的信息,直接剔除。 Uscr Info_11、 Userinfo_12和 Uscr info_13的缺失值比率为63%,这三列属性是类别型的,可以将缺失值用-1垣充,相当于“是否缺失”当成另一种类别。其他缺失值比卒较小的数值型属性用中值填充按行统计每个样本的属性缺矢值个数,将缺失值个数从小到大排序,以序号为横坐标,缺失值个数为纵坐标,画出如下散点图(图2)test set16016014014C12012Cw9mczE100400060008000Order Numbe(sort ircreasinglyOrde Nt mber(sort increasing ly)图2.样本属性缺失个数对比 trainset和 testset上的样本的属性缺失值个数,可以发现其分有基本一致,但是trainset上出了几个缺失值个数特别多的样本(红框区域内),这几个样本可以认为是离群点,将其剔除另外,缺矢值个数可以作为一个特征,衡量用户信息的完善程度。3.2剔除常变量原始数据宁有190维数值型特征,通过计算每个数值型特征的标准差,剔除部分变亿很小的特征,下表(表1)列出的15个特征是标准差接近于0的,我们剔了这15维特征表1.剔除数值特征标准差属性标准差属性标准差属忾标准差Webloglnfo_10 0.0707 WeblogInfo_41 0.0212 Webloglnfo_490.0071Webloglnfo_23.0939 WeblogInfo_43 0.0372 Webloglnfo_5200512Webloglnfo_31.0828 Webloglnfo_44.0166 Webloglnfo_5400946Webloglnfo_32 0.0834 Webloglnfo_46.0290 WeblogInfo_5500331Webloglnfo_40.0666 Webloglnfo_47 0.0401 WeblogInfo_58006093.3高群点剔除在样本空间中与其他样本点的一般行为或特征不一致的点称为离群点,考虑到离群点的异常特征可能是多维度的组合,我们通过分析样本属性的缺矢值个数,剔除了极少量的离群点(见3.1节)此外,我们还采用了另外一种简单有效的方法:在原始数捶上训练ⅹ gboost,用得到的xgb模型输出特征的重要性,取最重要的前20个特征(如图3所示),统计每个栏本在这20个特征上的缺失值个数,将缺矢值个数大于10的样本作为离群点。ThrciParty Ifn PeriodIntrAparty nto HerodThrcPorty hfo Penod3ardiParty hfo Period?ThirdParty Info Penod图3.Xgb特征重要性通过这个方法,易除了400多个样水。这些样在重要特征上的取值是缺失的,会使得模型学习变得因难,从这个角度妖说,它们可以看成是离群点,应剔除掉。3.4其他处理(1)字符大小写转换Userupdate Info表宁的 Userupdate Info1字段,属性取值为英文字符,包含了大小写,如Q"和”qQ",很玥显是同一和取值,我们将所有字符统一转换为小写(2)空格符处理Mastor表中 UserInfo9字段的取值包含了空格字符,如“中国移动”和“中国移动”它们是同一种取值,需要将空格符去除。(3)城市名处理Userinfo_8包含有“重庆”、“重庆市”等取僬,它们实际上是同一个城市,需要把字符中的“市”全部去掉。去掉“市”之后,城市数由600多下降到400多。四、特征工程4.1地理位置的处理对地理位置信(类别型变量)最简单的处理方式是独热编码(one- hot encoding),但是这样会得到很高维的稀疏特征,影响糢型的学习,我们在独热编码旳基础上,做了特征选择。下面介绍具体的方法。赛题数据提供了用户的地挛位置信息,包括7个字段: Userinfo2、 Userinfo4、UserInfo7、 UserInfo8、 UserInfo I9、 UserInfo20,其中 UserInfo_7和 UserInfo19是省份信息,其余为城市信息。我们统计了每个省份和城市的违约率,下图以 Userinfo_7为例图1.省分违约率可视化图5可视化了每个省份的违约率,颜色越深代表违约率越大,其中违约率最大的几个省份或直辖市为四川、湖南、湖北、吉林、天津、山东,如下图所示:图5.违约深突出省份可视化因此我们可以构建6个二值特征:“是否为四川省”、“是否为湖南省”...“是否为山东省”,其取值为或1。其实这相当于对地理位置信息做了独热编码,然后保留其中有判别性的菜些列。这里 UserInfo_7何含32和取值,编码后可以得到32维的稀疏特征,而我们只保留其宇的6维以上我们是通过人工的分析方法去构延二值特征,在处理省份信息时还是匕较直观的,但是处理城市信息,比如 Userinfo2,包含了33个减市,就没有那么直观了。为了得到有判别性的二值特征,我们首先对 Userinfo2进行独热编码,得到333维的二值特征,然后在这333维稀疏特征上训练ⅹgb模型,再根据xgb输出的特征重要性刷选二值痔征,以下是选取到的部分二值特征(对应的城市):“淮纺市”、“九江市”、“三门峡市”、“汕头市”、“长春市”、“铁岭市”、“济菊市”、“成都市”、“淄博市”、“牡丹江市”。按城市等级合并类别型特征取值个数太多时,独热编码后得到太高维的稀疏特征,除了采用上面提到的特征选择方法外,我们还使用了合并变量的方法。按照城市等级,将类别变量合并,例如线城市北京、上海、广州、深圳合并,赋值为1,同样地,二线城市合并为2,三线城市合并为3>经纬度特征的引入以上对地理位置信息的处理,都是基于类别型的,我们另外收集了各个城市的经纬度,将城市名用经纬度替换,这样就可以将类别型的变量转化为数值型的变量,比如北京市,用经纬度(39.92,116.46)替换,得到北纬和东经两个数值型特征。加入经纬度后,线下的cross validation有千分位的提升。城市特征向量化我们将城可特征里的城市计数,并取Log,然后等值离散化到610个区间内。以下图为例,将 serino2这个特征里面的325个城市离散为一个6维向量。向量“100000”表示该城位于第一个区间。线下的 cross validation有千分位的提升。Loglui2 num)6.城市特征离散化地理位置差异特征如图8所示,1,2,1,6列郗是城市。那么我们构建一个城市差异的特征,比妇diff_12表示1,2列的城市是否相同。如此构建 diff l2,diff_14,diff_l6,diff_24,diff26,diff46这6个城市差异的特征。线下的 cross validation有千分位的提升。⊥aJse⊥nfa2 userinfo4 Userinfo7 Userinfo8 Userinfo19uer⊥nf。201C013郴州1C020惠州1C033零1c035深圳东东东东建东福建省10038济104连云港远言港带1C042德州1c043青岛聊拔东自聊城市46深圳汕广东广东省汕尾市105所多工新乡图7.地理位置差异样例4.2成交时间特征按日统计训练集中每天借贷的成交量,正负样本分别统计,得到如下的曲线图8,横坐标是日期(20131101至20141109),纵坐标是每天的借贷量。蓝色由线是违约的样本每天的数量(为了对比明显,将数量乘上了2),绿色曲线对应不违约的样本train set1200count o10008004002广外从20030350Date20131101~20141109图8.每日借贷量统计可以发现拍拍贷的业务量总体是在埤长的,而违约数量一开始也是缓慢增长,后面基本保持不变,总体上违约率是平稳甚至下降的。在横坐标300~350对应的日期区间,出现了些借贷量非鸴大的时间苄点,这些可能隐减着苿些信息,我们尚未挖掘出来。考虑到违约率跟时间线有关,我们将戒交时间的字段 Listinginfc傲了几种处理,一和是直接将其当做连续值特征,也就是上图对应的横坐标,另一和是离散化夂理,每10天作为一个区间,乜就是将日期0`10离散化为1,日期1120离散化为2.4.3类别特征的处理除了上面提到的对菜些类别特征进行特殊处理外,其他类别特征都做独热编码。44组合特征Xgboost的训练完成后可以输出特征的重要性,我们发现第三方数据特征ThirdParty Info Period XX”的 feature score比较大(见图3),即判别性比较高,于是用这部分特征构建了ξ合特征:将特征两两相除得到7000个特征,然后使用 boost对这7000多个特征单独训练模型,训练完成后得到特征重要性的排序,取其中top500个特征线下cv能达到0.73+的AUC值。将这500个特征添加到原始特征体系中,线下cv的AC值从0.777捉高到0.7833。另外,也组合了乘法特征(取对数):10g(x*y),刷选出其中的270多维,加入到原始特征休系中,单模型cv又提高到、0.785左右。4.5 Upadte Info表特征根据提供的修改信息表,我们从中抽取了用户的修改信息特征,比如:修改信息次数,修改信息时间到成交时间的跨度,每和信息的修改次数等等特征。46 LogInfo表特征类似地,我们从登录信息表里提取了用户的登录信息特征,比如登录天数,平均登录间隔以及每种操作代码的次数等47排序特征对原始特征中190维数值型特征接数值从小到大进行排序,得到190维排序特征。排序特征对异常数据有更强的鲁棒性,使得模型更加稳定,降低过拟合的风险。五、特征选择在特征工程部分,我们构建了一系列位置信息相关的特征、组合特征、成交时间特征、排序特征、类别稀疏侍征、 updateinfo和1 oginfo相关的特征等,所有特征加起来将近1500维,这么多维特征一方面可能会导致维数灾难,另一方面很容易导致过拟合,需要做降维处理,降维方法赏用的有如PCA,tSNE等,这类方法的计算复杂度比较高。并且根据以往经验,在数据挖掘类的匕赛中,PCA或t-SNE效果仨往不好。除了釆用降维算法之外,也可以通过特征选择来降低特征维度。特征选择的方法很多:最大信息系数(MIC)、皮尔森相关系数(衡量变量间的线性相关性)、正则化方法(L1,L2)、基于模型的特征排序方法。比较高效的是最后一种,即基于学习模型的特征排序方法,这种方法有一个好处:模型学习的过程和特征选择的过程是同时进行的,医此我们采用这和方法,基于 boost来做特征选择, xgboost模型洲练完成后可以输岀特征的重要性(见3.3图),据此我们可以保留TopN个特征,从而达到特在选择的目的。
- 2020-06-23下载
- 积分：1
