史上最全最详细的flink 中文教程(一千多页pdf).pdf
最全最详细的flink 中文教程,详细介绍各个接口,并附带demo(一千多页pdf)最全最详细的flink 中文教程,详细介绍各个接口,并附带demo(一千多页pdf)执行配置1.5.7.1程序打包和分布式执行1.5.7.2并行执行1.5.73执行计划1.5.74重启策略1.5.7.5类库158FlinkCeP-Fink的复杂事件处理1.5.8.1风暴兼容性Beta158.2Gelly Flink Graph AP158.3图AP1.5.84迭代图处理1.5.8.4.1类库方法1.584.2图算法1.5.8.4.3图形生成器1.5.844二分图1584.5FlinkML- Flink的机器学习1.5.85快速入门指南1.5.8.5.1如何贡献5.8.5.2交义验证1.58.5.3Distance metrics5.8.54K-Nearest Neighbors关联158.55MinMax scaler1.5.8.5.6Multiple Linear regression1.5.8.5.7在管道的引擎盖下看158.5.8Polynomial Features158.59随机异常值选择1.5.8.5.10Standard scaler158.5.11Alternating Least squares1.5.8.5.12SVM using COCoA1.58.5.13最佳实践1.59AP迁移指南1.5.10部署和运营集群和部署1.6.1独立群集1.6.1.1YARN设置1.6.1.2Mesos设置1.6.1.3Kubernetes设置1.6.14Docker设置1.6.1.5亚马逊网络服务(AWS)1.6.1.6Google Compute Engine设置1.6.1.7MapR设置1.6.1.8Hadoop集成1.6.19JobManager高可用性(HA)1.6.2状态和容错16.3检查点1.6.3.1保存点1.6.3.2状态后台1.6.3.3调整检查点和大状态1.6.3.4配置1.64生产准备清单1.6.5命令行界面166Scala REPl1.6.7Kerberos身份验证设置和配置168SSL设置6.9文件系统1.6.10升级应用程序和Fnk版本1.6.11调试和监控度量1.7.1如何使用日志记录1.7.2历史服务器1.7.3监控检查点1.74监测背压1.7.5监控 REST AP1.7.6调试 Windows和事件时间1.7.7调试类加载1.7.8应用程序分析1.7.9Flink Development1.8将 Flink导入|DE1.8.1从 Source建立Fink8.2内幕组件堆栈1.9.1数据流容错19.2工作和调度19.3任务生命周期194文件系统19.55Apache Flink文档Apache Flink文档译者: flink. sob.cn在线阅读●PDF格式EP∪B格式●MOB格式代码仓库本文档适用于 Apache Flink17 SNAPSHOT版。这些页面的建立时间为09/08/18,中部标准时同07:53:00°Apache Flink是一个用于分布式流和批处理数据处理的开源平台Fnk的核心是流数据流引擎’为数据流上的分布式计算提供数据分发’通信和容错。 Flink在流引擎之上构建批处理’覆盖本机达代支持,托管内存和程序优化。第一步概念∶从Fink的教据流编程模型和分布式运行时环境的基本概念开始。这将有助于您了解文档的其他部分·包括设置和编程指南σ我们建议您先闖读这些部分教程:o实现并运行 Data strean应用程序o设置本地Fink群集编程指南:您可以阅读我们关于基本AP|概念和 Data Stream A門或 Data Set APl的指南’以了解如何编写您的第一个Fink程序。部署在将Fink工作投入生产之前,请阅读生产准备清单发行说明发行说明涵盖了Fink版本之间的重要更改。如果您计划将Fink设置升级到更高版本,请仔细阅读这些说明。Fink1.6发行说明Fink1.5发行说明。外部资源6Apache Flink文档● Flink Forward: Flink forward网站和 You tube上提供了以往会议的讲座。使用 Apache Flink进行强大的流处理是一个很好的起点●培训∷数据工匠的培训材料包括幻灯片·练习和示例解決方案。·博客: Apache Flink和数据工匠博客发布了有关Fink的频繁深入的技术文章概念概念数据流编程模型数据流编程模型译者: flink. sob.cn抽象层次Flink提供不同级别的抽象来开发流/批处理应用程序SQLHigh-level LanguageTable AplDeclarative dslDataStream/Data Set APICore aplsStateful Stream ProcessingLoW-level building blockstreams, state, [event] time)●最低级抽象只提供有状态流。它通过卩 rocess Function嵌入到 Datastream aF丨中。它允许用户自由处理来自一个或多个流的事件,并使用一致的容错状态此外,用户可以注册事件时间和处理时间回调,允许程序实现复杂的计算实际上,大多数应用程序不需要上逑低级抽象,而是针对 Core a叫编程,如Data stream AP(有界/无界流)和 Data set ap(有界数据集)。这些流畅的A門提供了用于数据处理的通用构建坎’例如各种形式的用户指定的转换’连接’聚合’窗口’状态等。在这些AP丨中处理的数据类型在相应的编程语言中表示为类低级尸 rocess function与 Data stream A尸/集成’因此只能对某些算子操作进行低级抽象。该数据集A尸隈提供的有限数据集的其他原语,如循环/迭代。●该 Table ap是为中心的声明性DSL表,其可被动态地改变的表(表示流时)。该 Table a門遵循(扩展)关系模型:表有一个模式连接(类似于在关系数据库中的表)和A門|提供可比的算子操作·如选择,项目,连接,分组依据’聚合等 Table a門程序以声明方式定乂应该执行的逻辑算子操作,而不是准确指定算子操作代码的外观。虽然 Table ap丨可以通过各种类型的用户定义西数进行扩展’但它的表现力不如 Core AP’但使用更简洁(编写的代码更少)。此外, Table a門l程序还会通过优化程序·在执行之前应用优化规则。可以在衣和 Data strean/ Data set之同无缝转换’允许程序混合7 ble aP以及Data Stream u Data Set API数据流编程模型Flink提供的最高级抽象是SQL。这种抽象在语义和表达方面类似于7ab/eA門·但是将程序表示为SQL查询表达式。在SQL抽象与 Table apl紧密地相互作用’和SQL查询可以通过定义表来执行7ab/eA尸程序和数据流Flink程序的基夲构建块是流和转换。(请注意,Fink的 Data set a|中使用的Data Set也是内部流-稍后会详细介绍。)从概念上讲·流是(可能水无止境的数据记录流’而转换是将一个或多个流作为一个或多个流的算子操作。输入’并产生一个或多个输出流。执行时’Fink程序映射到流数据流’由流和转换算亍纽成σ毎个数据流都以一个或多个源开头,并以一个或多个接收器结東。数据流类似于任意有向无环图(DAG)°尽管通过迭代结构允许特殊形式的循环,但为了简单起见’我们将在大多数情况下对此进行掩饰。Datastream lines env. addsourceSourrenew FlinkKafkaconsumer>(.)Datastream Event> events =lines. map((line)-> carse(line)了FBs∫n?ato胃Datastrearrs-atis-.cs> statskerby (id"!fransformationtimewindow (Time, seconds(10)apply(new MyWNindowAggregationFurction();stas. addsink(new Rolling sink(path),SinkLsourceT! ansforratio门sinkperatorOperatorsOperatorkey By(/Sourcemap() window()SinkapplystreamStreaming Datarow通常,程序中的转換与数据流中的算子之同存在一对一的对应关系。但是,有时一个转换可能包含多个转换算子源流和接收器记录在流连接器和批处理连接器文档中。 Data Stream算子和 Data Set转换中记录了转换。10
- 2020-11-04下载
- 积分：1
飞机机票系统
网上机票预订系统，里面有详细的外部接口需求、性能需求、软件属性需求、数据需求、概念设计以及详细设计的部分代码相关内容,如果满意可以点击订票,把相关信息添加到机票数据库表中,如果不满意,可以点重置,所有信息清空,再重新选择。●退票窗口,用户可以根据用户信息表中的我的机票信息査询,找出机票号,在输入到机票号査询里,点击査询获得你的杋票信息以及价格显示,点击退票则在数据库机票信息表中朋除本条信息。●管理员界血的管理员添加芥血能对管理员信息进行査询、添加、删除和修改,包括用户名、登陆密码和联系方式。管理员界面的舱位信息的査询、添加、删除和修改,包括舱位等缴编号、舱位等级名称、提供的各种服务类别,以及备注信息等。●管理员界面的客机信息界面对客杋信息的添加、修改、删除和査询,包括客机编号、客机型号、购买时间、服役时间、经济舱座位数量、公务舱座位数量、头等舱座位数量以及备注信息等。●管理员界面的航线信息界面对航线信息的添加、修改、朋除和査询,包括航线编号、出发城市、到达城市、航班日期、出发时间、到达时间、客机编号、经济舱价格公务舱价格、头等舱价袼和备注信息等。●客户等级信息的的添加、修改、删除和查询,包括客户等级编号、客户等级名称折扣比例和备注信息等。管理员界面的用户信息查询,能查询所有的已注册的用户信息。管理员界面订票信息界面,可以査询所有的已订的机票的信息。23用户特点及一般约束1.管理员和用户的登陆要求合法的管理员以及用户才能登陆体统,防止系统被无关人员动用,使用字符串匹配对用户名和密码进行判断。管理员和用户的登录对相应的操作权限也不一样,如果是用户登录,管理员的窗口属性为不可用,管员冇舱位信息管,客杋信息管理,航线信息管理客户类型信息管理,客户信息和订票信息管理,用户主要有舱位査询,客机信息査询,航线信息查询,客户类型信息查询,自己的信息管理,和自己订票和退票2管理员的日常操作管理员可以对舱位信息,客杋信息,航线信息,客户类型信息,进行査询、修改和删除操作,可以对客户信息和订票信息只有査询操作。3用户的的日常操作用户可以进行注册然后登陆系统,可以查询舱位信息,客机信息査询,航线信息查询,客户类型信息,可以对自己的信息进行修改,可以定票(按照肮班号进行预订机票,显示所订机票的信息和价格,进入支付系统付账,并再次要求客户确认,确认无误后订票成功)可以退票(在特殊情况下(如天气不适合飞机起降,飞机延误超过30分钟)等给予全额退票,如果是个人原因只能退50%),对退票后的机票要在未售出机票中重新体现24功能需求(用DFD图表示)241用户注册的DFD图顶层图:点击新用填写信息P获得确认注册成功可户注册填写相应的登录信息注册图点击新用写信息PIP2获得确认户注册填写相应的返回用户注册成功信息注册信息D添加用户信息数据流图开输入用广名和密码而断用P名和测码是青正提错忍录金理面判断管理阻标志录时f结束242用户订票的DFD图顶层图用户登杳阅积订1层图PLP2用广登输入要查查洵机处理订订票订票成询D1机票信2层图D2订票信息票信息票信息P用户信息用户登陆处理用户查询用户查询订票信D3机票已卖完节息信息用户信息用户证信检查机票是D4订票有误信D1用户信息否存在机票数冒已满信息错更新机票误信息书信信用户243退票的DFD图顶层图白票信息用户登陆退票退票成功1层图D订票记用户登处理订票取消机票退票成机票信退款处退票的原因D2退票的相关规244机票信息查询的DFD图顶层图用户登的机票铜查询机机票层图:P用户脊找机处理机票机.票信机单D票信息清D2机票信25外部接口需求在用户界面方面要求错误信息格式均以弹出提示框的形式出现,硬软件接∏方面没有特别的需求,一般用户都可以直接使用。25性能需求因为系统夲身较小,并不投入实际应用,因此响应时间、结果精度方面可能会比较差,数据量大小方面能够处理较大的数据量。26软件属性需求在数据检索、数据增删改方面必须做到丝亳不差,满足软件开发的正确性要求。必须考虑充足的异常处哩机制以及软件的复用性,以便增强软件的健壮性。在安仝保密性方面倣到不同身份所能处理的事务不同,避免保密数据泄漏:设置足够的触发器对不安全的数据修改进行回滚操作,进而保证了安全性要求。所廾发出来的软件必须是叮维护的,不能把一些东西做的太妣。27数据需求(ER图表示)管理员信息实体E-R图如图2-1所示。管理员信息实体管理员编号管理员电话管理员用户名管理员密码舱位等级信息实体E-R图如图22所小。船位感位等线号m>均日图2-3客机信息实体ER图航线信息实体ER图如图2-4所示信比号备思出发城市到达球市图2-4航线信息实体ER图客户类型信息实体ER图如图2-5所示癣型实斗鬥型端号客广型姓名折比例图25客户类型信息实体ER图客户信息实体ER图如图2-6所示。吞户信实售户号客姓名联票图2-6客户信息实休ER图订票信息实体ER图如图2-7所示订票信息实体订票倌息号客户共客户信恩航线信息图2-7订票信息实体ER图实体之间关系的ER图如图2-8所示。舱位等信息机信容户垄型信客户记线设置户信息航线信息顸订机票□订哪信图28实体之间关系的ER图三、概要设计3.1总体设计(系统总流程图)网上机票预订系統用理路录广|需共●验证登陆名密码,正确进入主菜单,根据登录时所选的脊录方式(客户、管理员)的不同分别对用户设定不同的访问权限(如果是输入的客户用户名和密码正确,选择以客户方式登陆则主界面里面的管理员界面不能用,如果输入的是管理员的相应用户密码正确,以管理员的方式登陆则管珥员界面可用)不正确则清空登录框,最多可以输入三次,三次不止确系统会自动关闭登陆界面FrmLoFan用户名:Wg=icha距码:客尸登阵地定●新用户注册,新用户可以注册,注册时输入用户名可以杏询用户可不π用,可用就可以注册,注册时可以判断用户输入的密码和验证密码是否相同,相同才给以注册,如果满意可以点注册,注册成功后用户可以选择不用在回到登陆界面,可以直接陆到用户主界面,以后就可以用这个用户登录了,如果不满意,点取消,所有信息清空,重新输入注册界面Farm⊥Teg1tcrx用户注册1个人信启垆写用户名: ansi chao校验是古有重名操示长用片名由家字和导母组前A已1q位密码确认:**两输入的密码应一瘿姓名:思超性别:黑身份证号:同502419809029313庭址;太原迎新街联方式:卩3468832247输入正确的于机号电子信箱:i≤i2203183.cm我是一个开的人个人奋注:据不内提亮
- 2020-12-01下载
- 积分：1
