hadoop入门程序

说明：  Hadoop构建数据仓库实践 操作指南 大数据知识(hadoop java hive bigdata)

Hadoop构建数据仓库实践 操作指南 大数据知识(hadoop java hive bigdata)

java实现kmenas算法，有详细的注释，以及MapReduce实现Kmeans算法。 Map每读取一条数据就与聚类中心对比，求出该条记录对应的聚类中心，然后以聚类中心ID为key，该条数据为value将数据输出  利用Reduce的归并功能将相同的key(聚类中心ID相同)归并到一起，集中与该Key对应的数据，求出这些数据的平均值，输出平均值  对比Reduce求出的平均值与原来的聚类中心，如果不相同，将清空原中心的数据文件，将Reduce的结果写到中心文件中

将电信实时日志  根据正则提取 然后通过mr合并，按类区分。 第一类：2016-06-02 23:44:32[02 00:27:16,496 INFO ] - [Topic2Queue.java]-[com.tydic.rtaBc.msgPrep.Topic2Queue$TopicThread]-[run]-[140] -  [消息发送完成****开始时间:1464798436495 结束时间:1464798436496 发送耗时毫秒:1 消息内容:PROD_OFFER_STRA_INST_553#|20160602002715000#|1588772703#|2#|2#|553#|52404686#~256902779#~0#~1763220#~20120829000000#~20170731000000#~48819113#~#~0#~1#~55302972867#~#~24#~1000#~553#~20120829175149#~#~20120829175102#~1#~11] 103002103002009103002009001Topic2Queue174_58_61134.64.115.174file 第二类：[0624 17:12:40 047 INFO ] com.tydic.rtaBc.msgPrep.MsgPrep -  [@PH] [2016-06-24 17:12:40] [40-92815B5A8001-RTA1-29928958696021756] [P_1_MR] [1] [OFFER_PROD_INST_REL_554#|20160624170210000#|823943705#|1#|2#|554#|179490421#~286955326#~277480107#~554#~20160624170210#~20160624170210#~555913462#~A1#~286955326#~0#~#~#~#~#~70911#~12#~0#~0]  第三类：103002103002009

连接 HBASE和MongoDB的驱动程序，配置后可直接导数据。很好用。

使用Hadoop中的MapReduce计算框架可以对数字文本分析及求和，当遇到大规模数据时，使用别的编程语言会使得计算过程变得复杂，但使用MapReduce并行计算框架只需编写map函数和reduce函数即可，简单方便。

MapReduce实现大矩阵乘法 ，即把一个大的矩阵分解成两个矩阵，通过计算两个小的矩阵就可以获得大的矩阵，可以很有效地解决大数据存储的问题。

1、WordCountMap类继承了org.apache.hadoop.mapreduce.Mapper，4个泛型类型分别是map函数输入key的类型，输入value的类型，输出key的类型，输出value的类型。 2、WordCountReduce类继承了org.apache.hadoop.mapreduce.Reducer，4个泛型类型含义与map类相同。 3、map的输出类型与reduce的输入类型相同，而一般情况下，map的输出类型与reduce的输出类型相同，因此，reduce的输入类型与输出类型相同。 4、hadoop根据以下代码确定输入内容的格式：

资源描述在Hadoop程序的例子。程序显示我们如何在Hadoop的MapReduce程序使用一个分区。这是一个课堂上的例子，我从我们的教练机上知道了。这是一个非常简单的代码版本，我可以肯定的，看到你们所有人都很容易理解。快乐学习

hadoop2.5.1-workCount-源码,导入eclipse可直接运行。有需求的可以一起研究一下。