-
基于MapReduce的大量数据求和
使用Hadoop中的MapReduce计算框架可以对数字文本分析及求和,当遇到大规模数据时,使用别的编程语言会使得计算过程变得复杂,但使用MapReduce并行计算框架只需编写map函数和reduce函数即可,简单方便。
- 2022-02-28 22:28:59下载
- 积分:1
-
hadoop hive
Hadoop构建数据仓库实践 操作指南 大数据知识(hadoop java hive bigdata)
- 2019-04-06 09:26:20下载
- 积分:1
-
hdfs文件系统操作
提供的是Hadoop系统中的HDFS文件系统的上传下载文件,以及对文件进行操作的的Java代码。提供的是Hadoop系统中的HDFS文件系统的上传下载文件,以及对文件进行操作的的Java代码。提供的是Hadoop系统中的HDFS文件系统的上传下载文件,以及对文件进行操作的的Java代码。提供的是Hadoop系统中的HDFS文件系统的上传下载文件,以及对文件进行操作的的Java代码。
- 2022-05-21 13:24:13下载
- 积分:1
-
HBase增删改查等相关操作
代码中利用Hbase相关的API,包括对HBase的增删改查等操作,对于初学者学习HBase能够起到作用。
前提是导入hadoop和hbase相关的jar包,可以在hadoop集群上面下载
- 2022-02-26 04:13:40下载
- 积分:1
-
Hadoop的分割程序
资源描述在Hadoop程序的例子。程序显示我们如何在Hadoop的MapReduce程序使用一个分区。这是一个课堂上的例子,我从我们的教练机上知道了。这是一个非常简单的代码版本,我可以肯定的,看到你们所有人都很容易理解。快乐学习
- 2022-01-26 01:44:53下载
- 积分:1
-
mahout实战中k-means源码
mahout是一个开源的机器学习平台!mahout实战这本书详细的讲解了mahout的原理并且介绍了相应算法的实例。本文件包含了该书的相应实例的相应源码。
- 2022-03-11 02:22:22下载
- 积分:1
-
java版kmeans算法以及mapreduces实现
java实现kmenas算法,有详细的注释,以及MapReduce实现Kmeans算法。
Map每读取一条数据就与聚类中心对比,求出该条记录对应的聚类中心,然后以聚类中心ID为key,该条数据为value将数据输出
利用Reduce的归并功能将相同的key(聚类中心ID相同)归并到一起,集中与该Key对应的数据,求出这些数据的平均值,输出平均值
对比Reduce求出的平均值与原来的聚类中心,如果不相同,将清空原中心的数据文件,将Reduce的结果写到中心文件中
- 2023-03-18 03:40:04下载
- 积分:1
-
爵士音乐家网络数据标签传播算法实现社团分析
在 gephi 提供的数据集上随便选一个实现标签传播算法五次. 比较五次算法结果的差别.
下载爵士音乐家网络数据:
NET file.
Jazz musicians network: List of edges of the network of Jazzmusicians.
P.Gleiser and L. Danon , Adv. Complex Syst.6, 565 (2003).
网络文件。爵士音乐家网络:爵士音乐家网络边表列表。
*Vertices (顶点) 198
*Arcs弧
*Edges边缘
- 2022-01-28 15:25:33下载
- 积分:1
-
基于hadoop的单词计数
package org.apache.hadoop;
import java.io.IOException;
import java.text.DecimalFormat;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.Reducer.Context;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob;
import org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCount {
- 2022-03-24 10:24:54下载
- 积分:1
-
wordcount.java
wordcount的源码,是在hadoop的环境下实现的,稍微做了点改进,这个算作是hadoop环境下的helloworld的程序,希望能给大家带来帮助
- 2023-01-31 23:45:04下载
- 积分:1