Hadoop 2.2 和 Maven

java maven hadoop

2022-09-01 20:19:03

我想从Hadoop 1.2.1切换到Hadoop 2.2。在我的项目中，我使用Maven，它可以处理

  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>1.2.1</version>
</dependency>

没有任何问题，但是将版本更改为2.2不起作用，因为它在中央maven存储库中不可用。

任何想法，我怎么能包括Hadoop 2.2。在我的 mavenized 项目中？

答案 1

大多数hadoop核心依赖关系都可以在hadoop-client中找到：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.2.0</version>
</dependency>

答案 2

对于 Hadoop 2.2.0，相应的软件包名称应如下所示（2014.05.27）：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.2.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-core</artifactId>
    <version>2.2.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.2.0</version>
</dependency>

参考资料：
http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common/2.2.0
http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core/2.2.0
http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs/2.2.0