hadoop-yarn
-
Hadoop 截断/不一致的计数器名称 现在,我有一个Hadoop工作,它创建了一个非常有名的计数器。 例如,下面的一个:.此计数器在 Web 界面和方法调用时被截断。我发现Hadoop对计数器max名称有限制,此设置ID用于配置此限制。因此
-
如何设置 Spark 执行器的数量? 如何从 Java(或 Scala)代码量配置具有 和 的执行器量?我经常看到2个执行者。看起来不起作用,并且是关于不同的东西。 我只需要将执行器的数量设置为等于集群大小,但总是只有2个。我知
-
Yarn MapReduce 作业问题 - Hadoop 2.3.0 中的 AM 容器启动错误 我已经设置了Hadoop 2.3.0的2节点集群。它工作正常,我可以成功运行分布式shell-2.2.0.jar个例子。但是当我尝试运行任何mapreduce作业时,我得到错误。我已经)设置了MapRed.xml和其他配置来运行MapReduc
-
Apache Helix vs YARN Apache Helix和Hadoop YARN(MRv2)有什么区别?有没有人对这两种技术都有经验?有人可以解释一下Helix相对于YARN的优缺点,以及为什么LinkedIn的人开发了自己的集群管理而不是使用YARN? 提前感谢托
-
火花启动器无限等待作业完成 我正在尝试从Java代码将带有Spark作业的JAR提交到YARN集群中。我正在使用SparkLauncher提交SparkPi示例: 有两个问题: 在“yarn-cluster”模式下提交时,应用程序成功提交到 YARN 并成功执行(它在 YA
-
如何在 spark-submit 命令中指定要使用的 java 版本? 我想在远程服务器上的 yarn 集群上运行 spark 流应用程序。默认的java版本是1.7,但我想为我的应用程序使用1.8,它也在服务器中,但不是默认值。有没有办法通过spark-submit指定java 1.8的位置,这样
-
/bin/bash: /bin/java:在 MacOS 中的 Yarn 应用程序中没有这样的文件或目录错误 我试图在Mac OS X EL Captain 10.11上使用Java 1.7 SDK和Hadoop2.7.1运行一个简单的字数MapReduce程序,并且在我的容器日志“stderr” /bin/bash中收到以下错误消息:/bin/java:没有这样的文件或目录 应用程序日
-
标签