Hadoop Mapper 因“ApplicationMaster 杀死容器”而失败

java linux mapreduce hadoop

2022-09-03 14:57:23

我正在尝试在Hadoop上执行map reduce程序。

当我将我的工作提交到hadoop单节点集群时。正在创建作业，但消息失败

“容器被应用程序大师杀死”

使用的输入大小为 10 MB。

当我使用输入文件400 KB的相同脚本时，它成功了。但是对于大小为 10 MB 的输入文件失败。

我的终端中显示的完整日志如下所示。

    15/05/29 09:52:16 WARN util.NativeCodeLoader: Unable to `load native-  hadoop library for your platform... using builtin-java classes      where applicable
Submitting job on the cluster...
15/05/29 09:52:17 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
15/05/29 09:52:18 INFO input.FileInputFormat: Total input paths to process : 1
15/05/29 09:52:18 INFO mapreduce.JobSubmitter: number of splits:1
15/05/29 09:52:19 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1432910768528_0001
15/05/29 09:52:19 INFO impl.YarnClientImpl: Submitted application application_1432910768528_0001
15/05/29 09:52:19 INFO mapreduce.Job: The url to track the job: http://localhost:8088/proxy/application_1432910768528_0001/
15/05/29 09:52:19 INFO mapreduce.Job: Running job: job_1432910768528_0001
15/05/29 09:52:29 INFO mapreduce.Job: Job job_1432910768528_0001 running in uber mode : false
15/05/29 09:52:29 INFO mapreduce.Job:  map 0% reduce 0%
15/05/29 09:52:41 INFO mapreduce.Job:  map 100% reduce 0%
15/05/29 10:03:01 INFO mapreduce.Job:  map 0% reduce 0%
15/05/29 10:03:01 INFO mapreduce.Job: Task Id : attempt_1432910768528_0001_m_000000_0, Status : FAILED
AttemptID:attempt_1432910768528_0001_m_000000_0 Timed out after 600 secs
Container killed by the ApplicationMaster.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

我的映射器在这里触发了另一个程序，该程序将在这里处理我的输入文件。由映射器触发的程序通常会消耗大量内存。

所以请在这方面帮助我。

答案 1

在中包含以下属性并重新启动，yarn-site.xmlVM

<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
   <description>Whether virtual memory limits will be enforced for containers</description>
</property>

<property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
   <value>4</value>
   <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
</property>

答案 2

容器是纱线 JVM 进程。在Mapreduce中，应用程序主服务，映射器和化简器任务都是在yarn框架内执行的容器。

您可以通过增加化简器的数量（例如）或通过增加减小堆大小（mapreduce.job.reduces=10mapreduce.reduce.java.opts=-Xmx2014m )

如果您希望在运行时具有固定数量的化简器，则可以在命令行传递 Map/Reduce 作业时执行此操作。使用所需数量将在运行时生成许多化简器。-D mapreduce.job.reduces=10

在代码中，您可以配置变量来设置映射器和化简器的数量。假设我们有可变作为工作。JobConfJobConf

Configuration conf = new Configuration();
Job job = new Job(conf);
job.setNumReduceTasks(10); // 10 reducers

您还可以将此特定作业的文件拆分为较小的大小，以避免内存问题。

如果您仍然遇到问题，请检查纱线日志并发布日志。