是否可以启动apache Spark节点的嵌入式实例?

2022-09-03 00:22:15

我想启动嵌入到我的 Java 应用中的独立 Apache Spark 集群的实例。我试图在他们的网站上找到一些文档,但还没有看。

这可能吗?


答案 1

您可以在本地模式下创建SparkContext,您只需要向SparkConf提供“local”作为sparkConf的spark主URL

val sparkConf = new SparkConf().
  setMaster("local[2]").
  setAppName("MySparkApp")

val sc = new SparkContext(sparkConf)

答案 2

是的 -- 您可以通过“本地”主站以嵌入式方式使用 Spark。

SparkConf sparkConf = new SparkConf();//Create new spark config
sparkConf.setMaster("local[8]"); // local, using 8 cores (you can vary the number)
sparkConf.setAppName("MyApp");
SparkContext sc = new SparkContext(sparkConf);

这将在你的JVM中运行Spark。


推荐