是否可以启动apache Spark节点的嵌入式实例?
2022-09-03 00:22:15
我想启动嵌入到我的 Java 应用中的独立 Apache Spark 集群的实例。我试图在他们的网站上找到一些文档,但还没有看。
这可能吗?
我想启动嵌入到我的 Java 应用中的独立 Apache Spark 集群的实例。我试图在他们的网站上找到一些文档,但还没有看。
这可能吗?
您可以在本地模式下创建SparkContext,您只需要向SparkConf提供“local”作为sparkConf的spark主URL
val sparkConf = new SparkConf().
setMaster("local[2]").
setAppName("MySparkApp")
val sc = new SparkContext(sparkConf)
是的 -- 您可以通过“本地”主站以嵌入式方式使用 Spark。
SparkConf sparkConf = new SparkConf();//Create new spark config
sparkConf.setMaster("local[8]"); // local, using 8 cores (you can vary the number)
sparkConf.setAppName("MyApp");
SparkContext sc = new SparkContext(sparkConf);
这将在你的JVM中运行Spark。