apache-spark
-
Apache Spark 中的矩阵乘法 [已关闭] 我正在尝试使用Apache Spark和Java执行矩阵乘法。 我有2个主要问题: 如何创建可以在Apache Spark中表示矩阵的RDD? 如何将两个这样的RDD相乘?
-
运行 apache spark 作业时任务不可序列化异常 下面的java程序是为尝试apache spark而编写的。 该程序尝试从相应的文件中读取正词和负字的列表,将其与主文件进行比较并相应地过滤结果。 任何指针??
-
parquet.io.ParquetDecodingException:无法读取文件中块 -1 中 0 处的值 我已经使用方法在Hive中保存了一个远程数据库表,现在当我尝试使用CLI命令访问Hive表数据时,它会给我以下错误: 你知道我在这里可能做错了什么吗?
-
如何使用单个 spark 上下文在 Apache Spark 中运行并发作业(操作) 它在Apache Spark文档中说:“在每个Spark应用程序中,如果它们由不同的线程提交,则多个”作业“(Spark操作)可能会同时运行”。有人可以解释如何为以下示例代码实现此并发性吗? 这两个
-
使用Apache Spark和Java将CSV解析为DataFrame/DataSet将 Spark 2.x(及更高版本)与 Java 结合使用现在,我们可以通过 2 种方式聚合数据 我是 Spark 的新手,我想使用 group-by & reduce 从 CSV 中找到以下内容(一行由使用): 有没有办法使用转换和操作来实现这一点。还是我们应该进行RDD手术?
-
-
为什么 apache spark 不能与 java 10 一起使用?我们得到非法反思然后java.lang.IllegalArgumentException spark 2.3 不能与 java 1.10 配合使用(截至 2018 年 7 月)有什么技术原因吗? 这是我使用 运行 SparkPi 示例时的输出。 我通过切换到Java8而不是这里提到的Java10解决了。
-
-
Spark2.2.1 不兼容的 Jackson 版本 2.8.8 我的配置是: Scala 2.11 (plugin Scala IDE) Eclipse Neon.3 发布 (4.6.3) 视窗 7 64 位 我想运行这个简单的scala代码(Esempio.scala): 我注意到spark-2.2.1-bin-hadoop2.7 / jars目录中.jar文件是: 杰克逊-核心-2
-
使用 sc.textFile 从子目录中递归获取文件内容 似乎SparkContext textFile只期望文件存在于给定的目录位置 - 它也没有 (a) 递归或 (b)甚至支持目录(尝试将目录读取为文件) 任何关于如何构建递归的建议 - 可能比手动创建递归文件列表/下
标签