Spark - 按 HAVING 使用数据帧语法进行分组？

java sql apache-spark apache-spark-sql dataframe

2022-09-01 15:08:35

在没有 sql/hiveContext 的情况下在 Spark 中使用 groupby-have 的语法是什么？我知道我能做到

DataFrame df = some_df
df.registreTempTable("df");    
df1 = sqlContext.sql("SELECT * FROM df GROUP BY col1 HAVING some stuff")

但是我如何用这样的语法来做到这一点

df.select(df.col("*")).groupBy(df.col("col1")).having("some stuff")

这似乎并不存在。.having()

答案 1

是的，它不存在。您用后跟：aggwhere

df.groupBy(someExpr).agg(somAgg).where(somePredicate)

答案 2

例如，如果我想在每个类别中查找费用低于3200且其计数不得小于10的产品：

SQL 查询：

sqlContext.sql("select Category,count(*) as 
count from hadoopexam where HadoopExamFee<3200  
group by Category having count>10")

DataFrames API （Pyspark）

from pyspark.sql.functions import *

df.filter(df.HadoopExamFee<3200)
  .groupBy('Category')
  .agg(count('Category').alias('count'))
  .filter(col('count')>10)