scala 通过检查值是否在列表中来过滤Spark DataFrame，并使用其他条件

qncylg1j 于 4个月前发布在 Scala

关注(0)|答案(3)|浏览(60)

作为一个简单的例子，我尝试使用以下代码过滤Spark DataFrame：

val xdf = sqlContext.createDataFrame(Seq(
  ("A", 1), ("B", 2), ("C", 3)
)).toDF("name", "cnt")
xdf.filter($"cnt" >1 || $"name" isin ("A","B")).show()

字符串
然后它会出错：

org.apache.spark.sql.AnalysisException: cannot resolve '((cnt > 1) || name)' due to data type mismatch: differing types in '((cnt > 1) || name)' (boolean and string).;

型
正确的方法是什么？在我看来，它在name列之后停止阅读。是解析器中的bug吗？我使用Spark 1.5.1

scala

来源：https://stackoverflow.com/questions/33981487/filter-spark-dataframe-by-checking-if-value-is-in-a-list-with-other-criteria

3条答案

按热度按时间

jckbn6z71#

val list = List("x","y","t") 
xdf.filter($"column".isin(list: _*))

字符串

赞(0）回复(0）举报 4个月前

jv2fixgn2#

您必须将各个表达式括起来：

xdf.filter(($"cnt" > 1) || ($"name" isin ("A","B"))).show()

字符串

赞(0）回复(0）举报 4个月前

vh0rcniy3#

我们现在也可以使用isInCollection（从2.4.0版开始提供）链接到文档
代码如下所示

val filteredList = List("A","B")
xdf.filter(col("name").isInCollection(filteredList)).show()

字符串

赞(0）回复(0）举报 4个月前

我来回答

scala 通过检查值是否在列表中来过滤Spark DataFrame，并使用其他条件

3条答案

相关问题

热门标签

最新问答