spark在zeppelin select表单中获取列作为序列使用

wpcxdonn 于 2021-07-14 发布在 Spark

关注(0)|答案(1)|浏览(258)

我有一个Dataframe，我想从中选择列作为seq，以便在齐柏林飞艇选择表单中使用。
选择窗体的工作原理如下：

选择表单要求

required: Iterable[(Object, String)]

我得到的是

val test_seq = data.select("file", "id").collect().map(x => (x.get(0), x.get(1).toString)).toSeq

在形式上

found: Seq[(Any, String)]

在表单中不可用。我还没有弄清楚如何以正确的格式将列从Dataframe中取出。

1条答案

您可以尝试从rdd获取对象和字符串的元组，并使用 toIterable 转换为 Iterable[(Object, String)] :

val testIter = data.select("file", "id").collect().map(
    x => (x.getAs[Object](0), x.getAs[String](1))
).toIterable