从rdd中选择一列(array[string])

368yc8dk  于 2021-05-24  发布在  Spark
关注(0)|答案(1)|浏览(579)

我的输入数据是 RDD[Array[String]] 类型,值如下所示:

["hello1", "world1", "test1", "Awww  that's bad."]
["hello2", "world2", "test2", "This is another test. I can't make it"]
["hello3", "world3", "test3", "no  it's not behaving at all. i'm mad."]
["hello4", "world4", "test4", "I need a  hug"]

我想要最后一个专栏,所以我做了 inputdata.map(f => f(3)) . 奇怪的是,我能得到输出 RDD[String] 对于某些行,如预期的那样,但是对于某些行,它被截断了。
这样地:

"Awww"
"This is another test. I can't make it"
"no"
"I need a  hug"

我的第一排和第三排怎么了?
编辑:
另外,我使用以下方法打印输出:

output.take(4).foreach(println)
stszievb

stszievb1#


在上面的示例中,您可以使用collect甚至通过打印它来获得正确的输出。
编辑:
"

相关问题