有没有办法从pyspark调用scala lamda函数?

soat7uwm  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(210)

我在scala中定义了一个lambda函数。

package com.stack.flow.info

object ObjForExp{

val getColumn: String => Column = (columnName) =>  {
    col(columnName)
  }

def cool(t:String):Unit={
    print(t)
}

}

我想用pyspark来称呼它。
我知道我可以把jar当作礼物递给你。

pyspark --jars sample.jar

另外,我知道我可以调用 cool 作为。

sc._jvm.com.stack.flow.info.ObjForExp.cool("What Ever")

但是有没有一种方法可以调用scala lambda函数到pyspark,例如。 getColumn ?
我知道的是,py4j实际上是一个spark java代码,所以有可能py4j不知道如何处理。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题