背景

我最初的问题是为什么要使用 DecisionTreeModel.predict 内部Map函数引发异常？与如何用mllib在spark上生成（原始标签，预测标签）元组有关？
当我们使用scalaapi时，我们推荐一种获得 RDD[LabeledPoint] 使用 DecisionTreeModel 就是简单地Map过去 RDD :

val labelAndPreds = testData.map { point =>
  val prediction = model.predict(point.features)
  (point.label, prediction)
}

不幸的是，pyspark中类似的方法并不那么有效：

labelsAndPredictions = testData.map(
    lambda lp: (lp.label, model.predict(lp.features))
labelsAndPredictions.first()

异常：似乎您正试图从广播变量、操作或转换引用sparkcontext。sparkcontext只能在驱动程序上使用，不能在工作程序上运行的代码中使用。有关更多信息，请参阅spark-5063。
而不是官方文件建议如下：

predictions = model.predict(testData.map(lambda x: x.features))
labelsAndPredictions = testData.map(lambda lp: lp.label).zip(predictions)

这是怎么回事？这里没有广播变量，scalaapi定义了 predict 具体如下：

/**
 * Predict values for a single data point using the model trained.
 *
 * @param features array representing a single data point
 * @return Double prediction from the trained model
 */
def predict(features: Vector): Double = {
  topNode.predict(features)
}

/**
 * Predict values for the given data set using the model trained.
 *
 * @param features RDD representing data points to be predicted
 * @return RDD of predictions for each of the given data points
 */
def predict(features: RDD[Vector]): RDD[Double] = {
  features.map(x => predict(x))
}

因此，至少乍一看，从行动或转变中召唤并不是问题，因为预测似乎是一种局部操作。

解释

经过一番挖掘，我发现问题的根源是 JavaModelWrapper.call 从decisiontreemodel.predict调用的方法。it访问 SparkContext 调用java函数需要：

callJavaFunc(self._sc, getattr(self._java_model, name), *a)

问题

万一 DecisionTreeModel.predict 这里有一个推荐的解决方法，所有必需的代码都已经是scalaapi的一部分了，但是有没有什么优雅的方法来处理这样的问题呢？
我现在唯一能想到的解决方案是非常重的：
通过隐式转换扩展spark类或添加某种 Package 器，将所有内容下推到jvm
直接使用py4j网关