springml salesforce,无法从org.codehaus.stax2.io.stax2创建xmlstreamreader

wpcxdonn  于 2021-07-14  发布在  Spark
关注(0)|答案(1)|浏览(273)

我在用https://github.com/springml/spark-salesforce 查询salesforce api。对于标准查询,它工作得很好,但是当我添加他们列出的批量选项时,它会遇到下面列出的错误。让我知道如果我犯了任何基本的错误,根据他们的文件,我相信这是正确的方法
尝试对我们的api使用批量查询。使用下面的soql语句

val account_soql = "select industry from account"

当附加bulk标志并将对象设置为account时,出现以下错误

Exception in User Class: java.lang.UnsupportedOperationException : Cannot create XMLStreamReader or XMLEventReader from a org.codehaus.stax2.io.Stax2ByteArraySource

我尝试了以下两种源代码查询,并看到了相同的问题

val account_data = sparkSession.read.format("com.springml.spark.salesforce").option("soql",account_soql).option("username", "username").option("password","password").option("sfObject","account").option("bulk","true").load()

val account_data = sparkSession.read.format("com.springml.spark.salesforce").option("soql",account_soql).option("username", "username").option("password","password").option("multiLine","true").option("sfObject","account").option("inferSchema","true").option("bulk","true").option("version","latest-version").load()

我正在使用以下api版本

force-partner-api-40.0.0.jar
force-wsc-40.0.0.jar
salesforce-wave-api-1.0.9.jar
spark-salesforce_2.11-1.1.1.jar

这些都来源于本文
https://aws.amazon.com/blogs/big-data/extracting-salesforce-com-data-using-aws-glue-and-analyzing-with-amazon-athena/
我确实尝试更新到spark salesforce的最新版本(2021年2月),但出现以下错误

Command failed with exit code 1 - INFO ApplicationMaster: Final app status: FAILED, exitCode: 15, (reason: User class threw exception: java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V)

让我知道如果我可以提供任何其他细节,以协助

fcg9iug3

fcg9iug31#

这是stax2 librery add woodstox-core-asl-4.4.1.jar文件在glue job configurarion的dependet jars中的问题,它将解决此错误。

相关问题