使用spark的jdbc驱动程序查询ibm db2时，如何设置“for fetch only”？

zu0ti5jz  于 2023-02-04  发布在  DB2
关注(0)|答案(1)|浏览(132)

我有一些查询db2数据库的代码，如果我没有包含"for fetch only"，它就可以工作，但是如果我包含了，它就会返回一个错误。我想知道它是否已经完成了，或者我如何设置它。

connection_url = f"jdbc:db2://{host}:{port}/{database}:user={username};password={password};"

  df = (spark
    .read
    .format("jdbc")
    .option("driver", "com.ibm.db2.jcc.DB2Driver")
    .option("url",connection_url)
    .option("query",query)
    .load())
  return(df)

仅为获取而包含时出错：
com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error: SQLCODE=-104, SQLSTATE=42601, SQLERRMC=for;
具体为：

/databricks/spark/python/pyspark/sql/readwriter.py in load(self, path, format, schema, **options)
    162             return self._df(self._jreader.load(self._spark._sc._jvm.PythonUtils.toSeq(path)))
    163         else:
--> 164             return self._df(self._jreader.load())
    165 
    166     def json(self, path, schema=None, primitivesAsString=None, prefersDecimal=None,

/databricks/spark/python/lib/py4j-0.10.9.1-src.zip/py4j/java_gateway.py in __call__(self, *args)
   1302 
   1303         answer = self.gateway_client.send_command(command)
-> 1304         return_value = get_return_value(
   1305             answer, self.gateway_client, self.target_id, self.name)
   1306 

/databricks/spark/python/pyspark/sql/utils.py in deco(*a, **kw)
    115     def deco(*a, **kw):
    116         try:
--> 117             return f(*a, **kw)
    118         except py4j.protocol.Py4JJavaError as e:
    119             converted = convert_exception(e.java_exception)

/databricks/spark/python/lib/py4j-0.10.9.1-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)
    324             value = OUTPUT_CONVERTER[type](answer[2:], gateway_client)
    325             if answer[1] == REFERENCE_TYPE:
--> 326                 raise Py4JJavaError(
    327                     "An error occurred while calling {0}{1}{2}.\n".
    328                     format(target_id, ".", name), value)

Py4JJavaError: An error occurred while calling o4192.load.
: com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error: SQLCODE=-104, SQLSTATE=42601, SQLERRMC=for;
                 
;), DRIVER=4.25.13
    at com.ibm.db2.jcc.am.b6.a(b6.java:810)
    at com.ibm.db2.jcc.am.b6.a(b6.java:66)
    at com.ibm.db2.jcc.am.b6.a(b6.java:140)
    at com.ibm.db2.jcc.am.k3.c(k3.java:2824)
    at com.ibm.db2.jcc.am.k3.d(k3.java:2808)
    at com.ibm.db2.jcc.am.k3.a(k3.java:2234)
    at com.ibm.db2.jcc.am.k4.a(k4.java:8242)
    at com.ibm.db2.jcc.t4.ab.i(ab.java:206)
    at com.ibm.db2.jcc.t4.ab.b(ab.java:96)
    at com.ibm.db2.jcc.t4.p.a(p.java:32)
    at com.ibm.db2.jcc.t4.av.i(av.java:150)
    at com.ibm.db2.jcc.am.k3.al(k3.java:2203)
    at com.ibm.db2.jcc.am.k4.bq(k4.java:3730)
    at com.ibm.db2.jcc.am.k4.a(k4.java:4609)
    at com.ibm.db2.jcc.am.k4.b(k4.java:4182)
    at com.ibm.db2.jcc.am.k4.bd(k4.java:780)
    at com.ibm.db2.jcc.am.k4.executeQuery(k4.java:745)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.getQueryOutputSchema(JDBCRDD.scala:68)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:58)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation$.getSchema(JDBCRelation.scala:241)
    at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:36)
    at   org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:385)
    at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:356)
    at org.apache.spark.sql.DataFrameReader.$anonfun$load$2(DataFrameReader.scala:323)
    at scala.Option.getOrElse(Option.scala:189)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:323)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:222)
    at sun.reflect.GeneratedMethodAccessor704.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:380)
    at py4j.Gateway.invoke(Gateway.java:295)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:251)
    at java.lang.Thread.run(Thread.java:750)

我搜索了ibm的文档，堆栈溢出使用了我能想到的每一种可能的排列。
我已经阅读了有关设置隔离级别的文档，因为我在使用with ur运行查询时也会遇到失败，我想如果我能找出失败的原因，我就能理解for fetch only失败的原因了（答案是here），但它使事情变得非常清楚，因为我无法使用它为for fetch only找到类似的解决方案
我在ibm的网站上看过db2文档，也搜索过堆栈溢出，但我还是找不到。
编辑：运行和不运行的查询

    • 在dbvisualizer和pyspark中运行**
select
  id_number
from
  myschema.mytable
FETCH FIRST
  10 ROWS ONLY

另一个

select
  id_number
from
  myschema.mytable
    • 在dbvisualizer中运行，但不在pyspark中运行**
select
  id_number
from
  myschema.mytable
FETCH FIRST
  10 ROWS ONLY FOR FETCH ONLY

另一个

select
  id_number
from
  myschema.mytable
FOR FETCH ONLY

编辑2：
一个例子是我运行这段代码：

connection_url = f"jdbc:db2://{host}:{port}/{database}:user={username};password={password};"

  df = (spark
    .read
    .format("jdbc")
    .option("driver", "com.ibm.db2.jcc.DB2Driver")
    .option("url",connection_url)
    .option("query","""
    select
      id_number
    from
      myschema.mytable
    FOR FETCH ONLY
""")
    .load())
  return(df)

但它不起作用。然后我运行这段代码：

connection_url = f"jdbc:db2://{host}:{port}/{database}:user={username};password={password};"

  df = (spark
    .read
    .format("jdbc")
    .option("driver", "com.ibm.db2.jcc.DB2Driver")
    .option("url",connection_url)
    .option("query","""
    select
      id_number
    from
      myschema.mytable
    -- FOR FETCH ONLY
""")
    .load())
  return(df)

它确实工作了，然后我进入了dbvisualizer，并验证了两个版本的查询都工作，所以从我所知道的来看，这不是语法错误。
dbvisualizer显示数据库主版本为12，次版本为1，我认为它是z/os。我在pyspark和dbvisualizer中使用的是jdbc驱动程序版本4.25.13，该驱动程序是从maven here下载的
编辑3：
此查询在DB Visualizer中运行良好，但在pyspark中失败。

select
      id_number
    from
      myschema.mytable
    FOR READ ONLY
db2

1条答案

按热度按时间
quhf5bfb

quhf5bfb1#

好吧。我知道发生什么事了。Dr：Spark已经在做了**。
此处的文档说明：
用于将数据读入Spark的查询。指定的查询将被括在括号中，并用作FROM子句中的子查询。Spark还将为子查询子句分配别名。例如，Spark将向JDBC源发出以下格式的查询。
SELECT FROM（）Spark生成别名<user_specified_query>) spark_gen_alias
我很确定相关代码在这里：

val sqlText = options.prepareQuery +
      s"SELECT $columnList FROM ${options.tableOrQuery} $myTableSampleClause" +
      s" $myWhereClause $getGroupByClause $getOrderByClause $myLimitClause $myOffsetClause"

因此FOR FETCH ONLY属于子查询，这在DB2中是不允许的。
不过幸运的是，看起来好像设置了CONCUR_READ_ONLY jdbc选项，根据文档here，这相当于FOR READ ONLY
| JDBC设置|Db2®光标设置|IBM Informix®游标设置|
| - ------|- ------|- ------|
| CONCUR_只读|仅供阅读|仅供阅读|
| CONCUR_可更新|更新|更新|
| 保持光标超量委托|保持|保持|
| 仅向前类型|未指定SCROLL|未指定SCROLL|
| 类型_滚动_不敏感|不敏感滚动|滚动|
| 类型_滚动_敏感|SENSITIVE STATIC、SENSITIVE DYNAMIC或ASNSITIVE，具体取决于cursorSensitivity连接和数据源属性|不支持|
spark中的相关代码为：

stmt = conn.prepareStatement(sqlText,
        ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)

从这里
顺便说一句，即使没有在上面的代码中显式指定，CONCUR_READ_ONLY也是java sql中ResultSet的默认标志：
| 并发性|说明|
| - ------|- ------|
| 结果集. CONCUR_只读|创建只读结果集。这是默认设置|
| 结果集. CONCUR_可更新|创建可更新的结果集。|
source

赞(0）分享  回复(0）举报  2023-02-04
我来回答

相关问题

    查看更多
    微信公众号

    热门标签

    更多
    JavaquerypythonNode开发语言requestUtil数据库Table后端算法LoggerMessageElementParser

    最新问答

    更多
    • 蜀ICP备13028337号-1 大数据知识库 https://www.saoniuhuo.com © All rights reserved
    • 本站内容来源互联网,如果侵犯您的权益请联系我们删除, 联系方式：448109455@qq.com