使用apache drill查询压缩的gz文件

m3eecexj  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(250)

我有apachedrill查询未压缩的json文件没有问题,但我正在与gz压缩的json档案斗争。
我的理解是,drill使用hadoop文件连接器,我认为它有能力处理gz文件,但drill的json查询功能似乎总是锁定在.json文件中。
我试过这样做:

"formats": {
  "gz": {
    "type": "json"
  }
}

但是,收到一个找不到文件的错误。我也试过这个:

"formats": {
  "json": {
    "type": "json",
    "extensions": [
       "gz"
     ]
  }
}

这将导致“无效的jsonMap”错误。

cclgggtu

cclgggtu1#

这是一个已在最新的主分支(0.8)上修复的错误:https://issues.apache.org/jira/browse/drill-1871
我的测试证实一切正常,仍然看到问题,但得到了一些结果。

相关问题