我们有一个需要上诉的要求 ORC 文件夹。我试着用谷歌搜索，但没有结果。也 org.apache.hadoop.hive.ql.io.orc.WriterImpl 的 ORC 没有append api。有没有附加orc文件(更具体地说是使用java）
ORC
org.apache.hadoop.hive.ql.io.orc.WriterImpl
j91ykkif1#
orc数据文件被细分成独立的条带；每个条带都可以在单个原子步骤中创建。详见官方文件。我不相信你可以直接附加到一个现有的文件的飞行。这意味着在写入时留下一个损坏的条带（因此是一个损坏的文件），以防作业崩溃。但你可以创建一个新的orc数据文件（根据实际数据量和。 orc.stripe.size 性能）每个减速器然后使用hivev0.14及更高版本“连接”这些数据文件和现有文件
orc.stripe.size
1条答案
按热度按时间j91ykkif1#
orc数据文件被细分成独立的条带；每个条带都可以在单个原子步骤中创建。详见官方文件。
我不相信你可以直接附加到一个现有的文件的飞行。这意味着在写入时留下一个损坏的条带（因此是一个损坏的文件），以防作业崩溃。
但你可以
创建一个新的orc数据文件（根据实际数据量和。
orc.stripe.size性能）每个减速器然后使用hivev0.14及更高版本“连接”这些数据文件和现有文件