来自配置单元的单个文件输出

flvtvl50 于 2021-06-26 发布在 Hive

关注(0)|答案(1)|浏览(322)

我有一个配置单元表，它使用serde在azure blob上存储文件。

field 1 int,
field 2 string, 
field 3 struct
ROW FORMAT SERDE 
  'org.apache.hive.hcatalog.data.JsonSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

当我向表中插入5000条记录时，输出由azure存储上的5000个blob组成，有没有办法将输出存储为单个blob，或者甚至减少每个blob中有更多记录的blob的数量？

Hive azure-storage-blobs

来源：https://stackoverflow.com/questions/43641922/single-file-output-from-hive

1条答案

按热度按时间

好像是因为 HiveIgnoreKeyTextOutputFormat 使用ignore键特性来编写hdfs文件。请尝试指定其他输出格式，例如 HiveBinaryOutputFormat .

赞(0）回复(0）举报 2021-06-26

相关问题

微信公众号

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

Python pillow/PIL无法识别对象“imagedraw”的属性“textsize”
回答(3) 发布于 4个月前
python-3.x ImportError：无法从“typing_extensions”导入名称“deprecated”
回答(2) 发布于 5个月前
python-3.x 我正尝试使用密码学对字典进行加密
回答(1) 发布于 4个月前
在Python的IDLE中导入audiolazy的问题
回答(1) 发布于 4个月前
如何将Python程序中的数据添加到Markdown？
回答(2) 发布于 5个月前