hadoop—如何下载tar.gz并将其打包到hdfs，而不将整个文件下载到本地磁盘？

c7rzv4ha 于 2021-06-01 发布在 Hadoop

关注(0)|答案(1)|浏览(482)

我想将tar.gz文件从web直接提取到hdfs中。跳过下载到本地磁盘阶段，因为文件可能非常大。
这一切都来自简单的命令行脚本（bash、wget等）

hadoop hdfs tar command-line-interface

来源：https://stackoverflow.com/questions/49630824/how-to-download-tar-gz-and-uppack-it-to-hdfs-without-downloading-the-whole-file

1条答案

按热度按时间

好吧，看起来这个班轮很管用：

wget -O - http://...tar.gz | tar xfz - --to-stodout | hadoop dfs -put - /somepath

赞(0）回复(0）举报 2021-06-01

相关问题

微信公众号

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

Python pillow/PIL无法识别对象“imagedraw”的属性“textsize”
回答(3) 发布于 5个月前
python-3.x ImportError：无法从“typing_extensions”导入名称“deprecated”
回答(2) 发布于 5个月前
python-3.x 我正尝试使用密码学对字典进行加密
回答(1) 发布于 5个月前
在Python的IDLE中导入audiolazy的问题
回答(1) 发布于 5个月前
如何将Python程序中的数据添加到Markdown？
回答(2) 发布于 5个月前