关闭。这个问题是基于意见的。它目前不接受答案。
**想改进这个问题吗？**更新这个问题，这样就可以通过编辑这篇文章用事实和引文来回答。
5年前关门了。
改进这个问题
我的雇主经营着一个hadoop集群，由于我们的数据很少大于1gb，我发现hadoop很少需要满足我们办公室的需要（这不是大数据），但我的雇主似乎希望能够说我们正在使用hadoop集群，所以我们正积极寻找需要使用我们的大花哨工具进行分析的数据。
我看到一些报道说任何小于5tb的东西都不应该使用hadoop。hadoop成为数据分析实用解决方案的神奇之处是什么？
1条答案
按热度按时间yx2lnoni1#
没有什么东西像魔法大小。hadoop不仅仅关注数据量，它还包括资源和处理的“成本”。与解析文本文件不同，处理一个图像可能需要大量内存和cpu。而haoop正被用于两者。
为了证明使用hadoop的合理性，您需要回答以下问题：
您的流程是否能够在一台机器上运行并按时完成工作？
您的数据增长有多快？
从面向客户的api中，5tb一天读取一次与每秒读取1gb十次不同。但如果您以前没有遇到过此类问题，很可能您不需要使用hadoop来处理1gb:）