何时使用hadoop,何时使用elasticsearch for group by/facets?

cnjp1d6j  于 2021-06-21  发布在  Pig
关注(0)|答案(1)|浏览(196)

我已经下载了我的收件箱,我正在用pig和hadoop处理我的电子邮件。我用pig和wonderdog在elasticsearch中索引了这些电子邮件。
现在,我正在为收件箱中的每个电子邮件地址创建一个网页,以显示这些地址发送的邮件。
我可以用两种方法来做:
1) 按pig中的电子邮件地址分组,存储到mongodb(或elasticsearch)。
2) 查询elasticsearch以使用facets从电子邮件索引中为我返回此列表。
哪一个是答案,取决于什么?

hlswsv35

hlswsv351#

选项1-按pig中的电子邮件地址分组,存储到mongodb(或elasticsearch):
您正在预计算结果并存储到mongodb或elasticsearch。如果数据很大,而且不经常更新,这是一件好事。
选项2-使用facets查询elasticsearch从电子邮件索引中为我返回此列表。
如果数据更新频繁,甚至对于小数据集,最好使用此选项,因为查询数据(在正确的字段上建立索引)将获得快速结果,并且您不必依赖预处理。

相关问题