我正在设计一个原型实时监测处理相当大的数额（>30g/天）的流式数字数据。我想用clojure来写这篇文章，因为这种语言似乎非常适合这种“观察者+状态机”系统，而这种系统最终可能会成为这样的系统。
两个主要的候选人，我已经找到了一个框架是薄板和风暴。还有riemann和pulse，但前者似乎更像是一个完整的解决方案，而不是一个框架，我宁愿现在还不致力于最终的设计；pulse的回购看起来有点不稳定？
我想知道的是；这两个项目优化了哪些类型的数据和工作流程？storm似乎更成熟，但lamina似乎更具可组合性和“clojureic”（我的背景是python，所以我倾向于对此给予高度评价）。
我从网上阅读中发现：
风暴似乎是大数据（流）集中，核心是直接java与clojure dsl。它似乎为许多现有数据源预先构建了处理程序。
lamina更像是一个轻量级的、可重用的组件，它完成了从编码到抽象的克隆任务，这意味着它可以被重用为其他事件处理系统的基础。数据源需要在代码中处理。
两者都有一组现成的聚合/拆分/计算库函数。lamina的graphviz集成是一个很好的触摸。
3条答案
按热度按时间w3nuxt5m1#
storm整合了集群管理和流中失败节点的处理，因为它的设计有点像“hadoop，但用于流”，据我所知，您的需求似乎更接近您的用例。
r7knjye22#
lamina似乎是一个不错的选择，但它似乎完全缺乏storm的致命特性——集群计算管理。storm集群将处理将计算分布到节点集群上的大部分脏活，使您只需关注业务逻辑，只要您将它放在storm框架中即可。据我所见，lamina提供了一个很好的方法来组织计算，但是如果你需要的话，你必须处理所有的细节。
q3qa4bjr3#
storm可能不是一个坏选择，但是“每天超过30gb”的数字数据不是大数据，而是小数据。任何一台半现代的计算机都可以用薄板在一个节点上轻松地处理如此多的数据。无论如何，您可能希望使用storm，这样一旦您进入了一个需要更多服务器的领域，您就可以轻松地进行扩展，但我想在设置storm时会遇到一些初始摩擦（以及在维护集群时会遇到一些持续的摩擦），如果您不必进行扩展，这些摩擦将被浪费。