我的raspberry pi 2在Windows10上表现不错，我可以使用.NETMF从互联网控制led。现在，我想把我的led（我将使用温度传感器而不是led）的开关信号发送到大数据上，用于存储、分析或检索。
在网上查过，找不到简单易行的方法。有谁能推荐一些关于“如何将实时数据发送到hadoop”的教程吗？我想了解整个架构来继续这个。我应该专注于哪些技术/事情来制作这样的poc？
注意：我想，我需要一些组合，比如mqtt-broker、spark或strom等等……但不确定，我如何才能把所有的东西放在一起，使之成为可能。如果我错了，请纠正我并帮助我。
1条答案
按热度按时间t5fffqht1#
您可以使用构成hadoop“生态系统”的几个组件之一，将信号作为事件流实时发送到hadoop。spark或storm等用于实时处理数据的系统只有在您想对流实时应用逻辑时才是必需的。如果您只想对事件进行批处理并将其存储在hdfs中，以便稍后通过批处理过程进行检索，则可以使用：
ApacheFlume。flume代理在一个或多个hadoop节点上运行，并侦听端口。raspberry pi将每个事件逐个发送到该端口。flume缓冲事件，然后将它们写入hdfshttps://flume.apache.org/flumeuserguide.html
Kafka。raspberry pi将事件逐个发送到kafka示例，该示例将它们存储为消息队列。另一个分布式批处理进程定期在hadoop上运行，以便将事件从kafka移动到hdfs。这个解决方案更健壮，但有更多的运动部件。