我有几个传感器测量温度，湿度和空气质量。数据通过物联网平台收集并存储到cassandra集群。为了将数据从cassandra集群分发到所有其他应用程序，我用java创建了restapi。
数据收集脚本是用c和python编写的。而restapi是java的。
我的问题如下。
我想过滤我的原始传感器数据，以排除值，如高温和低温等，以便有尽可能低的故障率。我已经读过kalman滤波，但我不希望它实时发生，我更喜欢直接在cassandra节点上过滤我的数据。
我现在最好的猜测是创建一个使用for ex.java的服务，并使用时间间隔过滤数据，排除不需要的值。
例如，一个每天触发一次的服务，它将排除自上一条记录以来最后一次激活时的所有“坏”值。
有没有关于采取这种方法的建议？或者有人有更好的建议吗？或者更好的一些出版物，可以指导我通过这个过程。
提前谢谢。
1条答案
按热度按时间wkyowqbh1#
这在很大程度上取决于表的设计——什么是分区键等等。
这个用例是很常见的，对于这样的任务，最好使用spark和spark cassandra连接器来最有效地读取数据。如果您不想使用spark，那么在实现服务时需要非常小心—不要执行类似的操作
select * from table，因为它会杀死集群。p、 如果您提供其他信息，我可以扩展答案：
包含信息的表的架构
您将在该服务中执行哪些操作。