我们正在使用javarest服务从头开始构建一个新的电子商务门户，并计划使用mysql（目前，将来是oracle）。我们也在使用elasticsearch。我们正在将整个门户构建为微服务。我的问题是，我是否需要从一开始就关注分析（比如hadoop和hdfs集成）？
cuxqih211#
单一关系数据库工作正常，但扩展性较差。特别是对于大规模的web服务。您需要测量数据摄取量/大小，以确定是否需要hadoop（更具体地说是hdfs）在elasticsearch之上进行批量分析。但很可能不是。您可以使用一个独立的apachespark集群来直接运行elasticseach。但是，您也可以使用kafka作为jdbc兼容数据库之间的消息总线，并加载elasticsearch索引。spark流媒体与Kafka的合作非常好。如果您想将hadoop添加到混合中，您可以从kafka中提取相同的数据来填充hdfs目录。有很多博客都在谈论通过Kafka进行的微服务通信
1条答案
按热度按时间cuxqih211#
单一关系数据库工作正常，但扩展性较差。特别是对于大规模的web服务。
您需要测量数据摄取量/大小，以确定是否需要hadoop（更具体地说是hdfs）在elasticsearch之上进行批量分析。但很可能不是。您可以使用一个独立的apachespark集群来直接运行elasticseach。
但是，您也可以使用kafka作为jdbc兼容数据库之间的消息总线，并加载elasticsearch索引。spark流媒体与Kafka的合作非常好。
如果您想将hadoop添加到混合中，您可以从kafka中提取相同的数据来填充hdfs目录。
有很多博客都在谈论通过Kafka进行的微服务通信