如何为“大数据”分析项目设置架构?

vmjh9lq9  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(334)

我和我的一个朋友正在上大四,很快就要开始一个大四的项目了。我们的想法是做一个数据分析和数据可视化项目。我们的项目包括读取每2分钟更新一次的csv文件,解析该数据,然后将其存储在数据库中。一旦数据被存储,我们就要对其进行分析,并提供一个api,通过它我们可以访问数据,以某种方式进行可视化。我们的最终目标是构建一个android应用程序,以用户友好的格式显示csv和分析中的一些原始数据。我和另一个cs专业的学生谈过,他解释说我需要几个不同的服务器来完成这个任务:一个用于存储,另一个用于分析,另一个用于某种类型的队列,这样可以确保在我们进行刮取和分析时,事情不会变得一团糟。问题是,我真的不知道从哪里开始。我以前做过一些关于sql数据库和php前端的工作,但是没有涉及多个服务器。我听说过hadoop这样的大数据项目可以使用的工具,但我不确定它到底适合哪种类型。如果有人能给我指出某种资源来解释,或者自己解释,我将如何开始构建这种项目,那将是很棒的!

carvr3hs

carvr3hs1#

因为你对这些东西没有太多的经验,你可能会想看看像cloudera这样的项目。特别是他们的资源页面有一个很好的视频和文章集。
另一个可靠信息源(我个人使用)是通过单击堆栈溢出 tag 选择 votes 选项。关于大量大数据主题的许多好问题已经存在。

相关问题