在web应用程序中使用ApacheLivy(flask)

aiazj4mn  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(259)

我正在构建一个web应用程序,它有一些实时机器学习功能。我想使用Sparkmllib来分析数据,并给我在应用程序中的实时结果。然后我找到了利维,我认为这可能是适合我的项目。我阅读了livy的文档,我明白我可以像这样将代码片段发送给livy的spark cluster

data = {'code': textwrap.dedent("""
val NUM_SAMPLES = 100000;
val count = sc.parallelize(1 to NUM_SAMPLES).map { i =>
  val x = Math.random();
  val y = Math.random();
  if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _);
println(\"Pi is roughly \" + 4.0 * count / NUM_SAMPLES)
""")}

我的情况是,我的应用程序后端有大量数据(数千行json格式的数据),我想用spark进行分析。我的问题是我怎样才能把数据传给斯帕克和利维?我找不到任何大数据集的工作示例。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题