pyspark是否正常?

zzwlnbp8  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(296)

我真的需要你的帮助,我希望当我说我不想去调试我的代码时,不要听起来太苛刻。我希望和/或认为这是我的代码以外的东西,也许我不希望发生在Spark。
首先,让我给你一些历史和时间线,这样我可以把它放在透视图上(或者你可以跳到下面的问题;)。
我在python上开发了一段代码,在2015年10月使用spark1.5.1时使用了mllib,并且成功了。使用此软件包一段时间,直到2016年8月。不管出于什么原因,我的代码不再工作了,尽管我使用的是2015年10月至2016年8月期间使用的相同输入文件。我的解决方案是升级到spark 2.0.0。用相同的输入文件运行相同的代码,然后它又开始工作了[现在]两个月后,我需要做一个刷新,你猜怎么着,它不工作了。我回到了我在spark 1.5.1上使用的相同的输入文件,当它在2.0.0中成功运行时,仍然无法工作。
所以,我的问题是。。。spark是在后台做一些我不知道也应该知道的更新还是什么?如果是的话,我该怎么关掉它或者我可以关掉它?如果这种行为不是预期的(我认为不是),为什么会发生呢?
提前谢谢你的帮助。

wb1gzix0

wb1gzix01#

经过进一步的测试,这个帖子解决了这个问题->spark在使用als进行训练时给出了一个StackOverflower错误。我希望这是一个长期的解决方案,而不是一个补丁。

相关问题