pyspark和spark有什么区别?

carvr3hs  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(569)

我问了一个非常类似的问题,所以关于pyspark和spark的问题这个答案解释了pyspark安装中确实有spark。当我通过水蟒做这件事时会发生什么?还有,有没有其他方法可以在pycharm中运行这个程序?因为,我的jupyter笔记本运行得很好。
我对spark和pyspark从安装开始就很困惑。
我知道pyspark是一个使用python编写可伸缩spark脚本的 Package 器。我所做的只是通过水蟒,我安装了它。 conda install pyspark . 我可以在脚本中导入它。
但是,当我尝试通过pycharm运行脚本时,出现了这些警告,代码保持原样,而不是停止。 Missing Python executable 'C:\Users\user\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Python 3.9', defaulting to 'C:\Users\user\AppData\Local\Programs\Python\Python39\Lib\site-packages\pyspark\bin\..' for SPARK_HOME environment variable. Please install Python or specify the correct Python executable in PYSPARK_DRIVER_PYTHON or PYSPARK_PYTHON environment variable to detect SPARK_HOME safely. 它清楚地告诉我们需要设置这些环境变量
关于安装spark有很多资料,我浏览了很多资料并遵循以下步骤:
我只是不明白这一切之间的联系。这也许是一个很琐碎的问题,但我只是觉得很无助。
谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题