大多数用于运行spark docker镜像的entrypoint.sh文件都包含一个名为SPARK_DRIVER_BIND_ADDRESS的变量，例如这个entrypoint.sh我找不到这个属性是用来做什么的，如何得到它的值？
6ioyuze21#
你可以在官方Spark文档中找到它是什么，引用：绑定侦听套接字的主机名或IP地址。此配置将覆盖SPARK_SPARK_IP环境变量（见下文）。它还允许将不同于本地地址的地址通告给执行器或外部系统。这在使用桥接网络运行容器时很有用。为了正常工作，驱动程序（RPC，块管理器和UI）使用的不同端口需要从容器的主机转发。https://spark.apache.org/docs/latest/configuration.html因此，我认为您必须将一个环境变量（如SPARK_DRIVER_BIND_ADDRESS=0.0.0.0）传递到容器中，以使其在没有错误的情况下启动。
SPARK_DRIVER_BIND_ADDRESS=0.0.0.0
1条答案
按热度按时间6ioyuze21#
你可以在官方Spark文档中找到它是什么，引用：
绑定侦听套接字的主机名或IP地址。此配置将覆盖SPARK_SPARK_IP环境变量（见下文）。
它还允许将不同于本地地址的地址通告给执行器或外部系统。这在使用桥接网络运行容器时很有用。为了正常工作，驱动程序（RPC，块管理器和UI）使用的不同端口需要从容器的主机转发。
https://spark.apache.org/docs/latest/configuration.html
因此，我认为您必须将一个环境变量（如
SPARK_DRIVER_BIND_ADDRESS=0.0.0.0）传递到容器中，以使其在没有错误的情况下启动。