我正在使用按需HDInsight群集在Azure Datafactory管道上运行spark脚本。我想将管道日志保存到Azure容器。正在尝试实现此:
Logging the errors to azure blob
但是,当我使用上面链接中提到的日志逻辑运行脚本时,我一直得到No模块名为azure_storage_logging.handlers。
我如何在我的spark脚本中为这个模块做一个“pip install”,我正在datafactory管道上运行?
或者任何其他替代方法来实现我的spark脚本中的日志逻辑?
1条答案
按热度按时间5ssjco0h1#
在代码的开头添加以下Python代码,以便安装必要的包。
字符串
代码:
型
输出单位:
service.log
型