我正在从其他脚本复制文件到hdfs。我不知道文件传输是否完成，因为其他系统正在向hdfs传输文件。我想在文件复制完成后立即执行下一个操作。如何执行此操作？
wribegjk1#
当您有一系列命令时，最好开发一个管道，如果需要，它还允许阻塞任何错误处理例程或警报例程。您是否在类似的生态系统中尝试过apacheoozie/airflow或其他工具？使用这样一个工具集，您可以将第一个任务定义为copy，然后再定义行中的任何其他任务。
1条答案
按热度按时间wribegjk1#
当您有一系列命令时，最好开发一个管道，如果需要，它还允许阻塞任何错误处理例程或警报例程。
您是否在类似的生态系统中尝试过apacheoozie/airflow或其他工具？
使用这样一个工具集，您可以将第一个任务定义为copy，然后再定义行中的任何其他任务。