我有一组etl（在informatica中创建）作业，我想将其迁移到hadoop。我已经在hadoop环境中创建了源表和目标表。现在我可以编写一个配置单元查询来实现etl的逻辑，etl从源表中提取数据并写入目标表。但这是一个漫长的过程，因为我的etl工作很复杂（具有复杂的业务逻辑），所以开发和测试这些查询需要更长的时间。我想知道是否有更好的方法将我的etl代码迁移到hadoop？我听说我们可以用PandasDataframe代替Hive。有什么建议吗？