我有一个mysql inventory表，它没有自动递增id，但是有复合键和最后修改日期（yyyy-mm-dd hh:mm:ss），并且会非常频繁地更新。它有大约1000万条记录的最近3年的数据。我想使用sqoop或其他方法将这些数据移动到hdfs。请建议一些方法。
jdg4fx2g1#
检查以下基于 --lastmodified ：我想在这里假设您可能有一个类似日期的列用于 --check-column 争论。
--lastmodified
--check-column
sqoop import \ --connect jdbc:mysql://<server>:3306/db \ --username=your_username \ -P \ --table=your_table \ --append \ --incremental lastmodified \ --check-column creation_date \ --last-value "YYYY-mm-DD HH:MM:SS.x" \ --split-by some_numeric_id_column \ --target-dir /user/dir \ --num-mappers <MAPPER#>
1条答案
按热度按时间jdg4fx2g1#
检查以下基于
--lastmodified：我想在这里假设您可能有一个类似日期的列用于--check-column争论。