我得到了一个sqoop导出工作,用于将每个用户的唯一计数从hdfs导出到mysql。
以下是使用的表格:
CREATE TABLE IF NOT EXISTS user_uniques (
user_id int(10) unsigned NOT NULL,
uniques int(10) unsigned NOT NULL DEFAULT '0',
PRIMARY KEY (user_id)
) ENGINE=InnoDB
下面是使用的insert/update语句示例:
INSERT INTO user_uniques (user_id, uniques) VALUES (1,200), (2,300), (3,400) ON DUPLICATE KEY UPDATE uniques = VALUES(uniques)
我们每个语句插入100条记录,每个事务插入100条语句。但是吞吐量很低。
有没有其他的升级技术,我们可以依靠更好的性能?
谢谢!
暂无答案!
目前还没有任何答案,快来回答吧!