我们有一个运行cdh5.0.2的四个datanodes集群，通过cloudera manager parcels安装。为了将1300万用户的行导入hbase，我们编写了一个简单的python脚本并使用hadoop流jar。它可以正常工作，最多10万行。然后。。。然后，一个接一个地，所有数据节点都会崩溃，并显示相同的消息：

The health test result for REGION_SERVER_GC_DURATION  has become bad: 
Average time spent in garbage collection was 44.8 second(s) (74.60%) 
per minute over the previous 5 minute(s). 
Critical threshold: 60.00%.

按照网上的建议（例如[1]、[2]、[3]）解决问题的任何尝试都不会导致接近解决方案的任何结果。”玩“java堆大小”是没有用的。唯一“解决”这个问题的方法是将区域服务器的垃圾收集持续时间监视周期从5'增加到50'。可以说是一个肮脏的解决办法。
我们现在没有人力为gc使用创建监视器。我们最终会这样做，但我想知道，将1300万行导入hbase会导致所有区域服务器崩溃的可能性有多大。有没有干净的解决办法？
编辑：
datanodes上的jvm选项包括： -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled datanodes是运行centos 6.5的物理机器，每个都有32gb ram和1quadcore，2ghz，30mb缓存。
下面是我们运行的python脚本的摘录。我们填充两个表：一个表的唯一用户id为rowkey，一个表的columnfamine包含用户的信息，另一个表的所有信息都是我们可能希望作为rowkey访问的。

# !/usr/bin/env python2.7

import sys
import happybase
import json
connection = happybase.Connection(host=master_ip)
hbase_main_table = connection.table('users_table')
hbase_index_table = connection.table('users_index_table')
header = ['ID', 'COL1', 'COL2', 'COL3', 'COL4']
for line in sys.stdin:
    l = line.replace('"','').strip("\n").split("\t")
    if l[header.index("ID")] == "ID":
        #you are reading the header
        continue
    for h in header[1:]:
        try:
            id = str(l[header.index("ID")])
            col = 'info:' + h.lower()
            val = l[header.index(h)].strip()
            hbase_table.put(id_au_bytes, {
                    col: val
                    })
            indexed = ['COL3', 'COL4']
            for typ in indexed:
               idx = l[header.index(typ)].strip()
               if len(idx) == 0:
                   continue
               row = hbase_index_table.row(idx)
               old_ids = row.get('d:s')
               if old_ids is not None:
                   ids = json.dumps(list(set(json.loads(old_ids)).union([id_au])))
               else:
                   ids = json.dumps([id_au])
               hbase_index.put(idx, {
                       'd:s': ids,
                       'd:t': typ,
                       'd:b': 'ame'
                       })
       except:
           msg = 'ERROR '+str(l[header.index("ID")])
           logging.info(msg, exc_info=True)