通过nutch1.8解析页面时使用hbase保存数据

2exbekwf  于 2021-06-09  发布在  Hbase
关注(0)|答案(0)|浏览(197)

我正在使用nutch1.8来抓取页面,并希望保存 parseText 解析时插入hbase。所以我写了一个过滤器,但是当保存 parseText ,我得到了这个错误:
尝试连接到主线程时线程被中断。

static {
        conf = HBaseConfiguration.create();
    }

public static void creatTable(String tableName, String[] familys) throws Exception {

        HBaseAdmin admin = new HBaseAdmin(conf);
        if (admin.tableExists(tableName)) {
            System.out.println("table already exists!");
        } else {
            HTableDescriptor tableDesc = new HTableDescriptor(tableName);
            for (int i = 0; i < familys.length; i++) {
                tableDesc.addFamily(new HColumnDescriptor(familys[i]));
            }
            admin.createTable(tableDesc);
            System.out.println("create table " + tableName + " ok.");
        }
    }

这段代码在unittest上运行得很好,但与nutch集成时会出现错误。有人能帮忙吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题