有时我想表演一些简单的轻量mapreduce。”“simple”意味着它使用非常简单的算法，“light-weight”意味着我可以用一些脚本语言（或类似的语言）实现它。
我当前的任务是从本地文件系统的目录中获取文件中的数据，进行最少的处理，并将其写入hbase。hadoop流可以从本地文件系统读取数据。但是它不能写入hbase。hadoop中有hbase流项目声明了这样的功能。不幸的是我没能让它工作。我想，这是因为上一次对图书馆存储的承诺是在2008年。我的任务看起来很普通，我想知道为什么自2008年以来hadoop hbase流媒体库没有任何更新。我想，现在有别的方法可以达到我的目的。你能告诉我这些方法是什么吗？
1条答案
按热度按时间x0fgdtte1#
我一直在写mr，它将本地文件系统中的数据加载到hadoop旧版本（hadoop1，我不记得是哪个版本）的hbase中，现在我不得不重写它，因为hadoop库完全不同（目前使用的是cdh5.0.1）。所以我并不奇怪hadoop hbase流媒体不能工作。但我发现（对我来说）将数据从本地目录上传到hbase的最简单和最简单的方法是使用pig。我试过这个例子，它非常适合我：
使用pig将数据批量加载到hbase中
不幸的是，我不知道还有什么更简单的解决办法。。。祝你好运，希望对你有点帮助