从apache pig读取数据到r

yfwxisqw  于 2021-06-25  发布在  Pig
关注(0)|答案(1)|浏览(313)

r有没有办法通过网络读取apachepig中存储的数据(类似于r如何通过网络连接到数据库并访问存储在数据库中的数据。)
或者,如果无法做到这一点,是否可以通过java、python或任何其他语言来“管道化”数据?示例:java连接到apache pig和r,允许数据从apache pig到java再到r。

s71maibg

s71maibg1#

我想是吧 STREAM 命令对你有用。你能试一下下面的参考文件吗。
http://pig.apache.org/docs/r0.13.0/basic.html#stream
http://chimera.labs.oreilly.com/books/1234000001811/ch06.html#stream
我不懂r编程,所以我试过用基本的ruby脚本,效果很好。
输入

This is apache pig

Pig手稿:

A = LOAD 'input';
B = STREAM A THROUGH `myruby.rb`;
DUMP B;

我的Ruby.rb


# !/usr/bin/env ruby

STDIN.each do |line|
line.split.each do |word|
  puts word
end
end

输出:

(This)
(is)
(apache)
(pig)

相关问题