hadoop 使用apache flume获取Twitter流数据错误

yizd12fk  于 2022-11-21  发布在  Hadoop
关注(0)|答案(1)|浏览(101)

我正在处理一个与Hadoop和Flume相关的小任务。我尝试使用Flume获取Twitter数据,但出现以下错误
错误节点。抽象配置提供程序:由于配置java.lang时出错,接收器HDFS已被删除。定义的接收器和通道设置不兼容。接收器的批处理大小大于通道的事务处理容量。接收器:HDFS,批处理大小= 1000,通道MemChannel,事务处理容量= 100

Flume_推特.conf

TwitterAgent.sources = Twitter
TwitterAgent.channels = MemChannel
TwitterAgent.sinks = HDFS

TwitterAgent.sources.Twitter.type = org.apache.flume.source.twitter.TwitterSource
TwitterAgent.sources.Twitter.channels = MemChannel
TwitterAgent.sources.Twitter.consumerKey = XXXXXXXXX
TwitterAgent.sources.Twitter.consumerSecret = XXXXXXXXXX
TwitterAgent.sources.Twitter.accessToken = XXXXXXXXXXXXXXX
TwitterAgent.sources.Twitter.accessTokenSecret = XXXXXXXXXXXXX
TwitterAgent.sources.Twitter.keywords = RioCompetition, cpfc, Palace, London, Christmas, New Years

TwitterAgent.sinks.HDFS.type = hdfs 
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://localhost:9000/TwitterData
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream 
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text 
TwitterAgent.sinks.HDFS.hdfs.batchSize = 100
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0 
TwitterAgent.sinks.HDFS.hdfs.rollCount = 1000 
 
# Describing/Configuring the channel 
TwitterAgent.channels.MemChannel.type = memory 
TwitterAgent.channels.MemChannel.capacity = 100
TwitterAgent.channels.MemChannel.transactionCapacity = 100
  
# Binding the source and sink to the channel 
TwitterAgent.sources.Twitter.channels = MemChannel
TwitterAgent.sinks.HDFS.channel = MemChannel

Flume环境sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

FLUME_CLASSPATH=/home/mauli/Downloads/flume-sources-1.0-SNAPSHOT.jar

下面的命令用于运行文件
如果您有任何问题,请与我们联系。如果您有问题,请与我们联系。
我还尝试使用以下命令
/conf/flume_twitter.conf文件中的文件名和文件名。
我尝试了很多方法,几乎所有的引用都是堆栈溢出
请帮助我解决此错误
提前感谢!!!

相关问题