Apache Flume twitter 代理没有流式传输数据

Posted 2023-02-23

【中文标题】Apache Flume twitter 代理没有流式传输数据

【英文标题】：Apache flume twitter agent not streaming data

【发布时间】：2014-05-03 07:43:00

【问题描述】：

我正在尝试将 twitter 提要流式传输到 hdfs，然后使用 hive。但是第一部分，流数据和加载到 hdfs 不起作用并给出空指针异常。

这是我尝试过的。

1. 已下载 apache-flume-1.4.0-bin.tar。提取它。将所有内容复制到 /usr/lib/flume/。 在 /usr/lib/ 中，我将所有者更改为水槽目录的用户。 当我在 /usr/lib/flume/ 中执行 ls 命令时，它会显示

bin  CHANGELOG  conf  DEVNOTES  docs  lib  LICENSE  logs  NOTICE  README  RELEASE-NOTES  tools

2. 移至 conf/ 目录。我将文件 flume-env.sh.template 复制为 flume-env.sh 并将 JAVA_HOME 编辑到我的 java 路径 /usr/lib/jvm/java-7-oracle。

3. 接下来，我在同一 conf 目录中创建了一个名为 flume.conf 的文件，并添加了以下内容

TwitterAgent.sources = Twitter
TwitterAgent.channels = MemChannel
TwitterAgent.sinks = HDFS

TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
TwitterAgent.sources.Twitter.channels = MemChannel
TwitterAgent.sources.Twitter.consumerKey = <Twitter Application API key>
TwitterAgent.sources.Twitter.consumerSecret = <Twitter Application API secret>
TwitterAgent.sources.Twitter.accessToken = <Twitter Application Access token>
TwitterAgent.sources.Twitter.accessTokenSecret = <Twitter Application Access token secret>
TwitterAgent.sources.Twitter.keywords = hadoop, big data, analytics, bigdata, couldera, data science, data scientist, business intelligence, mapreduce, datawarehouse, data ware housing, mahout, hbase, nosql, newsql, businessintelligence, cloudcomputing

TwitterAgent.sinks.HDFS.channel = MemChannel
TwitterAgent.sinks.HDFS.type = hdfs
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://localhost:8020/user/flume/tweets/%Y/%m/%d/%H/
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text
TwitterAgent.sinks.HDFS.hdfs.batchSize = 1000
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 600

TwitterAgent.channels.MemChannel.type = memory
TwitterAgent.channels.MemChannel.capacity = 10000
TwitterAgent.channels.MemChannel.transactionCapacity = 100

我在 Twitter 上创建了一个应用程序。生成令牌并将所有密钥添加到上述文件中。 我作为消费者密钥添加的 API 密钥。

我从cloudera -files 下载了flume-sources jar，因为他们提到了in here。

4. 我将 flume-sources-1.0-SNAPSHOT.jar 添加到 /user/lib/flume/lib。。 p>

5. 启动 Hadoop 并完成以下操作

hadoop fs -mkdir /user/flume/tweets
hadoop fs -chown -R flume:flume /user/flume
hadoop fs -chmod -R 770 /user/flume

6. 我在 /user/lib/flume

中运行以下命令

/usr/lib/flume/conf$ bin/flume-ng agent -n TwitterAgent -c conf -f conf/flume-conf

它正在显示它正在显示的 JAR，然后退出。

当我检查 hdfs 时，里面没有文件。 hadoop fs -ls /user/flume/tweets 它什么也没显示。

在hadoop中，core-site.xml文件有如下配置

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:8020</value>
        <fina1>true</fina1>
    </property>
</configuration>

谢谢

【参考方案1】：

我运行以下命令，它成功了

bin/flume-ng agent –conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent

【讨论】：

您没有收到错误 java.lang.NoSuchMethodError: twitter4j.conf.Configuration.getRequestHeaders()Ljava/util/Map;在跑步的时候？因为这个方法在 API jar 中不存在。

我没有收到任何错误。它运行完美。我使用 apache 水槽 1.4.0

【参考方案2】：

我使用了这个命令，它正在工作

flume-ng agent --conf /etc/flume-ng/conf/ -f /etc/flume-ng/conf/flume.conf - Dflume.root.logger=DEBUG,console -n TwitterAgent