当前位置: 首页 > 知识库问答 >
问题:

水槽solrSink,无错误,但不会将数据摄取到Solr

柯立果
2023-03-14

我正在使用Flume索引文本文档,我没有看到任何错误或警告消息,但数据没有被摄取到Solr日志级别,Solr和Flume都设置为TRACE,ALL

Flume version : 1.5.2.2.3
Solr Version : 5.5

**Config files are as below**

   **Flume Config :**

agent.sources = SpoolDirSrc
agent.channels = FileChannel
agent.sinks = SolrSink

# Configure Source
agent.sources.SpoolDirSrc.channels = fileChannel agent.sources.SpoolDirSrc.type = spooldir 

agent.sources.SpoolDirSrc。spoolDir=/home/flume/source_emails agent.sources.SpoolDirSrc。basenameHeader=true agent.sources.SpoolDirSrc。fileHeader=true agent.sources.SpoolDirSrc。反序列化程序=org.apache.flume.sink.solr.morphline。BlobDeserializer$Builder agent.channels.FileChannel。类型=文件agent.channels.FileChannel。容量=10000 agent.sinks.SolrSink。类型=org.apache.flume.sink.solr.morphline。MorphlineSolrSink代理。下沉。SolrSink。morphlineFile=/etc/flume/conf/morphline。conf agent.sinks.SolrSink公司。批量大小=1000 agent.sinks.SolrSink。batchDurationMillis=2500个agent.sinks.SolrSink。channel=文件channel agent.sinks.SolrSink。morphlineId=morphline 1代理.sources.SpoolDirSrc。channels=FileChannel agent.sinks.SolrSink。通道=文件通道

"
形态线配置

solrLocator: {
collection : gsearch

zkHost : "codesolr-as-r3p:21810,codesolr-as-r3p:21811,codesolr-as-r3p:21812"
}
morphlines :
[
  {
    id : morphline1
    importCommands : ["org.kitesdk.**", "org.apache.solr.**"]
    commands :
    [
      { detectMimeType { includeDefaultMimeTypes : true } }
      {
        solrCell {
          solrLocator : ${solrLocator}
          captureAttr : true
          lowernames : true
          capture : [_attachment_body, _attachment_mimetype, basename, content, content_encoding, content_type, file, meta]
          parsers : [ { parser : org.apache.tika.parser.txt.TXTParser } ]
         }
      }
      { generateUUID { field : id } }
      { sanitizeUnknownSolrFields { solrLocator : ${solrLocator} } }
      { logDebug { format : "output record: {}", args : ["@{}"] } }
      { loadSolr: { solrLocator : ${solrLocator} } }
    ]
  }
]

Please help me what could be the issue
Regards,
~Sri

共有1个答案

戴高远
2023-03-14

通常在日志中你可以看到更详细的错误,你可以粘贴跟踪?

可能是morphines找不到您的solr配置,您可以在morphines.conf中添加此属性

SolrHomeDir:"/your_solr_config_files"

我希望这是你的帮助

 类似资料:
  • 我的项目有一个要求。我必须使用水槽收集日志数据,并且必须将数据输入到hive表中。 在这里,我需要将放置在文件夹中的文件收集到hdfs中,我正在使用Spooldir进行。在此之后,我需要处理这些文件并将输出放在hive文件夹中,以便立即查询数据。 我是否可以使用 sink 处理源文件,使放置在 hdfs 中的数据已经处理为所需的格式。? 谢了,萨希

  • 我试图设置一个flume代理来从syslog服务器获取数据。基本上,我在所谓的服务器(server1)上设置了一个syslog服务器来接收syslog事件,然后将所有消息转发到安装了flume代理的不同服务器(server2 ),最后所有数据将被汇聚到kafka集群。 水槽配置如下。 但是,不知何故,logsys并没有注入水槽药剂。 征求您的意见。

  • 我想从IBM MQ中读取数据,并将其放入HDFs。 查看了 JMS 的水槽源,似乎它可以连接到 IBM MQ,但我不明白所需属性列表中的“destinationType”和“destinationName”是什么意思。有人可以解释一下吗? 还有,我应该如何配置我的水槽代理 flumeAgent1(在与MQ相同的机器上运行)读取MQ数据——flumeAgent2(在Hadoop集群上运行)写入Hdf

  • 我试图配置水槽与HDFS作为汇。 这是我的flume.conf文件: 我的hadoop版本是: 水槽版本是: 我已将这两个jar文件放在flume/lib目录中 我将hadoop common jar放在那里,因为在启动flume代理时出现以下错误: 现在代理开始了。这是启动日志: 但是当一些事件发生时,下面的错误出现在水槽日志中,并且没有任何东西被写入hdfs。 我缺少一些配置或jar文件?

  • 我正在尝试使用hdfs水槽运行水槽。hdfs在不同的机器上正常运行,我甚至可以与水槽机器上的hdfs交互,但是当我运行水槽并向其发送事件时,我收到以下错误: 同样,一致性不是问题,因为我可以使用hadoop命令行与hdfs交互(水槽机不是datanode)。最奇怪的是,在杀死水槽后,我可以看到tmp文件是在hdfs中创建的,但它是空的(扩展名仍然是. tmp)。 关于为什么会发生这种情况的任何想法

  • 我正在尝试使用apache flume将数据加载到hbase中。当我使用flume将数据传输到hadoop时,它工作得很好。但是当我启动flume代理将数据加载到hbase时,我得到了NoClassDefFoundError。 这是我的水槽配置: flume-env.sh 代理4.conf