登录
当前位置： 首页 > 知识库问答 >
问题：

Solr日志未直接推送到kafka,Solr无法连接到ZK

太叔灿
2023-03-14

我得到的警告和错误：

WARN  - 2015-01-19 12:09:25.545; org.apache.solr.cloud.Overseer$ClusterStateUpdater; Solr cannot talk to ZK, exiting Overseer main queue loop                                                                                                                             
INFO  - 2015-01-19 12:09:25.552; org.apache.solr.cloud.Overseer$ClusterStateUpdater; Overseer Loop exiting : 10.254.120.50:8900_solr 
WARN  - 2015-01-19 12:09:25.554; org.apache.solr.common.cloud.ZkStateReader$2; ZooKeeper watch triggered, but Solr cannot talk to ZK 
ERROR - 2015-01-19 12:09:25.560; org.apache.solr.cloud.Overseer$ClusterStateUpdater; could not read the data                         
org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired for /overseer_elect/leader

我的log4j.properties文件：

 solr.log=/home/solradmin/solr/latest/logs/                                                                   
    log4j.rootLogger=INFO, file, KAFKA                                                                                                   
    log4j.logger.KAFKA=INFO, file                                                                                                        
    log4j.logger.solr=INFO, KAFKA  

    log4j.appender.stdout=org.apache.log4j.ConsoleAppender                                                       
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout                                                  
    log4j.appender.stdout.layout.ConversionPattern=%5p [%t] (%F:%L) - %m%n 

    log4j.appender.KAFKA=kafka.producer.KafkaLog4jAppender                                                                       
    log4j.appender.KAFKA.layout=org.apache.log4j.PatternLayout                                                   
    log4j.appender.KAFKA.layout.ConversionPattern=%-5p: %c - %m%n                                                                        
    log4j.appender.KAFKA.BrokerList=localhost:9092                                                                                       
    log4j.appender.KAFKA.Topic=herpderp                                                                               

    log4j.appender.file=org.apache.log4j.RollingFileAppender                                                                             
    log4j.appender.file.MaxFileSize=100MB                                                                                                
    log4j.appender.file.MaxBackupIndex=9   
                                                                                                                                                                                                                                                                                                                log4j.appender.file.File=${solr.log}/solr.log                                                                                        
    log4j.appender.file.layout=org.apache.log4j.PatternLayout                                                                            
    log4j.appender.file.layout.ConversionPattern=%-5p - %d{yyyy-MM-dd HH:mm:ss.SSS}; %C; %m\n         
    log4j.logger.org.apache.solr=DEBUG                                                                                                   
    log4j.logger.org.apache.zookeeper=WARN                                                                                       
    log4j.logger.org.apache.hadoop=WARN

log4j文档没有将kafka列为支持的附加程序。然而，kafka文档显示log4j很容易配置。

log4j是否需要某种插件来支持Kafka？

我使用以下来源尝试了不同的配置:http://kafka.apache.org/07/quickstart.html和KafkLog4JAppender不将应用程序日志推送到kafka主题。

共有1个答案

何越
2023-03-14

确保根记录器不记录到自己。

#bad
log4j.rootLogger=INFO, file, KAFKA                                                                                                   
#good
log4j.rootLogger=INFO, file

我的完整配置

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p [%t] (%F:%L) - %m%n

log4j.appender.KAFKA=kafka.producer.KafkaLog4jAppender
log4j.appender.KAFKA.layout=org.apache.log4j.PatternLayout
log4j.appender.KAFKA.layout.ConversionPattern=%-5p: %c - %m%n
log4j.appender.KAFKA.BrokerList=kafka1.example.com:6667,kafka2.example.com:6667,kafka3.example.com:6667
log4j.appender.KAFKA.Topic=foobar
log4j.rootLogger=DEBUG,file

log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.MaxFileSize=100MB
log4j.appender.file.MaxBackupIndex=9

solr.log=/home/solradmin/solr/latest/logs
#- File to log to and log format
log4j.appender.file.File=${solr.log}/solr.log
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%-5p - %d{yyyy-MM-dd HH:mm:ss.SSS}; %C; %m\n
log4j.logger.org.apache.solr=DEBUG,KAFKA
log4j.logger.org.apache.zookeeper=WARN,KAFKA
log4j.logger.org.apache.hadoop=WARN

# set to INFO to enable infostream log messages
log4j.logger.org.apache.solr.update.LoggingInfoStream=OFF

Java应用程序

package nd.KafkaTest;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * Hello world!
 *
 */
public class App 
{
    public static void main( String[] args )
    {
        Logger logger = LoggerFactory.getLogger(App.class.getName());
        System.out.println( "Hello World!" );
        int i= 100;
        while (i>0)
        {

               logger.debug("Debugging!." + i); 
               logger.info("Exiting application." + i);
               i--;
        }
        System.out.println("here you go");

    }
}

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>nd</groupId>
  <artifactId>KafkaTest</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>KafkaTest</name>
   <url>http://maven.apache.org</url>
<build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        <configuration>
          <archive>
            <manifest>
              <addClasspath>true</addClasspath>
              <mainClass>logToKafka.App</mainClass>
            </manifest>
          </archive>
        </configuration>
      </plugin>
    </plugins>
  </build>
  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
   <dependency>
              <groupId>org.apache.kafka</groupId>
              <artifactId>kafka_2.9.2</artifactId>
              <version>0.8.2.1</version>
       </dependency>

       <dependency>
              <groupId>org.slf4j</groupId>
              <artifactId>slf4j-api</artifactId>
              <version>1.7.6</version>
       </dependency>
<!--        <dependency> -->
<!--               <groupId>org.slf4j</groupId> -->
<!--               <artifactId>slf4j-log4j12</artifactId> -->
<!--               <version>1.7.12</version> -->
<!--        </dependency>  -->
       <dependency>
              <groupId>log4j</groupId>
              <artifactId>log4j</artifactId>
              <version>1.2.17</version>
       </dependency>


  </dependencies>
</project>

./bin
jcl-over-slf4j-1.6.6.jar  jul-to-slf4j-1.6.6.jar  kafka_2.10-0.8.2.1.jar     log4j-1.2.16.jar  scala-library-2.9.2.jar  slf4j-log4j12-1.7.6.jar
jcl-over-slf4j-1.7.6.jar  jul-to-slf4j-1.7.6.jar  kafka-clients-0.8.2.1.jar  log4j.properties  slf4j-api-1.7.6.jar
 类似资料：
  • SolrJ从Java连接到Solr

    我正在尝试使用同一版本的SolrJ从Java代码连接到运行5.3.1的Solr服务器。我在Eclipse中不断收到一条消息，HttpSolrServer已被弃用，但在任何地方都找不到它已被取代的内容。有人知道我如何使用SolrJ和当前的东西从Java连接到Solr吗？SolrJ文档似乎都表明HttpSolrServer是受支持的方式，但Eclipse对此并不满意。

  • Solr 7.5日志到application Insights？

    然而，这使用的是使用log4j而不是log4j2的较旧版本的solr。 我尝试将insights错误下载到一个文件夹（/opt/solr/server/lib）中,并通过插件加载它们（日志提示JAR已加载--但我仍然得到一个关于log4j2.xml config的错误...说找不到insights附加器的类, 配置如下所示。 你知道我哪里错了吗？

  • 无法连接到和描述Kafka群集。Apache kafka连接

    我尝试了kafka-console-consumer.sh和kafka-console-producer.sh,它工作得很好。我能够看到生产者在消费者中发送的消息 1）我已经下载了s3连接器(https://docs.confluent.io/current/connect/kafka-connect-S3/index.html) 2）将文件解压缩到/home/ec2-user/plugins/

  • 推送网关无法连接到本地主机

    我试图测试一些普罗米修斯度量，通过推动到本地push网关。push网关docker映像正在运行，当我使用：http://localhost:9091/metrics时，我可以在浏览器中看到它 然而，当我运行python脚本来推送指标时，我得到一个404错误。 错误：urllib2。HTTPError:HTTP错误404:未找到 推送地址中有我遗漏的东西吗？我已尝试添加/度量，但存在相同的错误

  • aSmack连接到openfire。无法连接，openfire错误日志显示"无法识别SSL消息，明文连接？"

    嗨，我想连接到openfire服务器。使用以下代码： 它在connection.connect（）上失败；堆栈跟踪是： 在服务器端，消息是： 我试过在连接配置上使用不同的设置，比如玩安全模式。我也试过给它一个回调处理程序，但是从来没有调用过。 编辑：启用调试后，我得到以下信息：

  • Debian-Solr无法启动，日志文件被删除

    问题内容： 我刚刚从http://www.eu.apache.org/dist/lucene/solr/5.3.1/solr-5.3.1.tgz下载了最新版本的Solr 。 然后我用cd /solr-5.3.1/bin将其解压缩到/ bin /目录中，以使用 根据教程和自述文件，首次试用不需要更多。 等待长达30秒才能看到Solr在端口8983上运行 [-] 30秒后仍看不到Solr在8983上收

相关问答

aSmack连接到openfire。无法连接，openfire错误日志显示"无法识别SSL消息，明文连接？"无法在linux中的tomcat上运行solr（找不到404/solr）无法连接到spotify kafka容器，基本连接问题Solrj Hello world-/solr/update未找到无法连接到MySql

相关文章

Eclipse：无法连接到远程VM。拒绝连接。WebDriverError：断开连接：无法连接到渲染器无法在127.0.0.1:6379连接到Redis：连接被拒绝无法连接到Flask Web服务，连接被拒绝javax.mail.MessagingException：无法连接到SMTP主机？

相关阅读

连接到Oracle数据库Solr查询数据Solr检索数据Solr索引数据Solr核心（内核）

相关工具

solr-sqlApache Solrlucene-solrLucidGaze for SolrSpring Data Solr

相关文档

Windows 连接管理器 帮助文档Windows 连接管理器管理工具包 帮助文档Bilibili API 接口文档百度 OAuth 接入指南变现猫接入文档 v1.4
快捷导航： 新手教程 算法原理 架构设计 Java进阶 数据库进阶 大厂专栏 面试经验 编程笔记 编程问答 所有专题 文档资料 工具软件 电子书籍 小牛导航
在线工具： 房贷计算器 个税计算器 Linux命令查询 Json格式化 正则表达式 颜色转换 AES加解密 SHA1加密 MD5加密 毒鸡汤 字数统计 随机密码生成 进制转换 Base64编解码 励志句子
Copyright © 2019-2024 小牛知识库@xnip.cn. All Rights Reserved.