当前位置: 首页 > 知识库问答 >
问题:

Apache Drill在关键云流上的部署

武博艺
2023-03-14

我使用Apache Drill创建了一个spring-boot maven项目,并且能够成功地从文件中查询数据。当我尝试在PCF上部署项目时,每次我的实例崩溃时都声明有多个slf4j绑定。

@SpringBootApplication
public class Drill {
    static final String JDBC_DRIVER = "org.apache.drill.jdbc.Driver";
    public static final String DRILL_JDBC_LOCAL_URI = "jdbc:drill:drillbit=xx.xx.xxx.xx;

    public static void main(String[] args) throws IOException {
        SpringApplication.run(Drill.class, args);
        boolean result = false;
        try {
            result = sqlResult();
        } catch (FileNotFoundException e) {
            //TODO Auto-generated catch block
            e.printStackTrace();
        }
        System.out.println(result);
    }

    public static boolean sqlResult() throws IOException {
        try {
            Class.forName(JDBC_DRIVER);
        } catch (ClassNotFoundException ce) {
            ce.printStackTrace();
        }
        long d = 1;
        try {
            Connection conn = DriverManager.getConnection(DRILL_JDBC_LOCAL_URI, "usrname","passwrd");
            Statement stmt = conn.createStatement();
            String sql = "select * from dfs.`/Users/system.user/Desktop/123.csv`";
            ResultSet rs = stmt.executeQuery(sql);
            long currentTimeMillis = System.currentTimeMillis();
            while (rs.next()) {     
                System.out.println("columns: "+rs.getString(1));
                d++;
            }
            long currentTimeMillisEnd = System.currentTimeMillis();
            System.out.println(" start: "+currentTimeMillis+" end "+currentTimeMillisEnd +" size: "+d);
        rs.close();
        } catch (Exception se) {
            System.out.println("last count is: "+d);
            se.printStackTrace();
        }

        return false;
    }
}

pom.xml:<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>1.5.6.RELEASE</version>
    <relativePath /> <!-- lookup parent from repository -->
</parent>

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <org.slf4j-version>1.7.5</org.slf4j-version>
    <java.version>1.8</java.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-api</artifactId>
            </exclusion>
            <exclusion>
                <artifactId>jcl-over-slf4j</artifactId>
                <groupId>org.slf4j</groupId>
            </exclusion>
            <exclusion>
                <artifactId>jul-to-slf4j</artifactId>
                <groupId>org.slf4j</groupId>
            </exclusion>
        </exclusions>
    </dependency>
    <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-core -->

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>         
    </dependency>
     <dependency>
        <groupId>org.apache.drill.exec</groupId>
        <artifactId>drill-jdbc-all</artifactId>
        <version>1.1.0</version>
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-api</artifactId>
            </exclusion>
            <exclusion>
                <artifactId>jcl-over-slf4j</artifactId>
                <groupId>org.slf4j</groupId>
            </exclusion>
            <exclusion>
                <artifactId>jul-to-slf4j</artifactId>
                <groupId>org.slf4j</groupId>
            </exclusion>
        </exclusions>
    </dependency>   
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>0.20.2</version>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
        </plugin>
    </plugins>
</build>

这是我得到的错误消息:

共有1个答案

乐正德华
2023-03-14

两个月前,我也面临过类似的异常,并贴出了这么多的问题,事情是,这不是由于任何编码异常。这是由于您的组织的安全组阻止了演习的访问。联系您相应的pcf团队,请他们添加所需的安全组。

 类似资料:
  • 启动没有参数的时间戳任务应用程序失败。来自Spring Cloud Data Flow Server的日志显示了以下堆栈跟踪:https://gist.github.com/anonymous/420f3928b7831a11b378fc6792be1ffc。 运行输出 则生成

  • 我正在尝试在Pivotal Cloud Factory中部署SpringBoot Restful应用程序。我的JDK1.8和使用Maven。从Pivotal尝试了以下示例应用程序:https://spring.io/guides/gs/rest-service/ 登录到关键web服务帐户并尝试将其推送为 “CF Push”并得到以下错误。请指教。谢谢

  • 什么是关键词影响力? (暂时在移动端上线) 关键词影响力,是百度搜索资源平台针对站点对于关键词数据分析的需求,推出的全新概念。 站点关键词影响力:在具体关键词下,站点获得的收益对应的关键词影响力; 最大关键词影响力:在具体关键词下,获得收益最高的站点影响力; 整体关键词影响力:在具体关键词下,百度为全部站点带来的全部收益产生的影响力总值; 关键词影响力算法复杂,涵盖该关键词下百度搜索可以为站点带来

  • 我开始开发一个spring cloud stream项目。我已通过@Streamlistener注释成功接收到来自Kafka的消息。在将消息发送到任何输出通道之前,我必须通过调用externalservice或DB调用来转换有效负载。我不想从同一个streamlistener方法调用外部服务或DB方法。我的问题是,我们能否在Spring云流中创建内部通道(如Spring集成DSL流)?

  • 我正在使用PolledProcessor提出一个spring云数据流处理器。我遵循了下面的示例https://spring.io/blog/2018/02/27/spring-cloud-stream-2-0-polled-consumers。下面是我的代码。我将带有源管道的流部署到这个处理器(源polled-processor)到scdf,并让源发布一些消息。我确认处理器每秒轮询一次来自scdf