问题：

用Java生成多模块项目的数据流模板

岳刚洁

2023-03-14

我对Java没有太多的经验，特别是多模块项目，所以我不能从多模块项目中创建数据流模板。

要从Dataflow模板生成模板，必须使用如下内容：

mvn compile exec:java \
     -Dexec.mainClass=com.example.myclass \
     -Dexec.args="--runner=DataflowRunner \
                  --project=YOUR_PROJECT_ID \
                  --stagingLocation=gs://YOUR_BUCKET_NAME/staging \
                  --templateLocation=gs://YOUR_BUCKET_NAME/templates/YOUR_TEMPLATE_NAME"

这对我来说在一个简单的Java项目中工作得很好，但目前我需要在一个具有以下简化结构的项目中使用以下内容：

C:.
|   pom.xml
|
+---configuration
|   |   dependency-reduced-pom.xml
|   |   pom.xml
|   |
|   +---src
|   |   \---main
|   |       \---java
|   |           \---com
|   |               \---xxx
|   |                   \---gcp
|   |                       \---dataflow
|   |                           \---yyy
|   |                               +---package
|   |                               |   |   java files
|   |
+---pipeline
|   |   dependency-reduced-pom.xml
|   |   pom.xml
|   |
|   +---src
|   |   \---main
|   |       \---java
|   |           \---com
|   |               \---xxx
|   |                   \---gcp
|   |                       \---dataflow
|   |                           \---yyy
|   |                               \---package
|   |                                       MAINJAVACLASS.java
|   |
\---transform
|   |   dependency-reduced-pom.xml
|   |   pom.xml
|   |
|   +---src
|   |   \---main
|   |       +---java
|   |       |   +---com
|   |       |   |   \---xxx
|   |       |   |       \---gcp
|   |       |   |           \---dataflow
|   |       |   |               \---yyy
|   |       |   |                   +---package
|   |       |   |                   |       java files

我已执行mvn包，没有任何错误，输出如下：

[INFO] Reactor Build Order:
[INFO]
[INFO] pipeline-framework                                                 [pom]
[INFO] configuration                                                      [jar]
[INFO] transform                                                          [jar]
[INFO] pipeline                                                           [jar]

<...>

[INFO] Reactor Summary for pipeline-framework 0.1:
[INFO]
[INFO] pipeline-framework ................................. SUCCESS [ 19.076 s]
[INFO] configuration ...................................... SUCCESS [ 25.070 s]
[INFO] transform .......................................... SUCCESS [ 21.625 s]
[INFO] pipeline ........................................... SUCCESS [ 19.365 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS

mvn compile exec:java -Dexec.mainClass=com.xxx.gcp.dataflow.yyy.pipeline.MAINJAVACLASS -Dexec.args=...

我有以下错误：

如果我从根目录执行它：

[INFO] Reactor Summary for pipeline-framework 0.1:
[INFO]
[INFO] pipeline-framework ................................. FAILURE [  5.287 s]
[INFO] configuration ...................................... SKIPPED
[INFO] transform .......................................... SKIPPED
[INFO] pipeline ........................................... SKIPPED

<...>

Caused by: java.lang.ClassNotFoundException: com.xxx.gcp.dataflow.yyy.pipeline.MAINJAVACLASS

我还试着用：

mvn compile exec:java -pl pipeline <...>

Could not resolve dependencies for project com.xxx.gcp.dataflow:pipeline:jar:0.1: The following artifacts could not be resolved: com.xxx.gcp.dataflow:transform:jar:0.1, com.xxx.gcp.dataflow:configuration:jar:0.1: Failure to find com.xxx.gcp.dataflow:transform:jar:0.1 in https://repo.maven.apache.org/maven2

我应该执行哪个命令来构建模板？

主pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.xxx.gcp.dataflow</groupId>
  <artifactId>pipeline-framework</artifactId>
  <version>0.1</version>
  <packaging>pom</packaging>

  <modules>
    <module>configuration</module>
    <module>transform</module>
    <module>pipeline</module>
  </modules>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>

    <beam.version>2.16.0</beam.version>

    <maven-compiler-plugin.version>3.7.0</maven-compiler-plugin.version>
    <maven-exec-plugin.version>1.6.0</maven-exec-plugin.version>
    <maven-jar-plugin.version>3.1.2</maven-jar-plugin.version>
    <slf4j.version>1.7.25</slf4j.version>

    <autovalue.annotations.version>1.6</autovalue.annotations.version>
    <autovalue.version>1.6.2</autovalue.version>
  </properties>

  <repositories>
    <repository>
      <id>apache.snapshots</id>
      <name>Apache Development Snapshot Repository</name>
      <url>https://repository.apache.org/content/repositories/snapshots/</url>
      <releases>
        <enabled>false</enabled>
      </releases>
      <snapshots>
        <enabled>true</enabled>
      </snapshots>
    </repository>
  </repositories>

  <dependencyManagement>
    <dependencies>
      <dependency>
        <groupId>${project.groupId}</groupId>
        <artifactId>configuration</artifactId>
        <version>${project.version}</version>
      </dependency>
      <dependency>
        <groupId>${project.groupId}</groupId>
        <artifactId>transform</artifactId>
        <version>${project.version}</version>
      </dependency>
      <dependency>
        <groupId>${project.groupId}</groupId>
        <artifactId>pipeline</artifactId>
        <version>${project.version}</version>
      </dependency>
    </dependencies>
  </dependencyManagement>

  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>${maven-compiler-plugin.version}</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-surefire-plugin</artifactId>
        <version>2.22.1</version>
        <configuration>
          <useSystemClassLoader>false</useSystemClassLoader>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        <version>${maven-jar-plugin.version}</version>
        <configuration>
          <archive>
            <manifest>
              <mainClass>com.xxx.gcp.dataflow.yyy.pipeline.TerraformPipeline</mainClass>
            </manifest>
          </archive>
        </configuration>
      </plugin>

      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>3.0.0</version>
        <executions>
          <execution>
            <id>bundle-and-repackage</id>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
            <configuration>

              <artifactSet>
                <includes>
                  <include>*:*</include>
                </includes>
              </artifactSet>

              <transformers>
                <transformer
                        implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
              </transformers>

            </configuration>
          </execution>
        </executions>
      </plugin>

    </plugins>

    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.codehaus.mojo</groupId>
          <artifactId>exec-maven-plugin</artifactId>
          <version>${maven-exec-plugin.version}</version>
          <configuration>
            <cleanupDaemonThreads>false</cleanupDaemonThreads>
          </configuration>
        </plugin>


      </plugins>


    </pluginManagement>
  </build>

  <dependencies>
    <...>
  </dependencies>
</project>

共有1个答案

潘哲

2023-03-14

我相信这是多模块maven项目的一个常见问题，并不是Dataflow特有的问题。也许另一个线程可以提供帮助：Maven exec：java goal on a multi-module project

这一条提到了找不到mainjavaclass的问题。另一半我不太确定，我认为JAR丢失的原因是因为package生命周期阶段还没有在您需要的.jar模块上运行。据我所知，exec插件并不在构建生命周期的任何特定阶段运行，因此根据您的信息，我猜测它只在compile阶段之后运行，该阶段不会生成任何JAR（在package中会出现这种情况）。

关于构建生命周期的信息：http://maven.apache.org/guides/introduction/introduction-to-the-lifecycle.html

类似资料：

Maven多模块项目的生成顺序？

情况是，我有两个结构相同的Maven多模块项目：当我构建项目1时，我看到首先构建的是parent（顺序是parent->module1->module2)。然而，对于项目2，最终生成父级（顺序为module1->module2->parent)。为什么两个项目的建造订单不同？此外，如何手动控制生成顺序？更新1: 两个父项目都是简单的POM项目，没有源代码，所以我无法按照依赖关系图解释构建顺序。
annotationProcessors多模块项目Java

我最近开始学习java处理器，并尝试将它们与gradle一起使用，当我构建项目时，我可以看到注释处理器JAR（其他模块）被打印出来（我在app gradle文件中添加了这一点，您可以在下面看到），但没有执行。我不知道我做错了什么...
Scala多模块项目？

问题内容：我有学习的背景和思想。我喜欢使用的其中一项功能是可以将项目制作为多Maven模块。例？令人高兴的是，每个模块都可以具有自己的依赖性，并且可以独立测试它们，而不用运行一个整体应用程序。我们如何实现类似的东西，或者它的生态系统？问题答案：你绝对可以做到的。这被称为SBT Multi-Project build。您可以使用以下内容定义一个主项目和多个子项目（来自上面的docs链接）
Maven多模块项目

我曾广泛使用过Maven 目前有5个不同的maven项目，每个项目都有一个不同的pom.xml。到目前为止，它们之间存在依赖关系，如果需要，每一个都指向中的另一个。现在我们不喜欢的是当我们发布子projectA时，我们需要手动修改所有将projectA作为依赖项的项目以使用新版本。Saw Maven有一个版本插件，不知道这会有什么帮助。作为解决方案，我希望在POM之间有一个更干净的组织，并
使用Spring数据的Spring boot maven多模块项目

我的父pom.xml如下所示： Web中的Application.java： web pom.xml：启动时未发现服务impl模块中的bean。谢谢
带Spring Boot模块的Maven多模块项目

我有以下Maven项目结构： i、 e.Project1、Project2和Project3在目录结构上是对等的，它们都是Spring Boot应用程序（JAR）。我想将Project2和Project3视为Project1的子项，而不改变目录结构。当我在父项目上执行相同的maven命令时，我需要在子项目上过渡地执行所有maven命令。而且最重要的是，我应该能够将它们打包到一个JAR文件中。我在谷

用Java生成多模块项目的数据流模板

共有1个答案

相关问答

相关文章

相关阅读

相关工具

相关文档