当前位置: 首页 > 知识库问答 >
问题:

使用beam 2.0创建数据流模板管道时获取身份验证错误

谢俊力
2023-03-14

请参考此链接,了解如何运行基于Java的云数据流-https://cloud.google.com/dataflow/docs/quickstarts/quickstart-java-maven

使用以下命令创建模板

mvn archetype:generate \
      -DarchetypeGroupId=org.apache.beam \
      -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
      -DarchetypeVersion=2.16.0 \
      -DgroupId=org.example \
      -DartifactId=word-count-beam \
      -Dversion="0.1" \
      -Dpackage=org.apache.beam.examples \
      -DinteractiveMode=false

然后要使用DataflowRunner运行作业,请执行以下命令

mvn -Pdataflow-runner compile exec:java \
      -Dexec.mainClass=org.apache.beam.examples.WordCount \
      -Dexec.args="--project=<PROJECT_ID> \
      --stagingLocation=gs://<STORAGE_BUCKET>/staging/ \
      --output=gs://<STORAGE_BUCKET>/output \
      --runner=DataflowRunner"

但当试图运行上面的命令时,java会出现以下错误。lang.RuntimeException:无法从工厂方法DataflowRunner#fromOptions(interface org.apache.beam.sdk.options.PipelineOptions)构造实例

共有1个答案

施华奥
2023-03-14

正如在一篇评论中所说的那样,使用java。lang.RuntimeException错误,在运行数据流作业之前,在开始Java和Apache Maven的步骤之前,需要遵循以下步骤。步骤包括:

  1. 将身份验证和环境变量GOOGLE\u APPLICATION\u CREDENTIALS设置为包含服务帐户密钥的JSON文件路径
  2. 创建云存储桶
  3. 安装Java开发工具包(JDK)和ApacheMaven。验证JAVA_HOME环境变量是否已设置并指向JDK安装
 类似资料:
  • 我坚持使用spring ldaptemplate身份验证方法返回零计数,同时使用group字符串,下面的字符串。 cn=jirra-acdolite-dg,ou=jira安全组,ou=apps安全组,ou=Security组,ou=global,ou=bt,dc=barcadero,dc=com 如下所示的错误消息。 2018年2月15日12:32:52上午org.springframework.

  • 我一直在尝试对一些关于《圣家堂》的推文进行一些基本的情绪分析,但我始终无法理解为什么我会出现这种基本的身份验证数据错误: 我见过其他人遇到与他们正在使用的密钥相关的问题,但我给了我使用的原始密钥几天,以防它尚未通过身份验证,但仍然收到相同的错误。在过去的几天里,我已经多次重新生成了我的密钥,弄乱了格式,试图注释掉不同的行,但一直收到这个错误。我正在使用python 3.8,并且我在Mac Big

  • 创建名为“authenticationManagerBean”的bean时出错:请求的bean当前正在创建中:是否存在无法解析的循环引用? 我做了什么坏事?

  • 本文向大家介绍asp.net mvc中Forms身份验证身份验证流程,包括了asp.net mvc中Forms身份验证身份验证流程的使用技巧和注意事项,需要的朋友参考一下 验证流程 一、用户登录 1、验证表单:ModelState.IsValid 2、验证用户名和密码:通过查询数据库验证 3、如果用户名和密码正确,则在客户端保存Cookie以保存用户登录状态:SetAuthCookie     1

  • 问题内容: 在我的Java EE6 REST服务上,我想使用身份验证令牌从移动设备登录,用户将发送其用户名,密码,服务器将发回令牌,该令牌将用于授权用户对给定的进一步请求时间。 我可以这样简单地自己创建令牌吗?(我想我不需要加密此令牌,因为我将使用HTTPS。) 还是有一种更标准的方式来创建我的令牌?也许它存在于API之一 问题答案: 您有效地提出的方案允许客户端无限制地访问您的服务。初始登录后,

  • 我询问了如何建立一个服务呼叫,并在HttpClient上获得了一个很好的信息。然而,虽然这个问题在技术上得到了回答,但我还是被卡住了。 在控制台中,我可以看到我的浏览器向服务发送了什么请求来获取授权令牌。然而,当我尝试在我的服务层中模拟构建请求的调用时,我得到以下错误消息。我在这里犯错的可能性很大。不知道该用谷歌搜索什么,真的。。。 "StatusCode: 500, ReasonPhrase:'