Apache Beam Spark便携式转轮
我正在运行一个示例管道，我的环境就是这样。
Python"SaiResearch-Apache-Beam-Spark.py"--run=PortableRunner--job_endpoint=192.168.99.102:8099
我的Spark运行在Docker容器上，我可以看到JobService运行在8099。
我得到以下错误：grpc_频道_多线程登录：
当我卷曲到ip： port时，我可以从docker日志中看到以下错误Oct 24,2020 11:34:50 AMorg.apache.beam.vendor.grpc.v1p26p0.io.grpc.netty.NettyServer传输通知终止信息：传输失败org.apache.beam.vendor.grpc.v1p26p0.io.netty.handler.codec.http2。意外HTTP/1. x请求：GET/atorg.apache.beam.vendor.grpc.v1p26p0.io.netty.handler.codec.http2.Http2Exception.connection错误（Http2Exception.java:103）org.apache.beam.vendor.grpc.v1p26p0.io.netty.handler.codec.http2。Http2ConnectionHandler$PrefaceDecoder.readClientPrefaceString（Http2ConnectionHandler.java:302）在org.apache.beam.vendor.grpc.v1p26p0.io.netty.handler.codec.http2。Http2ConnectionHandler$PrefaceDecoder.decode（Http2ConnectionHandler.java:239）在org.apache.beam.vendor.grpc.v1p26p0.io.netty.handler.codec.http2。org.apache.beam.vendor.grpc.v1p26p0.io.netty.handler.codec.ByteToMessageD的Http2ConnectionHandler.decode（Http2ConnectionHandler.java:438）ecoder.decodeByteToMessageDecoder.java:505）org.apache.beam.vendor.grpc.v1p26p0.io.netty.handler.codec.ByteToMessageDecoder.callDecode（ByteToMessageDecoder.java:444）org. apache. beam. vender. grpc. v1p26p0. io. netty. handler. codec。ByteToMessageDecoder. channelRead（ByteToMessageDecoder. java： 283）在org. apache. beam. vender. grpc. v1p26p0. io. netty. channel。AbstractChannelHandlerContext. invkeChannelRead（AbstractChannelHandlerContext. java： 374）在org. apache. beam. vender. grpc. v1p26p0. io. netty. channel。AbstractChannelHandlerContext. invkeChannelRead（AbstractChannelHandlerContext. java： 360）在org. apache. beam. vender. grpc. v1p26p0. io. netty. channel。AbstractChannelHandlerContext. fire ChannelRead（AbstractChannelHandlerContext. java： 352）在org. apache. beam. vender. grpc. v1p26p0. io. netty. channel。DefaultChannelPipeline$HeadContext. channelRead（DefaultChannelPipeline. java： 1422）在org. apache. beam. vender. grpc. v1p26p0. io. netty. channel。AbstractChannelHandlerContext. invkeChannelRead（AbstractChannelHandlerContext. java： 374）在org. apache. beam. vender. grpc. v1p26p0. io. netty. channel。AbstractChannelHandlerContext. invkeChannelRead（AbstractChannelHandlerContext. java： 360）在org. apache. beam. vender. grpc. v1p26p0. io. netty. channel。DefaultChannelPipeline. fire ChannelRead（DefaultChannelPipeline. java： 931）在org. apache. beam. vender. grpc. v1p26p0. io. netty. Channel. nio。AbstractNioByteChannel$NioByteUnSecurity. read（AbstractNioByteChannel. java： 163）在org. apache. beam. vender. grpc. v1p26p0. io. netty. Channel. nio。在org. apache. beam. vender. grpc. v1p26p0. io. netty. Channel. nio上选择密钥（NioEventLoop. java： 700）。在org. apache. beam. vender. grpc. v1p26p0. io. netty. Channel. nio上优化（NioEventLoop. java： 635）。在org. apache. beam. vender. grpc. v1p26p0. io. netty. Channel. nio.nioEventLoop. run（NioEventLoop. java： 514）at org. apache. beam. vender. grpc. v1p26p0. io. netty. util. con电流。SingleThreadEventExecutor6美元. run（SingleThreadEventExecutor. java： 1044）在org. apache. beam. vender. grpc. v1p26p0. io. netty. util. interal。ThreadExecutorMap2 dollars. run（ThreadExecutorMap. java： 74）at org. apache. beam. vender. grpc. v1p26p0. io. netty. util. con电流。在java. lang上运行（FastThreadLocalRunnable. java： 30）。线程. run（线程. java： 748）
帮助请。
共有1个答案
请在此处找到如何为Spark设置PortableRunner的说明：https://beam.apache.org/documentation/runners/spark/
基本上，您需要设置额外的Docker容器（如上所述），它充当Beam（任何语言）和Spark之间的转轮。将梁连接到转轮，转轮连接到火花。
-
是否有一种可移植的方法来实现C/C中的标记指针，比如一些跨平台和编译器工作的有文档记录的宏？或者，当你标记你的指针时，你就有危险了？如果存在这样的助手函数/宏，它们是任何标准的一部分还是仅作为开源库提供？ 对于那些不知道标记指针是什么但感兴趣的人来说，这是一种在普通指针中存储一些额外数据的方法，因为在大多数体系结构中，指针中的某些位总是0或1，所以您将标记/类型/提示保留在这些额外位中，在你们想用
-
可移植性是任何编程语言的重要方面。 众所周知，Rexx可用于各种操作系统，如Windows和Linux。 因此，需要确保在Windows平台上开发程序时，如果在Linux平台上运行相同的程序，则需要采取必要的预防措施。 Rexx能够运行系统级命令。 有些命令可用于了解运行它的操作系统是什么。 根据输出，它可以采取适当的操作来查看可以在此操作系统上运行的命令。 例子 (Example) 以下示例显示
-
也许有人可以帮助Windows、Python、Selenium和使用Chrome webdriver与ChromePortable。 我定义了一个新文件夹 你知道吗？提前谢谢你，祝你一天愉快安德烈亚斯
-
本文向大家介绍sed便携使用，包括了sed便携使用的使用技巧和注意事项，需要的朋友参考一下 示例 就地编辑虽然很常见，但却是一种非标准功能。一个可行的替代方法是使用中间文件来存储原始文件或输出。 要将-i选项与GNU和FreeBSD语法一起使用，必须指定扩展名并将其附加到-i选项中。两者都将接受以下内容，并产生两个文件：的原始版本file.orig和的编辑版本file： 请参阅给定文件的基本示例f
-
我正在尝试使用java applet访问windows 7中显示为便携式设备的设备中的一些文件（其中包含“windows CE”应用程序）。。。。 我的设备路径是 同样我用了 当我导航到已连接的设备并右键单击文件并查看其属性时，它会将其位置显示为 此外，当我打开此文件时，它会自动放在我电脑的临时文件中。我也在使用签名小程序，所以不存在文件访问被拒绝的问题 我也用过
-
问题内容： 是否可以运行comserver而无需提升权限。 例如，我能够从Python.TestServer（如下）运行代码，但它需要提升。 Python.TestServer代码位于：从.NET消耗Python COM Server 是否可以运行不需要提升的com服务器，以便我可以在没有管理密码的情况下运行com对象。 例如 我已经尝试了上面的代码，但它说 如何使本地服务器的有效类字符串？ 示例