当前位置: 首页 > 知识库问答 >
问题:

Spark中的Yar-Client模式是什么?

郭俊拔
2023-03-14

共有1个答案

段干昊然
2023-03-14

所以在spark中有两个不同的组件。有司机和工人。在yarn-cluster模式下,驱动程序远程运行在一个数据节点上,而工作人员运行在单独的数据节点上。在yarn-client模式下,驱动程序位于启动作业的机器上,工人位于数据节点上。在本地模式下,驱动程序和工人在启动作业的机器上。

当您运行。collect()时,工作节点的数据会被拉入驱动程序。它基本上是最后一点处理发生的地方。

就我个人而言,我发现当我在家使用vpn时,YARN集群模式更好,但当我从数据中心运行代码时,YARN客户端模式更好。

 类似资料:
  • Yar 是由 PHP 大神鸟哥创建的一个 PHP 并行高性能 RPC 框架。Yar 可以跨平台使用,不过鸟哥没有提供 Java 的客户端。这次项目中正好需要 Java 来调用 PHP 的 RPC 服务,于是就诞生了 Yar Client for Java。 使用方法很简单: YarClient client = new YarClient("http://localhost/yar.php");I

  • Yar

    Yar 是一个支持多种打包协议的, 并行的RPC框架. 它基于HTTP协议, 在libcurl基础上开发而成 简单的Server: class API {     /** * the doc info will be generated automatically into se

  • 定义如下: RDD是不可变的分布式对象集合 我不太明白这是什么意思。它像存储在硬盘上的数据(分区对象)吗?如果是这样,那么RDD为什么可以有用户定义的类(如java、scala或python) 通过此链接:https://www.safaribooksonline.com/library/view/learning-spark/9781449359034/ch03.html它提到: 用户通过两种方

  • 一个模式就是一个可重用的方案,可应用于在软件设计中的常见问题 - 在我们的例子里 - 就是编写JavaScript的web应用程序。模式的另一种解释就是一个我们如何解决问题的模板 - 那些可以在许多不同的情况里使用的模板。 那么理解和熟悉模式为什么是如此的重要? 设计模式有以下三点好处: 模式是行之有效的解决方法:他们提供固定的解决方法来解决在软件开发中出现的问题,这些都是久经考验的反应了开发者的

  • 主要内容:MVC模式 VS 三层架构,MVC 的工作流程,MVC 的优点,MVC 的不足MVC 模式,全称为 Model-View-Controller(模型-视图-控制器)模式,它是一种软件架构模式,其目标是将软件的用户界面(即前台页面)和业务逻辑分离,使代码具有更高的可扩展性、可复用性、可维护性以及灵活性。 通常情况下,一个完整的 Java Web 应用程序,其结构如下图所示。 图1:Java Web 应用的结构  MVC 模式将应用程序划分成模型(Model)、视图(View)

  • 问题内容: 最近在求职面试中有人问我这个问题,但我无法回答。那么,java.io中最常用的模式是什么?如何使用?常见的Java库中还使用了哪些其他模式? 问题答案: 我想他们想听听装饰器模式,该模式可以在各种Streams,Reader和Writer中找到。 其他模式(少量选择): Swing库中的观察者模式 javax.xml.parsers包中的工厂模式 迭代器模式,用于集合中 我非常确定,可