《集群化》专题

可能更早的时候，有2个分区和4种类型的Msg，我们得到了理想的密钥哈希algo，所以每个分区都分配了2种类型的msgs（分区密钥）。 添加2个新分区（当集群仍在运行时）将开始向旧分区和新分区添加新的msg（根据新的密钥散列algo)，但是在分区#2的偏移量为2000处有一个类型为#4的msg，分区#2的消费者的当前偏移量仅为10，在分区#4中添加了新的类型为#4的msg，它将首先被消费，对吗？ 但

对于一个幼稚的开发人员来说，他们似乎可以发布到集群中的任何节点，并从这些节点消费，这会给他们一种高可用性的错误感觉。 如果承载队列的节点死亡，使用者将不再能够从另一个节点到达队列。 是否有一种方法可以禁用这种行为，这样就可以很明显地看到，您要么必须有一个镜像队列，要么需要在每台服务器上创建一个不同的队列，从这两个服务器中使用，然后处理重复的队列。 谢谢

假设我有一个部署网。yaml或PVC。亚马尔。我用一些值更新yaml文件。我该怎么办？再次申请？很抱歉，我搜索并浏览了文档，发现了滚动更新和记录，我相信这对我来说是进一步的学习曲线。 对文件所做的更改 我在没有rbac的情况下创建了efs provisioner，我相信pvc因此处于待定状态。因此，尝试更新YAML以适应变化。

我有以下情况： 我在一家大公司工作。 我们有一个EMR集群，其中Spark/Hadoop堆栈运行在Yarn上。 我可以SSH到集群的主节点，从那里我可以创建Spark shell或spark-submit作业到Spark集群，没有任何问题。 但是，我希望在我公司的服务器上运行Spark client，因为我们所有的代码库都位于那里，因此我有能力在该服务器上进行主动开发，因为我可以git克隆并推送到

我试图编写一个简单的spark应用程序，当我在本地运行它时，它可以将主程序设置为

我正在使用yarn-cluster Master运行我的spark应用程序。 应用程序是做什么的？ 外部服务根据对RESTService的HTTP请求生成jsonFile Spark需要在解析JSON后读取该文件并执行一些工作 我认为将文件作为--files传递会让我忘记保存和删除这个文件。类似于通过-过程-忘记。 那么，如何读取通过-files传递的文件呢？唯一的解决方案是手工创建路径，硬编码“

火花-应用： scala1.scala//我从这个类调用java类。 java.java//这将向yarn集群提交另一个spark应用程序。 我的项目的目录结构如下所示： 下面是调用第二个Spark应用程序的java代码： 用于在本地运行第一个spark应用程序的spark-submit命令：

我认为传递自定义exitcode是不可能的，因为驱动程序传递的任何exitcode都将转换为yarn状态，而yarn将把任何失败的exitcode转换为1或失败。

我是AWS云前线和AWS的新手。我有一个Next.js（反应SSR框架）网站，我部署到AWS使用（https://github.com/serverless-nextjs/serverless-next.js）。然而，我也需要一些缓存的Web应用程序。我决定使用来自AWS的redis ElastiCache。我在AWS控制台上创建了一个redis弹性缓存集群。 我的尝试： 我设置了连接redis

可以任何一个请让我知道如何提交火花作业从本地和连接到卡桑德拉集群。 目前，我在通过putty登录到Cassandra节点并提交下面的dse-spark-submit job命令后提交了Spark作业。

我做了一些研究，但在K8s文档中找不到答案。是否可以安排Kubernetes集群中的某些豆荚可以访问集群之外的其他某些资源，而不授予整个集群的权限？ 例如：一个吊舱从Google存储中访问数据。为了不硬编码一些凭据，我希望它能够通过RBAC/IAM访问它，但另一方面，我不希望集群中的另一个pod能够访问相同的存储。

我正在尝试测试在桌面上的docker容器中运行的Java应用程序。如果我直接从命令行执行它，该应用程序运行良好，但当我尝试在桌面上的Docker容器中运行它时，它会失败。错误输出显示库正在请求区域信息,但失败时出现以下错误： 我将区域作为环境变量提供： 如果我硬编码该区域，它工作很好。（库成功地从环境变量中提取凭据。）

我见过，但对于我的（简单的）用例来说，它似乎有些过头了。 我也知道，但我不想仅仅为此编写和维护代码。 我的问题是：有没有一种方法可以用kafka原生工具实现这个主题调度，而不用自己写一个Kafka-Consumer/Producer？