Apache Slider 是一个 Yarn 应用,它可以用来在 Yarn 上部署并监控分布式应用。Slider 可以在应用运行期随意扩展或者收缩应用。目前它是 Apache 的孵化项目。
Yarn 上的应用在停止之后可以重新被启动,并且 Yarn 上的应用的分布是持久化的,重启之后的位置会尽量接近之前的位置,借助该特性,应用可以记住数据存放位置,所以启动时间也会加快。
Yarn可以监控“Yarn容器”的健康状态,当容器挂掉时,它会通知Slider。同时,Slider会请求Yarn创建一个新容器,Slider会创建一个失败容器的替代组件。Slider可以保证配置文件中指定数量的应用正常运行。
Yarn的特性包括:
支持用户在Yarn集群中创建随需应变的应用
支持不同的用户/应用运行不同版本的应用
支持用户配置不同的应用实例
按需停止/暂停/恢复应用实例
按需扩展/收缩应用实例
Slider工具是一个Java的命令行应用,它会把信息持久化为JSON文档并存储到HDFS。当集群启动后,我们可以使用命令扩展或者收缩集群。集群也可以被停止或者重启。对Slider感兴趣的朋友可以看看Yu Liu在一个Meetup上的演讲PPT。
1.简介 Apache Slider目前还是Apache二级孵化项目,作为yarn的动态应用,可将已有分布式服务或者应用直接部署到YANR上,监控应用并按需调整应用资源大小; slider特性有: 允许用户在Yarn集群中按照需求创建应用 运行运行不同版本的应用,所以可以实现在同一个集群部署不同版本的hbase 支持用户配置不同的应用实例 按需停止/暂停/恢复应用实例 按需扩展/收缩应用实例 2.
apache spark 本教程介绍了Apache Storm和Apache Spark流之间的区别。 Apache Storm是用于处理实时流数据的流处理引擎,而Apache Spark是通用计算引擎,它为Spark流提供了处理流数据以近乎实时处理它们的能力。 让我们了解一下在Storm流与Spark流之战中哪个更好。 特征 阿帕奇风暴 Apache Spark流 加工模型 通过核心strom层
10.112.28.240 prestocli 10.183.225.158 perstoser hive-site.xml useUnicode=true&characterEncoding=UTF-8&autoReconnect=true kinit -k -t /etc/presto/presto.keytab presto hadoop fs -mkdir -p /user/p
[HTML] 纯文本查看 复制代码[Fri Nov 08 10:44:16.550058 2019] [mpm_winnt:notice] [pid 356:tid 480] AH00455: Apache/2.4.23 (Win32) OpenSSL/1.0.2j mod_fcgid/2.3.9 configured -- resuming normal operations [Fri Nov