Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuffle 实现，本文后续将详细介绍 Flink Remote Shuffle 研发的背景，以及 Flink Remote Shuffle 的设计与使用。
重要特性
-
存储计算分离：存储计算分离使计算资源与存储资源可以独立伸缩，计算资源可以在计算完成后立即释放，Shuffle 稳定性不再受计算稳定性影响。
-
支持多种部署模式：支持 Kubernetes、Yarn 以及 Standalone 环境下部署。
-
采用了类似 Flink Credit-Based 流量控制机制，实现了零拷贝数据传输，最大限度的使用受管理的内存 (managed memory) 以避免 OOM，提高了系统稳定性与性能。
-
实现了包括负载均衡、磁盘 IO 优化、数据压缩、连接复用、小包合并等诸多优化，实现了优秀的性能与稳定性表现。
-
支持 Shuffle 数据正确性校验，能够容忍 Shuffle 进程乃至物理节点重启。
-
结合 FLIP-187: Flink Adaptive Batch Job Scheduler[11] 可支持动态执行优化，如动态决定算子并发度。
设计思路与原理介绍
参阅此文章：https://www.oschina.net/news/171564/flink-remote-shuffle-open-source
-
概念 Actually，在Flink中Shuffle的含义是很局限，并不似Spark中那么宽泛。在Flink中，数据从UpStream到DownStream的过程中，涉及到数据发往哪一个Subtask的问题。这个过程在Flink中统称为partitioning。概念是不是 一目了然，是不是比Spark的Shuffle好懂？ 分类 partitioning操作具体有如下几种： 操作 操作方式 Shu
-
总览 Flink DataStream API 和 Table / SQL 都支持通过批处理执行模式处理有界输入。此模式是通过 blocking shuffle 进行网络传输。与流式应用使用管道 shuffle 阻塞交换的数据并存储，然后下游任务通过网络获取这些值的方式不同。这种交换减少了执行作业所需的资源，因为它不需要同时运行上游和下游任务。 总的来说，Flink 提供了两种不同类型的 bloc
-
一、ApplicationExecution in Flink 二、Session Mode、Perjob Mode 和 Application Mode Session Mode Per-Job Mode Application Mode Application Submission Reducing Network Requirements
-
1、SortMergeResultPartition的创建使用 首先是一个读过程的一个调用链 PartitionRequestServerHandler.channelRead0() ->CreditBasedSequenceNumberingViewReader.requestSubpartitionView() ->ResultPartitionManager.cr
-
1、配置 taskmanager.network.sort-shuffle.min-parallelism 核心配置。设置Hash Shuffle和Sort Shuffle的分界。并发数大于该值时，使用Sort Shuffle。默认是int最大值，即使用Hash Shuffle。 taskmanager.network.sort-shuffle.min-buffers 每个Sort Shuffle
-
Flink简介 Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 Flink基石 Flink 之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Flink 部署及启动 Flink 支持多种安装模式: local（本地）—
-
External Shuffle Service存在的问题 从社区的讨论看，目前的Shuffle架构（External Shuffle Service）主要存在以下几个问题。 单点性能瓶颈 当单台主机上运行较多的executor时，大量Shuffle File的并发读写速度将受制于单台主机磁盘和网络的速度， 单点故障 Shuffle File存储在本地磁盘，没有备份。当所在主机故障时，所有Spar
-
背景 对于spark remote shuffle service（以下简称RSS）,在社区其实早就有探讨SPARK-25299,只不过一直没有达成一致，且目前的内置的shuffle service 也能满足大部分的场景，也就被搁置了，但是由于kubernetes的越来越火热,spark 社区也慢慢的集成了spark on k8s，当然k8s社区也集成了spark,具体区别见spark on k8
-
我有一个带有Mongoid数据库的Rails 4应用程序，并想引入一个沙盒环境进行测试。有一些数据（两个模型），我想从生产数据库复制到沙盒。 我会用一个rake任务来完成这个任务，这个任务被cronjob调用。然而，在这个rake任务中，我不确定如何建立到数据库的两个连接，并对不同的数据库使用相同的模型。 我也在考虑在mongodb层做这件事（就像他们在这里做的那样，如何在mongodb中将一个集
-
这仍然只在前景工作。 我在这里漏掉了什么？
-
要并行或异步运行一些东西，我可以使用ExecutorService：
-
stop-task 命令用于停止数据迁移任务。有关 stop-task 与 pause-task 的区别，请参考暂停数据迁移任务中的相关说明。 help stop-task stop a specified task Usage: dmctl stop-task [-s source ...] <task-name | task-file> [flags] Flags: -h, --hel
-
resume-task 命令用于恢复处于 Paused 状态的数据迁移任务，通常用于在人为处理完造成迁移任务暂停的故障后手动恢复迁移任务。 help resume-task resume a specified paused task Usage: dmctl resume-task [-s source ...] <task-name | task-file> [flags] Flags:
-
pause-task 命令用于暂停数据迁移任务。 注意： 有关 pause-task 与 stop-task 的区别如下： 使用 pause-task 仅暂停迁移任务的执行，但仍然会在内存中保留任务的状态信息等，且可通过 query-status 进行查询；使用 stop-task 会停止迁移任务的执行，并移除内存中与该任务相关的信息，且不可再通过 query-status 进行查询，但不会移除已
-
start-task 命令用于创建数据迁移任务。当数据迁移任务启动时，DM 将自动对相应权限和配置进行前置检查。 help start-task Starts a task as defined in the configuration file Usage: dmctl start-task [-s source ...] [--remove-meta] <config-file> [fla
-
本文档介绍在 DM 集群部署成功后，如何快速创建简单的数据迁移任务。 使用样例 在本地部署两个开启 binlog 的 MySQL 实例和一个 TiDB 实例；使用 DM 集群的一个 DM-master 来管理集群和数据迁移任务。各个节点的信息如下： 实例 服务器地址 端口 MySQL1 127.0.0.1 3306 MySQL2 127.0.0.1 3307 TiDB 127.0.0.1 4000