ModelMesh Serving 是管理 ModelMesh 的控制器，是一个通用的模型服务管理/路由层。
入门
要快速开始使用 ModelMesh Serving，请查看快速入门指南。
如需帮助，请在此仓库中打开一个 issue。
组件及其仓库
ModelMesh Serving 当前包含分布在多个仓库中的组件。此处记录了最新版本的受支持版本。
在这个 repo 中集中跟踪所有组件的问题。
核心组件
- https://github.com/kserve/modelmesh-serving（这个 repo）——模型服务控制器
- https://github.com/kserve/modelmesh - 用于协调模型放置和路由的 ModelMesh 容器
运行时适配器
- modelmesh-runtime-adapter - 在每个模型服务 pod 中运行的容器，并充当 ModelMesh 和第三方模型服务器容器之间的中介。它的构建会生成一个单一的“多用途”映像，该映像可用作适配器以与每个开箱即用的支持模型服务器配合使用。它还包含“puller”逻辑，负责在移交给相应的适配器逻辑以加载模型（并在卸载后删除）之前从存储中检索模型。此映像还用于自定义
ServingRuntimePod的加载/卸载路径中的容器，作为“独立”拉取器。
模型服务运行时
ModelMesh Serving 提供与以下模型服务器的开箱即用集成。
- triton-inference-server - Nvidia 的 Triton 推理服务器
- seldon-mlserver - Seldon 的 Python MLServer
ServingRuntime自定义资源可用于添加对其他现有或自定义模型服务器的支持，请参阅有关实现自定义服务运行时的文档
补充
- KServe V2 REST 代理- 将 RESTful HTTP API 转换为 gRPC 的反向代理服务器。这允许使用 KServe V2 REST 预测协议将推理请求发送到当前仅支持 V2 gRPC 预测协议的 ModelMesh 模型。
库
这些是 ModelMesh 组件使用的辅助 Java 库。
- kv-utils - 在 etcd 和 Zookeeper 上抽象的有用的 KV 存储配方
- litelinks-core - 基于 Apache Thrift 的 RPC/服务发现库，仅用于 ModelMesh 内部的通信。
构建镜像
# Build develop image make build.develop # After building the develop image, build the runtime image make build
-
在创建资源类和指定资源格输出式化后， 下一步就是创建控制器操作将资源通过 RESTful APIs 展现给终端用户。 Yii 提供两个控制器基类来简化创建 RESTful 操作的工作：yii\rest\Controller 和 yii\rest\ActiveController， 两个类的差别是后者提供一系列将资源处理成 Active Record 的操作。 因此如果使用 Active Recor
-
控制器是 MVC 模式中的一部分， 是继承yii\base\Controller类的对象，负责处理请求和生成响应。 具体来说，控制器从应用主体 接管控制后会分析请求数据并传送到模型， 传送模型结果到视图，最后生成输出响应信息。 动作 控制器由 操作 组成，它是执行终端用户请求的最基础的单元， 一个控制器可有一个或多个操作。 如下示例显示包含两个动作view and create 的控制器post：
-
简介 为了替代把所有的请求处理逻辑都定义在 routes.php 路由文件中，你或许想要使用控制来组织这些行为。控制器可以把相关的请求处理逻辑整合为一个控制器类。控制器类文件被存储在 app/Http/Controllers 目录下。 基础控制器 这里有一个基础控制器的示例。所有 Lumen 的控制器都应该继承 Lumen 安装时内置的默认的控制器基类： <?php namespace App\
-
简介 为了代替在路由文件中以闭包的形式定义所有的请求处理逻辑，你也许想使用控制类来组织这些行为。控制器能够将相关的请求处理逻辑组成一个单独的类，控制器被存放在 app/Http/Controllers 目录下。 基础控制器 定义控制器 下面是一个基础控制器类的例子。需要注意的是，该控制器继承了一个Laravel内置的基础控制器类。该基础控制器提供了一些编辑的方法，比如 middleware 方法，
-
ThinkCMF目前分为两种控制器，前台和后台控制器； 无论是前台，还是后台控制器都位于应用的Controller目录下. 前台控制器一般继承 Common\Controller\HomebaseController,如果你需要用户登录才访问或操作此控制器，就要继承 Common\Controller\MemberbaseController； 我们来创建一个前台控制器： 在Blog应用Contr
-
控制器文件默认放在 app/modules/{module}/actions 文件夹。 控制器的文件命名格式为 XxxxAction.class.php, 所有的控制器都必须继承基类控制器 herosphp\core\Controller， 基类控制器是抽象类： abstract class Controller extends Template { /** * 视图模板名称
-
Kubernetes中内建了很多controller（控制器），这些相当于一个状态机，用来控制Pod的具体状态和行为。
-
控制器 通过执行 sudo mn --controller=remote --ip=[controller IP] --port=[controller listening port] 可以连接到控制器。