当前位置: 首页 > 知识库问答 >
问题:

Apache Flink从文件加载ML模型

令狐泓
2023-03-14

我想知道是否有一种方法(或某种代码示例)在Flink流媒体应用程序中加载编码的预训练模型(用python编写)。所以我可以使用从文件系统加载的权重和来自流的数据来拟合模型。

先谢谢你

共有1个答案

蓝苗宣
2023-03-14

你可以用许多不同的方法来做这件事。一般来说,最简单的方法是简单地调用从一些外部存储(如s3)下载模型的代码,例如在函数的打开方法中。然后,您可以使用您选择的库加载预先训练的权重并处理数据。你可以在这里寻找一些灵感,这是加载模型序列化的代码,从Kafka读取原型,但是你可以用它来理解原理。

通常我不建议从文件系统中读取模型,因为它的灵活性和维护难度要小得多。但这也是可能的,这取决于您的基础设施设置。在这种情况下,唯一的事情就是断言在管道将运行的机器上具有模型的文件是可用的。

 类似资料:
  • 所以我必须检索存储在HDFS中的文件的内容,并对其进行某些分析。 问题是,我甚至无法读取文件并将其内容写入本地文件系统中的另一个文本文件。(我是Flink的新手,这只是一个测试,以确保我正确读取了文件) HDFS中的文件是纯文本文件。这是我的密码: 在我运行/tmp之后,它没有输出。 这是一个非常简单的代码,我不确定它是否有问题,或者我只是做了一些别的错误。正如我所说,我对Flink完全是新手 此

  • 我正在尝试使用Spark协同过滤实现推荐系统。 首先准备模型并保存到磁盘: 例外情况: 有没有我需要设置的配置来加载模型?任何建议都会很有帮助。

  • 我知道有几个关于这个主题的QnA。我已经尝试了很多解决方案,我总是得到相同的错误。 我的代码结构如下所示: 请帮忙 亲切的问候

  • 使用三维软件导出.obj模型文件的时候,会同时导出一个材质文件.mtl, .obj和.stl文件包含的信息一样都是几何体顶点相关数据,材质文件.mtl包含的是模型的材质信息,比如颜色、贴图路径等。 加载.obj三维模型的时候,可以只加载.obj文件,然后借助three.js引擎自定义材质Material,也可以同时加载.obj和.mtl文件。 只加载obj文件 只加载obj文件,引入路径three

  • 问题内容: 如何在Keras中从HDF5文件加载模型? 我试过的 上面的代码将最佳模型成功保存到名为weights.hdf5的文件中。然后,我要加载该模型。下面的代码显示了我如何尝试这样做: 这是我得到的错误: 问题答案: 仅设置网络的权重。您仍然需要在调用之前定义其体系结构:

  • 实际开发中,大多数项目,通常是3D美术设计师或建筑、机械等行业工程师提供的由3dmx、blender、substence、Solidworks等软件创建好的三维模型文件。 本章节第一小节以Threejs引擎自身为例,讲解Threejs模型导入导出,该小节对Threejs模型文件本身进行了讲解,让你明白你加载的三维模型文件里面都是包含什么内容。其它章节展示了一些加载外部不同格式模型的案例,除了讲解实