理解机

调用 ML 模型的 Spark SQL 框架
授权协议 Apache-2.0
开发语言 Python Scala
所属分类 神经网络/人工智能、 机器学习/深度学习
软件类型 开源软件
地区 国产
投 递 者 齐健柏
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

理解机(英文名为Liga,是“理解”的汉语吴音)是一个在SQL引擎中集成机器学习模型能力的通用框架。

理解机的设计目标是:模块化、可扩展、面向任意规模数据。

理解机的设计理念

  • 理解机V0.2.x是基于Apache Spark实现的,这并不意味着理解机是一个基于Apache Spark的开源项目。Spark SQL仅仅是理解机这套框架想要适配的SQL引擎之一。同样,理解机V0.2.x支持MLflow这个模型注册系统,这并不意味着理解机只能用MLflow这个特定的模型注册系统。
  • 理解机V0.2.x支持使用SQL语法将机器学习应用于大规模的数据集。由于模型注册系统可以将模型的训练和预测解耦。当下,我们专注于实现基于理解机框架的模型应用和服务化。
  • 理解机是一个通用框架,并不限定具体的领域。视觉理解机是基于理解机框架实现的专注于计算机视觉领域的解决方案。未来,我们还会实现听觉、自然语言处理等领域的专用理解机解决方案。

理解机SQL扩展参考

SQL:创建模型

-- Create model
CREATE [OR REPLACE] MODEL model_name
[FLAVOR flavor]
[MODEL_TYPE model_type]
[OPTIONS (key1=value1,key2=value2,...)]
USING "uri";

SQL:管理模型

-- Describe model
{ DESC | DESCRIBE } MODEL model_name;

-- Show all models
SHOW MODELS;

-- Delete a model
DROP MODEL model_name;

历史

理解机源于ETO公司的Rikai项目,在第四次Tubi黑客马拉松中,理解机的作者们将Rikai项目中扩展Spark SQL实现调用机器学习模型的部分从Rikai项目剥离并重构。

  • 序言 Android系统自2007年底被Google推出问世以来,已经走过13个春夏秋冬,历经多次的大大小小的迭代重构、架构调整,虽然时代年轮依旧滚滚,虽然每年技术依然在不断地推陈出新,但是到目前为止,依然可以窥见其接口与实现相分离的核心设计理念,所以其架构设计的优越性可见一斑,另外,随着智能手机的快速普及,面对这一庞大终端市场,作为系统中最重要的几个组件之一的相机系统也必定会作为主要战场在手机市

  • 对比度是指相邻颜色的反差,(可以简单这么理解),调大对比度图像轮廓就会越分明,不过对比不明显的部分损失的就越多。 饱和度指色彩,调节饱和度色彩会发生变化,调的越大,图像颜色就越失真,调节饱和度只适合颜色不足的图片。饱和度调到最低时,图像就会失去色彩,就为黑白图像! 类似电视机的亮度调整一样,如果将亮度调至最低会得到黑色,调至最高会得到白色。 可以找一页打印有文字的 a4 纸作试验,对比度越高,文字

  •         最近一直在看状态机相关的书籍和文章,总感觉有些东西需要写下来,算是总结吧。 想到哪里写到哪里,看客勿怪,有不对的地方,清批评指正。        对于状态机的理解,最初可能是if/else和switch/case,它们直观易懂,根据条件或者 状态值去执行相应的动作,这个是我理解的状态机的最初形式。由于初学,程序规模很小, 甚至就是单任务的,那么这个形式是可以应付的,绝对是物超所值。

  • 状态机在离散数学中可以用有向图来表示,在形式语言中可以用五元组表示。 状态机由一组节点和一组相应的转移函数组成,状态机通过响应一系列事件而“运行”。这让我想起了动态规划中的状态转移方程, 状态机由状态寄存器和组合逻辑电路构成,能够根据控制信号按照预先设定的状态进行状态转移,是协调相关信号动作,完成特定操作的控制中心。 状态机是一种计算模型,不同种类的状态机的计算能力不同,图灵机也是一种状态机,而且

  • 在刚开始接触运维的时候,总是会碰到许多术语,比如今天要介绍的业务,应用,集群,主机。 首先我们来看看百度百科上是怎么解释的。 业务:涉及一个以上组织,按某一共同的目标、通过信息交换实现的一系列过程,其中每个过程都有明确的目的,并延续一段时间。 应用:现代人常说的应用,一般指手机和平板电脑的应用。在面向对象上通常分为个人用户应用与企业级应用 集群:集群通信系统是一种用于集团调度指挥通信的移动通信系统

  • 1.桥接模式:这种模式下,虚拟机和物理机连的是同一个网络,虚拟机和物理机是并列关系,地位是相当的。比如,你家有路由器,那么你的电脑和你的手机同时连接这个路由器提供的Wi-Fi,那么它们的关系就是这种模式。 2.NAT模式:这种模式下,物理机会充当一个“路由器”的角色,虚拟机要想上网,必须经过物理机,那物理机如果不能上网,虚拟机也就不能上网了。之所以说这种模式兼容性最好,是因为物理机的网络环境变化时

  • 前置机是一般存在于前台客户端和后台服务器之间,扮演适配器的角色,即:在不同的通信协议、数据格式或语言 之间相互转换。它还起着管理和调度前台所发起的交易作用,经过前置机的调度,可以减轻后台服务器的负担,并 且有时在客户端和后台服务器间起着防火墙的作用。这样可以起到隐藏后台的功能,在一定程度上确保后台的安全 性。 在角色上,前置系统永远是服务端和客户端的集合体,即:前台终端的服务器和后台服务器的客户端

 相关资料
  • 我正在尝试将我的模型保存为从spark ml库创建的对象。 但是,它给了我一个错误: 以下是我的依赖项: 我还想将从模型生成的dataframe保存为CSV。

  • 我正在尝试使用Spark协同过滤实现推荐系统。 首先准备模型并保存到磁盘: 例外情况: 有没有我需要设置的配置来加载模型?任何建议都会很有帮助。

  • 您可以使用ML Kit配合TensorFlow Lite模型执行在设备上的推理 。 ML Kit只能在运行iOS 9或更新版本的设备上使用TensorFlow Lite模型。 请参阅GitHub上的ML Kit快速入门示例,了解正在使用的此API的示例。 在开始之前 如果您还没有将Firebase添加到您的程序当中,那您可以从开始指南来开始您的工作。 将ML kit库放进您的Podfile中: p

  • 您可以通过ML Kit使用TensorFlow Lite模型执行设备上的推理 。 此API需要Android SDK level 16(Jelly Bean)或更新的版本。 有关此API使用的示例,请参阅GitHub上的ML Kit快速入门示例,或者尝试使用codelab。 在你开始之前 如果您还没有将Firebase添加到您的程序当中,那您可以从开始指南来开始您的工作。 在应用级的build.g

  • 我想知道是否有一种方法(或某种代码示例)在Flink流媒体应用程序中加载编码的预训练模型(用python编写)。所以我可以使用从文件系统加载的权重和来自流的数据来拟合模型。 先谢谢你

  • 使用AWS SageMaker时,完成模型培训后,SageMaker将模型作为模型输出。焦油gz文件位于特定的S3存储桶中。文档建议的下一步是将模型部署到SageMaker上。但是,我不想部署该模型。在我的例子中,不走这条路线需要考虑服务到服务的延迟。此外,我还想在离线场景中利用模型的预测。有人能拿这个模型吗。焦油gz并将其转换为java库?你用了什么工具?你是如何解析模型的?

  • 本文向大家介绍dedecms中自定义模型的理解?相关面试题,主要包含被问及dedecms中自定义模型的理解?时的应答技巧和注意事项,需要的朋友参考一下 在织梦系统中有内容模型这个概念,不同内容模型可以用来构建不同内容形式的站点,在系统中自带了以下几种模型:普通文章、图集、软件、商品、分类信息、专题。通过系统自带的模型,我们可以用来构建不同类型的站点,例如:使用图集可以做一个图片站,用软件模型构建一

  • 注: 内容翻译自 data model etcd设计用于可靠存储不频繁更新的数据,并提供可靠的观察查询。etcd暴露键值对的先前版本来支持不昂贵的快速和观察历史事件(“time travel queries”)。对于这些使用场景,持久化,多版本,并发控制的数据模型是非常适合的。 ectd使用多版本持久化键值存储来存储数据。当键值对的值被新的数据替代时,持久化键值存储保存先前版本的键值对。键值存储事