AI 边缘工程师
AI、云和边缘之间的相互作用是一个不断发展的领域。 目前,很多 IoT 解决方案都基于基本遥测。 遥测功能会部署来自边缘设备的数据并将它保存在数据存储中。 而我们的方法不仅是处理基本遥测。 我们的目标是通过机器学习和深度学习算法对实际的问题进行建模,并在边缘设备上通过 AI 和云实现该模型。 该模型在云端进行训练,并部署到边缘设备上。 部署到边缘提供了一个反馈循环来改进业务流程(这就是数字化转型)。
在此学习路径中,我们采用了跨学科的工程方法。 我们希望针对在无人机和无人驾驶汽车等边缘设备上部署 AI 的众多复杂领域创建一款标准模板。该学习路径为复杂 AI 应用不断发展的格局提供了实现策略。 容器是该方法的核心。 部署到边缘设备时,容器可将部署环境封装起来供各种硬件使用。 CICD(持续集成 - 持续部署)是一种在边缘设备上部署容器额逻辑扩展。 在此学习路径的后续模块中,我们可能会讲解微控制器单元上的无服务器计算和部署等其他技术。
工程引领的方法巩固了工程教育方面的主题/教学,例如
- 系统思维
- 试验和问题解决
- 通过试验改进
- 通过测试部署和分析
- 对其他工程领域的影响
- 组件或系统的预测行为
- 设计注意事项
- 在约束/容差和特定操作条件(如设备限制)下工作
- 安全注意事项
- 构建有助于创建解决方案的工具
- 改进流程 - 借助边缘 (IoT) 向业务流程提供一个分析反馈循环,从而驱动流程
- 工程的社会影响
- 设计和工程对审美的影响
- 大规模部署
- 通过 AI、边缘和云的端到端部署解决复杂的业务问题。
最终,在 CICD 模式中部署为容器的 AI、云和边缘技术可创建一个横跨整个价值链的行业特定的自主学习生态系统,实现整个行业的转型。 我们希望设计这样一组模板/方法,它们可帮助在云环境中将 AI 部署到边缘设备。 在此学习路径中,你将:
- 学习如何使用 IoT 和云创建解决方案
- 了解在边缘设备上部署基于 IoT 的解决方案的流程
- 了解使用容器将模型实施到边缘设备的流程
- 探索 DevOps 在边缘设备方面的使用
与牛津大学联合制作 - Ajit Jaokar《人工智能:云和边缘实现》课程。
先决条件
无
添加
成就代码
是否希望请求成就代码?
本学习路径中的模块
确定 Azure IoT 可以添加值的业务流程类型的特征。 调查有助于构建 IoT 解决方案的 Azure IoT 服务,例如 IoT 中心和 IoT Central。
评估 Azure IoT 中心的特征并判定可使用 IoT 中心的场景。
介绍 IoT Edge 的基本特征和 IoT Edge 组件(模块、运行时和云接口)的功能。 描述可以使用 IoT Edge 解决的问题类型。 介绍如何组合 IoT Edge 的元素,解决在云中部署 IoT 应用程序时遇到的问题。
使用容器将预生成的温度模拟器模块部署到 IoT Edge 设备。 检查是否已成功创建并部署该模块,然后查看模拟的数据。
评估用于 IoT 的 Azure Functions 的特征。 描述触发器和绑定的功能,并演示如何将二者结合以创建可缩放的 IoT 解决方案。 描述通过 Azure Functions 使用云基础结构快速部署 IoT 应用程序的好处。
创建并部署 Azure 函数以构建语言翻译 IoT 设备。 该函数将使用认知语音服务。 你的设备将录制外语声音并将语音转换为目标语言。
实现认知服务,以便在 IoT Edge 设备上执行语言检测。 描述在 IoT Edge 设备上实现认知服务涉及的组件和步骤。
分析 MLOps 在 IoT Edge 机器学习模型开发和部署中的重要性。 描述 MLOps 管道的组件,并演示如何将它们组合起来以创建可自动为 IoT Edge 设备重新训练的模型。
定义用于虚拟 Azure IoT Edge 设备冒烟测试的解决方案。 你的解决方案将在 Kubernetes 群集上使用 Azure DevOps 和 Azure Pipelines 来应用 CI/CD(持续集成/持续部署)策略。
确定了可使用 Azure Sphere 解决的业务问题的类型。 介绍了 Azure Sphere 的功能和组件(微控制器单元、操作系统、基于云的安全服务)。 描述了这些组件如何提供一个安全平台,用于开发、部署和维护已连接到 Internet 的安全 IoT 解决方案。
实现神经网络模型,以便在基于已连接 Internet 的安全微控制器的设备 (Azure Sphere) 上执行实时图像分类。 描述在 Azure Sphere 上实现预先训练的图像分类模型涉及的组件和步骤。
部署 Azure Sphere 设备应用程序,用于监视实验室场景中的环境条件。 应用程序将监视室内环境条件,连接到 IoT 中心,并将遥测数据从设备发送到云中。 你将控制云到设备通信,并根据需要执行操作。
部署 Azure Sphere 应用程序,用于监视实验室的环境条件。 应用程序将监视室内环境,连接到 Azure IoT Central,并将遥测数据从设备发送到云。 你将控制云到设备通信,并根据需要执行操作。
使用 Azure AI 服务和 Azure 语音服务在 IoT Edge 上创建计算机视觉解决方案。 该应用程序将捕获和识别扫描的商品,并将该商品的名称转换为语音。
使用 IoT Edge 上的实时视频分析模块,并将自定义视觉机器学习解决方案部署到 IoT Edge 设备。 该解决方案将识别货架中的空隙空间。 检查解决方案是否已成功部署,并从 Web 应用程序测试解决方案。
使用实时视频分析模块将机器学习解决方案部署到 IoT Edge 设备。 该解决方案将处理来自相机的视频源,并使用 YOLO 模型检测边缘对象以执行推理操作。 检查解决方案是否已成功部署,并从 Web 应用程序测试解决方案。