文献阅读_Multimodal data fusion: an overview of methods, challenges, and prospects

文献来源：Lahat D, Adali T, Jutten C. Multimodal data fusion: an overview of methods, challenges, and prospects[J]. Proceedings of the IEEE, 2015, 103(9): 1449-1477.

行文架构

引文

什么是多模态？为什么需要多模态？

多模态作为多样性的一种形式

数据级别上面临的挑战

模型设计层面上面临的挑战

结论

文献主要内容

讨论两个主要问题：为什么需要数据融合；如何进行数据融合

现状（数据融合所面临的挑战）：由复杂系统产生的大量数据，有许多潜在的过程驱动，依赖于无法访问的大量变量；多样性的增加，造成研究问题的数量、类型和范围非常大；异构数据融合的困难。

1. WHY：获得对现有系统的更统一的图像和全局视角；改进决策；探索性研究；回答有关系统的具体问题，如跨模式或时间识别共同和独特的元素。
2. HOW：从数据级别和模型设计两个角度进行考虑。

知识整理（作者在介绍多模态时，对多模态的应用进行了介绍，现总结如下）

1. 多感官系统
   1. 视听多模态
   2. 人机交互
2. 生物医学、健康
   1. 理解大脑机制
   2. 医学诊断
   3. 开发非侵入性医学诊断技术
   4. 智能患者监控
3. 环境研究
   1. 遥感和地球观测
   2. 气象监测
   3. 宇宙学

---

问题:
1、有部分文献中也将多模态数据融合称为多模态融合，那么这两者之间的区别是什么？
2、Baltrusaitis在2019年发布的文献《Multimodal Machine Learning:A Survey and Taxonomy》中,提出多模态机器学习中所遇到的五大挑战：模态表示、模态映射、模态对齐、模态融合、协作学习，那么这五者之间的区别是什么？