从上世纪80年代开始，对多模态的认知与发展已经慢慢从心理学上的“behavioral”阶段进入到“computational”阶段，最先提出 Audio-visual speech recognition（音视频语音识别）。紧接着由于YouTube等网站视频量的井喷式增长，希望开发基于关键字或者视频内容的搜索（工业推动学术），Content-based video retrieval（基于视频内容检索），Video event recogntion（视频事件识别）等也迎来了蓬勃发展。后来开始关注通过视频或语音探索人类的情绪，导致涌现了一大批 Affect and emotion recognition 情绪情感识别，Multimodal sentiment analysis 多模态情绪分析等工作。再到最近5-10年，有关视觉-语音，视频字幕，多模态导航等新应用层出不穷，多模态领域的研究蒸蒸日上。
多模态相关工作及数据集可以看：ppt：multimodal research tasks and datasets