学界 | 让机器耳濡目染：MIT提出跨模态机器学习模型
2017年06月11日 机器之心选自arXiv
机器之心编译
作者：Yusuf Aytar等人
参与：李泽南
不变性表示（invariant representation）是视觉、听觉和语言模型的核心，它们是数据的抽象结果。人们一直希望在视觉、有噪音的音频、有同义词的自然语言中获取观点和大量不变性表示。具有识别能力的不变性表示可以让机器从大量数据中学习特征，从而获得近似于人类的识别效果。但在机器学习领域，目前这一方面的研究进展有限。
对此，麻省理工学院（MIT）的 Yusuf Aytar 等人最近在一项研究中提出了全新的方法：研究人员通过多种关联信息的输入让机器学习了跨模态数据的通用表达方式。在文字语句「她跳入了泳池」中，同样的概念不仅出现在视觉上，也出现在了听觉上，如泳池的图像和水花飞溅的声音。如果这些跨模态的表示存在关联，那么它们的共同表示就具有鲁棒性。上文中的句子、泳池的图像和水声应当具有相同的内在表示。
论文：See, Hear, and Read: Deep Aligned Representations
链接：https://arxiv.org/abs/1706.00932
