多模态问答的方法和挑战

多模态检索成为近期关注的问题，当前的方法包括单流方法、多流方法，以及不同模态之 间对齐的技术，已经在知识挖掘L域开展应用。

图像问答可以分为三个层次:

1.初J:从图像识别啲结果中直接得到答案

2.中等：答案需要简单事实的支持

3.GJ:对于复杂的问题，答案不在图像中，可能涉及常识、具体 话题和百科知识进行推理

多模态问答的挑战：

1 多模态数据具有异构性

2 多模态数据的关联难度表示较大

3 多模态知识融合困难

4 多模态问答大多只能处理简单的问题

5 多模态知识问答推理能力弱

6 多模态知识问答可解释性差