获得原始大脑数据后,研究人员就可以用大语言模型等对其进行解码,提取重要的视觉、文本信息。所以,获取大脑活动数据是翻译、重构人类想法、思维画面的关键基础。
Meta的论文地址:https://ai.meta.com/static-resource/image-decoding
对标记的依赖性:尽管DeWave方法在文中声称可以在没有标记(如眼动追踪)的情况下实现脑电波到文本的翻译,但它仍然依赖于基于标记的对齐过程。
然而,解决大模型的幻觉问题并不容易。一般情况下,当检索不到相关信息或知识库中没有相关信息时,大模型会产生幻觉来填补空白。为了解决这个问题,WikiChat通过汇总和过滤检索到的信息,而不是直接生成响应。同时,研究人员还教导了LLM理解时间背景,以及在必要时让系统说「我不知道」。
通过实验,Paint3D 在生成多样化纹理贴图方面表现显著,几乎在所有样本上达到更好的效果,成为唯一一个能生成无内嵌光照纹理的算法。