【王利民】:从训练的角度来说,由于这个基础模型它的参数通常会比较多,因此训练通常会被分解、拆解为、一个叫预训练,然后再加一个迁移学习的这么一个范式;那么预训练呢,通常我们是希望能够尽可能的啊——减少人的标记,啊,用一些更加高效、可拓展的、这种无监督的或者自监督的方式,通过海量的数据来对我们的啊——这个编码器做一个初始化,那么迁移学习的可能更多的是,我们会考虑到下游任务的一些场景的这个特性,以及我们任务解码器的这么一个设计,希望能有一个高效的方式,可以把大模型啊,不管是参数高效还是计算高效的方式,能够迁移到下一个任务,所以说因此而言,我觉得就未来的这个视觉大模型——“你”可能不可能像自然语言发展的这么完美,就说“哎,我一个模型就可以解决很多事情”; 可能很多时候我们是有一个基础模型,但是我们针对不同的任务体系啊,我们可能会有不同的算法啊,或者有不同的解码的这个体系,乃至于我们可能还有不同的这么这个预训练的方式啊,或者说不同的这个迁移学习的方式啊,所以说我认为他可能对应的是一套算法的体系,可能不一定是只有一个(算法体系)…
我当时听到这里感觉还是有点感想,这里其实就是讲述了decoder存在的其中一个源由:就是在实现下游任务时,需要一个解码器来适配下游任务的表示;