谷歌论文称内部已实现RSI:经验可跨模型继承
导读
这篇讲的是谷歌和宾州州立大学的一篇论文,提出了一个叫“自我改进记忆(SIM)”的机制。简单说,就是让模型把自己优化过的经验写进记忆里,而且这些经验还能跨模型家族继承下去。
关心AI模型训练、模型迭代效率的人会感兴趣,尤其是做模型优化和记忆机制研究的读者。它讨论的是模型能不能像人一样积累经验、越用越强。
最值得看的一点是“经验可跨模型继承”:不是每个模型都从零学起,前一个模型摸索出的优化经验能传给后面的模型,这跟论文标题里提到的RSI直接相关。
这篇讲的是谷歌和宾州州立大学的一篇论文,提出了一个叫“自我改进记忆(SIM)”的机制。简单说,就是让模型把自己优化过的经验写进记忆里,而且这些经验还能跨模型家族继承下去。
关心AI模型训练、模型迭代效率的人会感兴趣,尤其是做模型优化和记忆机制研究的读者。它讨论的是模型能不能像人一样积累经验、越用越强。
最值得看的一点是“经验可跨模型继承”:不是每个模型都从零学起,前一个模型摸索出的优化经验能传给后面的模型,这跟论文标题里提到的RSI直接相关。