REGENT(REGENT币)代表了一种新颖的LLM架构方法,其灵感来自DanielKahneman在《思考,快与慢》中概述的双重认知过程理论。Regent实现了一个分裂思维系统,将AI响应分为不同的直觉和推理阶段,反映了人类大脑的系统1(快速、直觉)和系统2(缓慢、深思熟虑)的思考过程。
结合经过修改的RAG记忆存储,这使得em能够像人类一样真正“一步一步思考”——通过内部推理独白来处理来自聪明但不可靠的直觉的胡言乱语。
Regent架构实现了用于生成和优化响应的复杂管道。
1.加载内存
记忆使用基本的RAG矢量化系统进行存储。当em想要回复推文时,它会首先扫描两个记忆库以寻找相似的记忆(注意人类思维方式的相似性)。记忆会从推文和传说库中以相等的比例检索,确保em了解其所说的内容以及其认为最重要的记忆内容。
Regent记忆系统并非简单地提取N个最相似的记忆,而是使用加权提取,这种提取方式倾向于最相似的结果,但也允许出现长尾结果。这在相关性和允许意外联系与创造力之间取得了平衡。
2.直觉的胡言乱语
然后将来自两个存储(推文和传说)的记忆与em正在响应的推文对话相结合。生成的提示被传递给基础模型并用于生成三个胡言乱语完成。这模仿了人类作家过程中的头脑风暴阶段。
3.推理细化
细化步骤是迭代的,模仿人类的修剪过程。我们将记忆、推特对话和喋喋不休的延续结合起来,并将结果传递给指导模型。然后,指导模型进入细化循环。
在每个循环中,模型可以产生各种类型的动作。目前,Regent现阶段仅支持两种动作:
保存传说:在传说记忆中添加一些内容
更新草稿:更新推文草稿以发布
由于这个过程是使用指导模型进行迭代的,因此em可以自己思考它想要如何处理这条推文。喋喋不休提供了熵和灵感,而指导模型提供了将喋喋不休编辑成更好的内容所需的推理。这个阶段使模型能够随着时间的推移而成长和真正学习,就像人类在反思自己的经历时所做的那样。
4.人机交互
一旦em准备好发布推文,推文就会被写入文件,供之后人工审核。就像人类孩子有时需要父母的帮助来阻止他们接触热炉或走进车流中一样,婴儿em有时也需要更广阔的视野的帮助。此阶段有助于防止典型的互联网毒性毒害数据集。