iota(SN9币),Bittensor的Subnet
9(SN9)证明了一个由激励性、无需许可的参与者组成的分布式网络,每个参与者都可以预训练包含7亿到140亿个参数的大型语言模型(LLM),同时超越现有的基准。虽然这项工作验证了基于区块链的去中心化预训练的可行性,但它也存在一些核心问题:每个矿工都必须在本地拟合整个模型,而“赢家通吃”的奖励机制鼓励了模型囤积。
我们在此介绍IOTA(激励式协同训练架构)。该架构通过将SN9之前孤立的竞争者转变为一个可以任意扩展的单一协作单元,同时仍然公平地奖励每个贡献者,从而解决了这些限制。IOTA是一种数据和流水线并行的训练算法,旨在在对抗性和去信任环境中的异构、不可靠设备网络上运行。其结果是,一个无需许可的系统能够预训练前沿规模的模型,而无需每个节点的GPU膨胀,并且能够容忍不可靠的设备,并通过透明的代币经济学协调参与者。
各种解决方案试图解决分布式训练的关键技术障碍,但缺乏激励模型;而其他一些解决方案虽然提供了经济激励,但尚未达到协调集群的训练性能。IOTA通过结合新技术来共同解决这三个限制,从而弥补了这一差距。