他想起了AI发展史上，那篇如同「圣经」般的论文——《AttentionIsAllYouNeed》。
2017年，谷歌的研究员们，发表了这篇划时代的论文，首次提出了「Transformer」架构。这篇论文，就像物理学界的「相对论」，它为整个AI领域，提供了一个全新的丶颠覆性的底层范式。
本书首发台湾小说网书库多，t????w????k????a????n????.c????o????m????任你选,提供给你无错章节，无乱序章节的阅读体验
但是，从《AttentionIsAllYouNeed》这篇仅仅8页的论文，到今天能与人类对答如流的ChatGPT-4，中间隔着许多东西。
徐辰的脑海中，浮现出了那篇论文的作者名单。其中一位作者，NoamShazeer，曾经说过的一句名言，那句话后来成为了AI圈的信条：
「Moneyisallyouneed.」（你只需要钱。）
这虽然是一句玩笑，却道出了大模型训练最残酷的真相。
……
大模型的训练，是一个极其复杂的系统工程，更是一场烧钱的游戏。
首先是数据工程。如何从PB级的原始文本中，清洗出高质量的预训练语料？如何设计Tokenizer（分词器）以平衡词表大小和序列长度？如何构建多样化的指令微调（SFT）数据集？这些都是秘而不宣的行业机密。
其次是训练稳定性。在数千张GPU上进行分布式训练，如何处理梯度爆炸或消失？如何设计混合精度训练策略（MixedPrecisionTraining）以兼顾速度和精度？任何一个环节的参数设置不当，都可能导致Loss（损失函数）无法收敛，甚至训练崩溃。
还有那个着名的「规模定律」（ScalingLaws）。JaredKaplan在2020年提出的这个定律，就像是AI领域的「摩尔定律」。它冷酷地指出：模型的性能与计算量丶数据集大小和参数数量之间，存在着严格的幂律关系。这意味着，想要更智能的模型？没别的办法，堆算力，堆数据，堆钱！
最后是对齐。如何通过RLHF（基于人类反馈的强化学习），利用PPO（近端策略优化）算法，将模型的输出分布与人类的价值观偏好对齐，使其既有用又安全？这更是一个充满了玄学和经验主义的领域。
……
（本章节未完结，点击下一页翻页继续阅读）
正在加载...