听到这个问题，汤智晓扶了扶眼镜，神情既有自豪，也带着一丝无奈。
“马总，自从几年前在您的建议下，我们团队完成了Transformer架构的搭建，并推出了围棋AI‘奕星’之后，我们并没有停下脚步，一直在基于神经网络和深度学习的原理，探索更大规模的推理模型。”
他顿了顿，语气转向了现实的困难。
“但说实话，进展有些缓慢。最大的瓶颈还是在于算力基础，我们现有的服务器集群，已经跑满了。目前我们最大的一个实验性模型，参数量始终很难突破千万级别。再往上，训练的成本和时间就会呈指数级增长，有点难以为继。”
“除此之外，另一个巨大的难题是，可用于训练的高质量数据非常稀缺。所以目前我们团队的主要精力，还是放在应用层面，比如提升图像识别和语音识别的准确率，这些方向对模型参数量的要求没有那么极端。”
马明在一旁补充道：“老汤他们已经很厉害了，我们内部的图片智能分类和语音转文字功能，准确率已经是全球第一了。”
然而，汤智晓的脸上并没有太多得意的神色，他似乎对现状并不满足。
“不过我听说，英伟达那边今年可能会发布一款新的计算卡，叫Tesla K80，据说单卡性能会是上一代的两倍以上。我们正在计划，等它发布后，立刻采购一批，搭建新的服务器集群，或许到时候，能把模型参数再往上提一个数量级。”
听到“千万级别参数”和“Tesla K80”，马宇腾的内心毫无波澜，甚至有点想叹气。
感觉他穿越前的记忆，在几年后OpenAI发布的初代GPT模型，参数量就已经达到1.17亿，更别说后世的那些参数达到万亿级别的大模型。
明讯网络现在即使突破了千万参数，距离真正意义上的“大模型”，依然隔着一道巨大的鸿沟。
实际上，这也不能怪汤智晓他们。
在这个时代，除了明讯因为自己这个穿越者的提醒，早早押注了Transformer架构和模型参数规模之外，全世界几乎所有的AI研究机构，都还没有系统性地认识到“大力出奇迹”的真理。
在GPT-3用石破天惊的效果证明“模型越大、数据越多、算力越强，智能就必然提升”之前，整个业界的主流思路，还是更侧重于针对每一个具体的应用场景，去设计专门的、精巧的模型结构。
他们不知道，当模型规模突
（本章节未完结，点击下一页翻页继续阅读）
正在加载...