扩大训练规模以及指令微调

为此，开发了一个高质量人工评估数据集，包含,个提示，这些提示了涵盖了个关键的应用场景，包括询问建议、头脑风暴、分类、选择题、编码、创意写作、信息提取、角色扮演、开放性问答、逻辑推理、改写和总结。 为了防止 在评估数据集上过拟合，建模团队自己也无法访问它。 人工评估结果显示， 的表现远胜于 、-、 和 。


大模型发展到如今，再要往哪里创新？ 在整个项目中，重点关注了四个关键要素：模型 伯利兹电子邮件列表 架构、训练数据、。 分词器+ 在架构上，依然为 选择了架构。 这个架构是相对标准的纯解码器，不过相比于 做了几个关键改进。 比如， 使用了一个具有个的分词器，可以更有效地编码语言，这就显著提高了模型性能。






而为了提高 模型的推理速度，在和两种规模上都采用了分组查询注意力（ ，）机制。 此外，还在,个的序列上训练模型，并通过掩码确保自注意力机制不会跨越文档边界。 万亿训练，倍于 同时，大型高质量的训练数据集也至关重要。 为了预训练数据，团队投入了大量资源。 最终， 在超过万亿个上进行了预训练，而这些都是从公开可用的来源收集的。