从零构建大模型:算法、训练与微调
内容简介:本书共12章, 涵盖了Transformer模型的基础理论, 如Seq2Seq模型、分词、嵌入层和自注意力机制等关键概念; 并深入剖析了GPT模型的核心实现与文本生成过程, 以及BERT模型的预训练和微调技术。同时, 也对ViT (视觉Transformer) 模型的架构、训练方法, 以及高阶微调策略如Adapter Tuning和P-Tuning进行了详尽讲解。此外, 还系统地介绍了数据处理、数据增强、模型性能优化 (包括混合精度训练和分布式训练)、对比学习、对抗训练、自适应优化器、动态学习率调度, 以及模型蒸馏与剪枝技术等多个方面。
登录后可荐购