多模态大模型技术及应用
内容简介:本书共9章,第1章和第2章介绍了多模态大模型的基础理论与数据处理技术,包括多模态数据的特征、预处理方法与增强策略。第3章和第4章阐述了多模态表示学习与嵌入方法,涵盖数据融合、模态对齐、联合学习等关键技术。第5章展示了多模态模型的训练与微调策略,如注意力机制、对比学习与混合精度训练等优化方法。第6章探讨了OpenAI的多模态模型CLIP,帮助读者掌握训练、增强和微调CLIP的知识。第7章介绍了基于CPM中英双语多模态大模型的文生图系统实现过程。第8章和第9章分别介绍了DeepSeek多模态大模型和基于Latent Diffusion Transformer的文生视频系统的构建过程。
登录后可荐购