Transformer模型开发从0到1——原理深入与项目实践_李瑞涛_9787302684169

本书以实战项目为主线，以理论基础为核心，引导读者渐进式地学习Transformer模型。
本书分为5篇共17章。Transformer模型基础篇（第1~5章）重点介绍Transformer模型框架。把Transformer模型掰开，从最基础的输入出发，按照模型框架，一点一点走进Transformer模型的内部，直到最终的模型输出；Transformer模型NLP领域篇（第6章和第7章）重点介绍Transformer模型在自然领域中的应用，了解ChatGPT的往事今生；Transformer模型计算机视觉篇（第8~10章）重点介绍Transformer模型在计算机视觉任务中的应用，让Transformer模型可以看到真实的世界；Transformer模型进阶篇（第11~13章）重点介绍Transformer模型在多模态领域上的应用，以及与其他模型的混合模型；Transformer模型实战篇（第14~17章）从环境搭建到NLP领域，计算机视觉领域，音频领域等的代码实战，彻底讲解Transformer模型的运行机制。
本书的每个章节、每个知识点都有对应的代码解析与精美图片展示，让读者能够更加容易理解Transformer模型的各个核心知识点。
本书既适合初学者入门，精心设计的案例对于工作多年的开发者也有参考价值，并可作为高等院校和培训机构相关专业的教学参考书。

人工智能从广义上来讲，凡是不涉及人类参与的动作或者行为都可以称为人工智能。在人工智能初期发展阶段，研究人员试图通过设定复杂的规则与逻辑模拟人类的思维过程，让真正的人工智能从科幻小说走进现实生活，但是随着研究的深入，研究人员发现无法通过简单的规则与逻辑来应对现实世界复杂与多变的环境。

20世纪80年代，随着机器学习的兴起，标志着人工智能进入了新的阶段。机器学习强调从数据中学习规律，通过对大量的数据进行训练，机器学习算法可以自动地构建模型，用于预测或决策。机器学习方法显著地提高了人工智能系统的灵活性与适用性，但是机器学习需要人类将大量的数据标注给人工智能模型，让模型去学习所有数据特征，例如如果想让模型识别出一个苹果，就需告诉模型苹果都有哪些特征，符合这些特征的水果便是苹果。机器学习在特征数据搜集上浪费了大量时间。

深度学习的突破引发了人工智能领域又一轮的技术革命。深度学习模仿人类大脑，利用多层的神经网络，能够自动提取数据中的特征，显著地提高了模型的自动识别能力。特别是在图像识别、语音识别和自然语言处理任务上，深度学习取得了显著的成绩，例如让模型同样识别一个苹果，那么就直接告诉模型，这就是一个苹果，其所有的苹果特征由模型的神经网络自动识别提取，大大地提高了模型的表现能力。卷积神经网络与循环神经网络模型作为深度学习的两大代表，分别在图像识别与自然语言处理任务上表现出了强大的能力。

2023年，ChatGPT(智能对话聊天机器人)的流行，让人工智能走进了大众的视野。一直以来人工智能主要是技术专家涉及的领域，但是ChatGPT打破了技术壁垒，让人人可以使用人工智能技术带来的便利。ChatGPT简直是一个万能通，不仅熟练掌握各国语言，而且掌握了海量的知识，无论什么问题，ChatGPT都能对答如流。

人工智能技术的发展，让人不仅感慨技术的发展是如此之快，让人目不暇接。虽然很多人对人工智能技术持反对意见，但是并没有阻碍人们对技术的热爱，以及人们对人工智能技术的不断追求，而ChatGPT的盛行，让人对背后的技术产生了浓厚的兴趣。剖析ChatGPT背后的技术，便是一个标准的Transformer模型的解码器。

何为Transformer模型？

传统的循环神经网络在处理长序列输入数据时存在一定的局限性。由于循环神经网络模型具有时间特性，所以模型难以捕捉远距离的依赖关系。Transformer模型是谷歌公司开发人员为机器翻译任务打造的一款模型框架，其主要目的是实现机器翻译任务。Transformer充分使用了GPU硬件资源的优点，开发出了可以并行运算的注意力机制，使模型可以高效地捕捉序列中不同位置之间的关系，而正是注意力机制的优点，让Transformer模型在人工智能领域大放光彩。在自然语言处理、计算机视觉、音频视频领域等，研发人员使用Transformer模型重新打造了不同领域的Transformer模型，让Transformer模型几乎占领了整个人工智能领域。

想了解人工智能技术，进军人工智能领域，Transformer模型必然是一个不可或缺的模型。很多模型借鉴了标准的Transformer模型，并在此基础上更新迭代。

那到底Transformer模型是什么?由哪些细节成功地打造了人工智能领域的半壁江山？

本书将从0到1，彻底讲透Transformer模型，帮助读者深入地理解Transformer模型，并学会将模型应用到实际问题中。本书将从Transformer的基本原理讲起，逐步介绍在自然语言处理、图像识别、音频等领域的应用。扫描目录上方的二维码可下载本书源码。

人工智能的发展不仅改变了人类的生活方式，也为人类探索智慧提供了新的途径。通过学习本书，希望读者不仅能掌握Transformer模型的核心知识，更能从中汲取灵感，投入人工智能的研究与应用中，共同推动人工智能领域不断发展。

本书是作者对Transformer模型的个人理解，难免存在疏漏之处，敬请广大读者批评指正。

李瑞涛
2025年1月于青岛

你还可能感兴趣

我要评论