CUDA并行编程实战 [英]理查德·安索奇_[英]理查德·安索奇_9787111764632

本书是一本深入浅出的CUDA编程实践指南。由CUDA编程领域的资深专家撰写，主要介绍使用C++对NVIDIA GPU进行编程，覆盖了GPU内核与硬件、并行思维与编程、warp和协作组、并行模板、纹理、蒙特卡罗应用等内容，旨在帮助读者快速掌握CUDA编程的核心技能。书中详细介绍了CUDA的基本概念、架构和编程模型，并通过丰富的实战案例和详细解析，指导读者如何编写、优化和调试CUDA程序。本书注重理论与实践相结合，旨在培养读者解决实际问题的能力。无论读者是初学者还是有一定经验的开发者，都能从本书中获益。掌握CUDA编程技能将为读者的职业发展增添重要竞争力，助力读者在科学研究、工程开发、数据分析等领域中脱颖而出。

前　　言
本书主要是为需要强大计算能力的人编写的，包括那些需要这种能力对数据进行获取、处理、分析或建模的科研人员。对于需要处理更大数据集与更复杂图像数据的医疗数据人员，他们也会发现本书对其很有帮助。
在我的整个研究生涯中，我一直在面对复杂而苛刻的计算，首先是在高能物理学实验中，最近是在医学成像的各种应用中。GPU计算的出现是我所见过的最激动人心的发展之一，撰写本书的一个原因就是要与读者分享这种兴奋。
这似乎是摩尔定律的必然结果——对计算能力的需求增长总是超过当前可用的水平。自20世纪80年代初期PC时代开启以来，供应商一直在提供附加卡以提高渲染显示的速度。这些卡现在被称为图形处理单元（Graphic Processing Unit, GPU），在PC游戏行业需求的推动下，它们已经成为非常强大的计算引擎。2007年，NVIDIA推出的CUDA工具包彻底改变了游戏规则，该工具包可以用来编写出利用GPU强大性能的科学应用软件。我们的计算能力突然提高了100倍，不再遵循过去每18个月翻一倍的规律。从那时起，GPU性能也随着时间的推移继续呈指数级增长，超越了摩尔定律。因此，现在开始了解如何在GPU上进行编程，与在2007年一样有用。事实上，你现在想在世界级超级计算机上进行高性能计算（HPC），就必须了解如何使用GPU。
大约在2002年之前，PC计算能力的指数级增长主要依赖于时钟速度的提高。然而从那时候起，时钟速度稳定在3.5 GHz左右，但CPU芯片中的核心数量在稳步增加。因此，并行编程（使用同时运行的多个协作核心来分担单个任务的计算负载）对于从现代硬件中获益至关重要。GPU将并行编程提升到一个新的水平，允许数千甚至数百万个并行线程在计算中进行协作。
科学研究难度大并且竞争激烈，可用的计算能力往往是一个限制因素。将一个重要的计算加快200倍可能会改变游戏规则，将原本需要一周的运行时间缩短到1 h以内，那么一天之内就可以进行结果分析。将需要1 h的运行时间缩短到18 s，这样就可以探索复杂模型的参数空间。将几s的运行时间缩短到几ms，就可以对计算机模型进行交互式研究。本书对个人研究者和小团队应该特别有用，他们可以为自己的内部PC配备GPU，并获得这些性能上的好处。即使是可以轻松访问大型HPC设施的团队，也可以从在他们自己的台式机上使用非常快速的工具来探索其结果而受益。
当然，本书也适合任何有兴趣深入了解GPU和并行编程的读者。即使你已经对该主题有所了解，我们相信你也可以从研究我们的编码风格与选择的示例中受益。
具体而言，本书主要介绍使用C++对NVIDIA GPU进行编程。自2007年以来，NVIDIA已成为HPC领域的主导力量，最近还成为AI领域的主导力量，这不仅由于GPU的成本效益，还由于CUDA语言使用类似于C++的优雅特效。我知道一些科学编程仍然使用Fortran的各种版本（包括Fortran IV，这是我在20世纪80年代初期非常喜欢的一种语言），但在我看来，C++更具表现力。Fortran的粉丝可能会指出使用指针优化C++代码存在技术问题，但这些问题随着在C11中引入restrict关键字，已在C++11中得到解决。现代C++编译器也支持这个关键字，并且在我们的许多示例中都使用它。
示例是本书区别于当前其他关于CUDA书籍的一个特点，我们的示例是从有趣的现实世界应用中精心制作的，包括物理和医学成像，而不是在其他地方找到的相当基础的常见问题。本书区别于其他书籍的另一个特点是，我们在编写代码的外观方面是非常用心的，在适当的地方使用现代的C++来减少冗余并保持简洁，我认为这真的很重要。根据我的经验，许多人会通过修改其他人的代码来学习计算机编程，尽管目前流通的大部分CUDA示例代码都有效，但谈不上优雅。这可能是因为在2007年推出CUDA时，是作为C的扩展而不是C++，最初的SDK示例大多以冗长的C风格编写。不幸的是，许多在线的CUDA教程和书籍中仍然是这种风格。事实上，CUDA一直支持一些C++，现在CUDA完全支持C++17（尽管有一些限制）。2019年11月，（NVIDIA C Programmers Guide）被更名为（NVIDIA C++ Programmers Guide），尽管指南的内容没有发生重大变化，但它标志着NVIDIA对代码的态度改变了，自2020年以来，一些更高级的C++用法开始出现在SDK示例中。
本书的目标不是从零开始教授C++，我们假设你具有一些C++的基本知识。然而附录I会讨论我们示例中使用的一些C++特性。现代C++实际上有点庞大，具有许多支持面向对象和其他高级编程风格的新特性。在本书中不使用这些特性，因为我们认为它们不适合实现在GPU上运行的算法代码，我们还是更喜欢模板函数而不是虚拟函数。
要充分利用本书，你需要使用配备支持CUDA的NVIDIA GPU的PC（许多PC都支持）。这些示例是在配备4核Intel CPU和NVIDIA RTX 2070 GPU（2019年价格为480英镑）的Windows 10 PC上开发的。Linux系统也可以，我们所有的示例都可以在不需要修改的情况下运行。无论你使用什么系统，都需要一个当前版本的（免费）NVIDIA CUDA Toolkit。在Windows上，你还需要Visual Studio C++（免费的社区版也可以）。在Linux上，gcc或g++都可以。
不幸的是，我们

你还可能感兴趣

我要评论