第1章深度学习与大模型001 1.1从深度学习到大模型002 1.1.1从深度学习到大模型的发展史002 1.1.2深度学习和大模型的特点004 1.1.3深度学习和大模型算法分类004 1.1.4大模型的AIGC应用005 1.2Python简介006 1.2.1安装Python006 1.2.2Python常用库008 1.3PyTorch简介009 1.3.1安装PyTorch009 1.3.2PyTorch核心模块011 1.3.3PyTorch辅助库012 1.4本章小结012 第2章PyTorch快速入门013 2.1张量014 2.1.1张量的数据类型014 2.1.2张量的生成015 2.1.3张量的操作019 2.1.4张量的数学运算025 2.2PyTorch中的自动微分030 2.3torch.nn模块030 2.3.1容器030 2.3.2卷积层032 2.3.3池化层036 2.3.4填充层038 2.3.5激活函数层038 2.3.6归一化层040 2.3.7循环层041 2.3.8全连接层042 2.3.9Transformer层042 2.4PyTorch中的数据操作和预处理043 2.4.1图像数据043 2.4.2文本数据047 2.5PyTorch应用GPU训练049 2.6本章小结051 第3章PyTorch深度神经网络构建及训练052 3.1梯度下降优化算法053 3.2PyTorch中的优化器055 3.3PyTorch中的损失函数058 3.4网络欠拟合与过拟合059 3.4.1欠拟合与过拟合的表现形式059 3.4.2过拟合的防止060 3.5网络参数初始化061 3.5.1常用的参数初始化方法061 3.5.2参数初始化应用实例062 3.6PyTorch中定义网络的方式064 3.6.1数据准备064 3.6.2方式1：继承Module的网络定义与训练064 3.6.3方式2：利用Sequential的网络定义与训练066 3.7PyTorch模型保存和加载方法067 3.8基于PyTorch的相关可视化工具067 3.8.1深度学习网络结构的可视化069 3.8.2使用tensorboard进行可视化071 3.9本章小结073 第4章卷积神经网络074 4.1经典的卷积神经网络075 4.1.1LeNet-5075 4.1.2ALexNet076 4.1.3VGG 076 4.1.4GoogLeNet077 4.1.5TextCNN078 4.1.6ResNet 079 4.1.7DenseNet080 4.1.8MobileNet081 4.1.9ShuffleNet 083 4.1.10ConvNeXt084 4.2预训练好的卷积神经网络微调085 4.2.1准备VGG16网络087 4.2.2准备网络训练需要的数据088 4.2.3微调网络训练与预测089 4.3TextCNN情感分类090 4.3.1文本数据预处理与探索090 4.3.2TextCNN网络数据准备092 4.3.3TextCNN网络构建094 4.3.4TextCNN网络训练与预测095 4.4使用预训练好的卷积神经网络097 4.4.1获取中间特征进行可视化097 4.4.2可视化图像的类激活热力图098 4.5ResNet网络mini-ImageNet图像分类100 4.5.1mini-ImageNet图像数据准备101 4.5.2ResNet网络构建101 4.5.3ResNet网络训练与预测104 4.6本章小结105 第5章循环神经网络106 5.1常见的循环神经网络107 5.1.1RNN107 5.1.2LSTM107 5.1.3GRU108 5.1.4BiRNN109 5.1.5Seq2Seq109 5.2RNN手写字体分类110 5.2.1MNIST数据准备111 5.2.2 RNN分类器构建111 5.2.3RNN分类器训练与预测112 5.3LSTM中文新闻分类114 5.3.1数据准备116 5.3.2LSTM网络构建118 5.3.3LSTM网络训练118 5.3.4LSTM网络预测119 5.4GRU中文新闻分类120 5.4.1GRU网络构建120 5.4.2GRU网络训练与预测121 5.5本章小结122 第6章Transformer和Mamba网络123 6.1Transformer系列网络模型124 6.1.1注意力机制124 6.1.2Transformer126 6.1.3ViT126 6.1.4Swin-Transformer127 6.1.5MaxViT128 6.1.6DeiT129 6.1.7DETR129 6.1.8Deformable DETR131 6.1.9Mask2former131 6.2Mamba系列网络模型132 6.2.1SSM133 6.2.2Mamba134 6.2.3Vision Mamba136 6.2.4VMamba137 6.2.5Mamba Vision138 6.2.6U-Mamba139 6.3ViT网络mini-ImageNet图像分类140 6.3.1mini-ImageNet数据准备140 6.3.2ViT网络构建141 6.3.3ViT网络训练与预测143 6.4Mamba Vision网络mini-ImageNet图像分类144 6.4.1Mamba Vision网络构建144 6.4.2Mamba Vision网络训练与预测152 6.5本章小结153 第7章图像语义分割和目标检测154 7.1语义分割网络155 7.1.1经典的语义分割网络155 7.1.2语义分割评价指标157 7.2目标检测网络158 7.2.1经典的目标检测网络158 7.2.2目标检测评价指标162 7.3预训练网络语义分割和目标检测163 7.3.1预训练语义分割网络应用163 7.3.2预训练目标检测网络应用164 7.4U-Net语义分割实战165 7.4.1数据准备166 7.4.2网络构建168 7.4.3网络训练与测试170 7.5本章小结173 第8章图像生成和风格迁移模型174 8.1图像生成模型175 8.1.1自编码模型175 8.1.2生成对抗网络177 8.1.3扩散模型179 8.2风格迁移模型182 8.2.1普通风格迁移182 8.2.2快速风格迁移183 8.2.3图像风格迁移评价指标184 8.3自动编码器图像重构实战185 8.3.1手写数字数据准备185 8.3.2自编码网络构建186 8.3.3自编码网络训练186 8.3.4自编码网络数据重构187 8.4扩散模型图像生成实战188 8.4.1扩散模型数据准备188 8.4.2扩散模型网络构建189 8.4.3扩散模型网络训练与图像生成189 8.5快速风格迁移实战190 8.5.1风格迁移网络准备191 8.5.2风格迁移数据准备192 8.5.3网络训练与结果展示193 8.6本章小结196 第9章大语言模型197 9.1大语言模型简介198 9.1.1大语言模型发展情况198 9.1.2大语言模型架构类型200 9.1.3大语言模型分词方法201 9.1.4BERT模型202 9.1.5GPT模型204 9.1.6LLaMA模型206 9.1.7GLM模型208 9.1.8DeepSeek模型209 9.1.9Qwen模型211 9.1.10大语言模型评估方法211 9.2大语言模型微调215 9.2.1提示词工程215 9.2.2检索增强生成218 9.2.3参数高效微调221 9.3大语言模型应用实战224 9.3.1LoRA微调大语言模型实战224 9.3.2大语言模型RAG应用实战227 9.4本章小结229 第10章多模态大模型230 10.1多模态大模型简介231 10.1.1多模态大模型发展情况231 10.1.2多模态大语言模型架构234 10.1.3多模态大模型幻觉问题236 10.1.4多模态大模型评估236 10.1.5多模态大模型应用场景与发展趋势237 10.2经典的多模态大模型238 10.2.1CLIP模型238 10.2.2BLIP系列模型239 10.2.3DALL·E系列模型241 10.2.4SAM系列模型243 10.2.5Gemini系列模型245 10.2.6Qwen-VL系列模型248 10.2.7GPT-4/5模型250 10.2.8视频生成多模态大模型250 10.2.9语音生成多模态大模型252 10.3多模态大模型应用实战252 10.3.1SAM图像语义分割252 10.3.2Qwen2-VL图像描述253 10.3.3Gemini文生图254 10.4CLIP微调图像分类254 10.4.1mini-ImageNet数据准备255 10.4.2导入CLIP模型255 10.4.3CLIP模型微调256 10.5本章小结257 参考文献258