本书从数学基础与编程基础开始，逐步引导读者领略深度学习的起源与发展，向读者介绍深度学习在计算机视觉、自然语言处理等方面的实际应用，并为读者呈现*前沿的深度学习研究进展，同时深入剖析技术原理，带领读者逐步推导深度学习背后的数学模型，并结合飞桨（PaddlePaddle）深度学习框架实现项目，代码清晰，易于理解。本书深入浅出，将原理解析与国内流行的深度学习框架飞桨实例结合，旨在使读者更全面、更清晰地掌握深度学习的前沿技术。 本书可作为深度学习的入门读物，也可作为信息学科本科生和研究生的教材，还可供信息产业从业者使用。

首部产学研深度结合、千余名高校AI教师实战验证的专业图书

 

前言
深度学习源于人工神经网络，自2006年被提出后，受到学术界和工业界的高度关注，迅速成为机器学习领域最为活跃的一个分支。深度学习是一种基于对数据进行表征学习的方法，通过构建具有多个隐层的学习网络和海量的训练数据，来学习有用的特征，通过逐层特征变换，将样本在原空间的特征表示变换到新特征空间，从而实现更加准确高效的分类或预测。近年来，深度学习方法已经在计算机视觉、自然语言处理、语音识别、记忆网络等诸多领域中得到广泛应用，取得了令人惊喜的应用成果。
本书是一本关于深度学习的入门级教程，主要介绍深度学习的基本概念、基本原理和基本方法，从数学基础、编程知识和机器学习基本知识开始，由浅入深地讲解深度学习的主要内容，系统深入地剖析深度学习各部分的原理、技术和方法，以及相关的应用，并结合百度深度学习框架飞桨（PaddlePaddle），进行项目实战，带领读者全面、清晰地理解和掌握深度学习技术。本书的一大特点是将深度学习的理论方法与编程、项目实践结合起来，以便加深加快读者对所学内容的理解和掌握。本书主要面向信息科学及相关领域的本科生、研究生、研究人员和深度学习爱好者。
全书共9章，可分为3部分： 第1部分包括第1~3章，介绍基本的数学、编程和机器学习知识； 第2部分包括第4~7章，系统、深入地讲解现今已成熟的深度学习方法和实践； 第3部分包括第8~9章，介绍深度学习在计算机视觉和自然语言处理领域的应用和实践。书中各章节相互独立，读者可根据自己的兴趣和时间情况选择使用。书中每章都给出了相应习题，一方面帮助读者巩固本章学习内容，另一方面引导读者扩展相关知识。书中每章也都给出了相应的实践性内容，建议读者在阅读时，辅以代码实战，快速上手深度学习，加深模型理解。
感谢中国科学院大学的同事和学生积极参与。感谢你们对本书理论内容提出的宝贵建议和意见，让本书内容更显精彩； 感谢你们对本书实践代码的测试反馈，让实践代码千锤百炼； 感谢你们在书稿校对时的认真负责、不辞辛苦。同时感谢百度公司长久以来对于高校人工智能教育的重视与情怀。感谢吴甜、徐菁、喻友平、计湘婷等同事在本书撰写过程中发挥的巨大作用。
目前，深度学习方法并不完美，还有许多需要进一步研究解决的问题。如果通过本书的学习，能够引领读者迅速进入深度学习研究和应用前沿，取得突破性的成果，那将是本书作者的最大荣幸！
作者
2019年6月

高随祥（中国科学院大学）、文新（中国科学院信息工程研究所）、马艳军（百度）、李轩涯（百度）

目录
第1章数学基础

1.1数据表示标量、向量、矩阵和张量

1.1.1标量、向量、矩阵和张量

1.1.2向量的范数

1.1.3常用的向量

1.1.4常见的矩阵

1.1.5矩阵的操作

1.1.6张量的常用操作

1.2优化的基础导数及其应用

1.2.1导数

1.2.2泰勒公式

1.2.3拉格朗日乘数法

1.3概率模型的基础概率论

1.3.1随机变量

1.3.2概率分布

1.3.3边缘概率

1.3.4条件概率

1.3.5独立性

1.3.6期望、方差与协方差

1.3.7常用的概率分布

1.4习题

第2章Python入门

2.1Python简介

2.2Python基础语法

2.2.1数据结构类型

2.2.2运算符

2.2.3条件语句

2.2.4循环语句

2.2.5函数

2.2.6面向对象与类

2.2.7脚本

2.3NumPy

2.3.1NumPy数组创建与访问

2.3.2NumPy数组计算

2.3.3广播

2.4Matplotlib

2.4.1Matplotlib的安装

2.4.2Matplotlib图像的组成部分

2.4.3Pyplot绘制简单图形

2.4.4Matplotlib多图像绘制

2.5实践： 豆瓣高分电影爬取

2.5.1思路分析

2.5.2获取页面

2.5.3解析页面

2.5.4存储数据

2.5.5数据展示与分析

2.6习题

第3章机器学习基础

3.1机器学习概述

3.1.1机器学习定义与基本术语

3.1.2机器学习的三要素

3.1.3机器学习方法概述

3.2数据预处理

3.2.1数据清洗

3.2.2数据集拆分

3.2.3数据集不平衡

3.3特征工程

3.3.1特征编码

3.3.2特征选择与特征降维

3.3.3特征标准化

3.4模型评估

3.5实践： 鸢尾花分类

3.5.1数据准备

3.5.2配置模型

3.5.3模型训练

3.5.4数据可视化

3.6习题

第4章深度学习基础

4.1深度学习发展历程

4.2感知机

4.2.1感知机的起源

4.2.2感知机的局限性

4.3前馈神经网络

4.3.1神经元

4.3.2网络结构

4.3.3训练与预测

4.3.4反向传播算法

4.4提升神经网络训练的技巧

4.4.1参数更新方法

4.4.2数据预处理

4.4.3参数的初始化

4.4.4正则化

4.5深度学习框架

4.5.1深度学习框架的作用

4.5.2常见深度学习框架

4.5.3飞桨概述

4.6实践： 手写数字识别

4.6.1数据准备

4.6.2网络结构定义

4.6.3网络训练

4.6.4网络预测

4.7习题

第5章卷积神经网络

5.1概述

5.2整体结构

5.3卷积层

5.3.1全连接层的问题

5.3.2卷积运算

5.3.3卷积的导数

5.3.4卷积层操作

5.3.5矩阵快速卷积

5.4池化层

5.5归一化层

5.6参数学习

5.7典型卷积神经网络

5.7.1LeNet

5.7.2AlexNet

5.7.3VGGNet

5.7.4Inception

5.7.5ResNet

5.7.6DenseNet

5.7.7MobileNet

5.7.8ShuffleNet

5.8实践： 猫狗识别

5.8.1数据准备

5.8.2网络配置

5.8.3网络训练

5.8.4网络预测

5.9习题

第6章循环神经网络

6.1循环神经网络简介

6.1.1循环神经网络的结构与计算能力

6.1.2参数学习

6.1.3循环神经网络变种结构

6.1.4深度循环神经网络

6.1.5递归神经网络

6.2长期依赖和门控RNN

6.2.1长期依赖的挑战

6.2.2循环神经网络的长期依赖问题

6.2.3门控RNN

6.2.4优化长期依赖

6.3双向RNN

6.4序列到序列架构

6.4.1Seq2Seq

6.4.2注意力机制

6.5实践： 电影评论情感分析

6.5.1数据准备

6.5.2网络结构定义

6.5.3网络训练

6.5.4网络预测

6.6习题

第7章深度学习进阶

7.1深度生成模型

7.1.1变分自编码器

7.1.2生成对抗网络

7.2深度强化学习

7.2.1强化学习模型

7.2.2强化学习分类

7.2.3深度强化学习

7.2.4深度Q网络

7.2.5深度强化学习应用

7.3迁移学习

7.3.1迁移学习的定义与分类

7.3.2迁移学习的基本方法

7.4实践： 生成对抗网络

7.4.1数据准备

7.4.2网络配置

7.4.3模型训练与预测

7.5习题

第8章深度学习应用： 计算机视觉

8.1目标检测

8.1.1传统目标检测

8.1.2基于区域的卷积神经网络目标检测

8.1.3基于回归的卷积神经网络目标检测

8.2语义分割

8.2.1传统语义分割方法

8.2.2基于卷积神经网络的语义分割

8.3实践： 目标检测

8.3.1数据准备

8.3.2网络配置

8.3.3模型训练

8.3.4模型预测

8.4习题

第9章深度学习应用： 自然语言处理

9.1自然语言处理的基本过程

9.1.1获取语料

9.1.2语料预处理

9.1.3特征工程

9.2自然语言处理应用

9.2.1文本分类

9.2.2机器翻译

9.2.3自动问答

9.3实践： 机器翻译

9.3.1数据准备

9.3.2网络结构定义

9.3.3网络训练

9.3.4网络预测

9.4习题

参考文献