本书旨在介绍常见的非线性最优化的理论与算法，以及深度学习中的优化算法。全书侧重对优化原理的直观理解和优化算法的步骤设计和流程构建，并通过大量案例对所介绍的算法进行了编程实现。书中提供的大量编程代码可以为需要使用非线性最优化解决实际问题的工程技术人员进行二次开发提供基础，也可以为致力于学习最优化理论与算法的读者进行编程练手提供参考。
除第1章介绍的基础知识外，全书内容可以分为4部分。第一部分介绍一维搜索理论与算法，第二部分介绍无约束最优化理论与算法，第三部分介绍约束最优化理论与算法，第四部分介绍的深度学习中的优化算法。本书可以作为理工科大学相关专业研究生的学位课教材，也可以作为数据科学、人工智能、机器学习相关专业高年级本科生的选修课教材，还可以作为相关领域学术研究人员、工程技术人员的参考资料。
本书注重优化算法设计,突出算法流程实现,并提供大量实践案例,呈现完整编程实现
最优化是运筹学与控制论二级学科下的一个重要研究方向，它研究如何在众多可行方案中找到满足约束条件的最优方案，并计算最优方案所需要的成本或收益。本书主要介绍目标函数和约束函数均为连续函数的非线性最优化问题，这类问题在学术研究和实际应用中普遍存在，学习和研究它具有重要的理论意义和应用价值。
本书主要内容包括四部分。第一部分介绍一维搜索理论与算法，包括第1章和第2章，主要内容有试探法、函数逼近法和非精确线搜索法。一维搜索算法是所有其他搜索算法的基础。第二部分介绍无约束最优化理论与算法，包括第3章和第4章，主要内容有无约束最优性条件、基于梯度的下降方法和基于函数值估计的直接法。无约束最优化是后续约束最优化的基础。第三部分介绍约束最优化理论与算法，包括第5~8章，主要内容有无约束最优性条件、可行方向法、罚函数法和二次规划。第四部分介绍深度学习中的优化算法，包括第9章，深度学习中的优化方法是最优化在近年来的重要新发展方向，对深度学习的发展有重要的促进作用。
非线性最优化是我从硕士到博士，再到参加工作以来一直都在研究的一个领域。在研究生期间，虽然研究得非常深入，但其内容仅仅局限于所从事的研究课题，并未从整体上对最优化理论与算法进行非常深入的学习。参加工作以后，由于开设课程的需要，我开始全面学习非线性最优化。我惊讶地发现，非线性最优化是如此博大精深，以至于就算穷尽毕生精力也不一定能窥得其全貌，更别说完全掌握了。最优化理论与算法无论是对非专业学生还是对专业学生都有相当难度，主要原因有二，一是它用到了大量综合性较强的数学知识，二是算法设计和编程实现对逻辑思维和动手能力要求非常高。我先为计算机专业的研究生开设了最优化理论与算法课程，后来随着我院数学一级学科开始招研究生，又给数学类的研究生开设了本课程。从教学的反馈来看，学生普遍对大量的数学推导过程望而却步，不能直观地理解定理和算法的精髓，以至于在算法设计环节难以厘清算法逻辑，更别说编程实现了。后来在疫情期间，我又将该课程录制成视频，分享到B站，没想到的是，视频受到了B站网友的热烈追捧，很快跃升为同类课程排行榜首位，点击量超过了30万次，对于一个非常小众的课程来讲，这算是不小的成就了。究其原因，我认为是因为我在讲授中重在通过一些图形和案例来讲解原理，而非满篇晦涩难懂的证明。同时，我比较注重对算法的实现，每种算法都至少通过一个案例进行编程实现。算法的编程实现需要读者对细节非常精细地进行理解，这非常有助于初学者理解理论知识，通过案例实现的方式也让工程技术人员真实地看到了优化应该如何用在工程实践中。受此鼓舞，我决定再进一步，将我的授课讲义整理成书出版，而编写的思路就是重理解、重实践、轻证明。
我从2022年暑假开始动笔写这本书，由于工作比较忙，每天只能在早上和晚上各抽出不到1小时时间来撰写书稿，进度非常缓慢。后来我受学校选派，到了凉山州布拖县地洛镇依子村从事乡村振兴帮扶工作，驻村工作虽然辛苦，但工作内容相对单一，也少了很多杂七杂八的事务，加上腾出了陪伴家人的时间，才有了更多的时间来进行写作，进度快了许多，所以实际上，本书有70%的内容是在偏远的山区村落完成的。
要感谢驻村工作这段经历，虽然名义上是去帮扶当地发展，但我在这一段经历中所获得的远比我所付出的更多。我和同去的另外两位学校同事共同努力，为村上修补了道路，为孩子们装修了图书室，为村民修建了饮水灌溉设施，为村子产业发展打造了蔬菜基地，为先天腿疾儿童送去了电动轮椅，为事实无人抚养儿童募捐学费、生活费。这些工作不仅让我对中国的农村更加了解，也让我感受到了帮助一个地方发展和帮助别人解决困难的巨大成就感，更让我理解了党中央脱贫攻坚、乡村振兴重大行动的伟大意义。驻村期间，我常常被当地村民淳朴的民风所感动，和他们结下了深厚的友谊，他们见证了我的成长，也见证了这本书的诞生。
要感谢我的恩师吴至友教授，Adil Bagirov教授和在我求学道路上无私帮助过我的白富生、赵克全、吴昌质、杜学武等教授，是他们成就了现在的我。感谢母校重庆师范大学的栽培，曾经就读的数学科学学院如今发展蒸蒸日上，我等均以毕业于重庆师范大学数学科学学院而自豪，希望有一天学院也能以培养了我等而骄傲。
要感谢我的本科学生杨佳鑫同学，本书第9章的内容主要来自由我指导的她的本科毕业论文，她提出的方法现已在国际学术期刊上正式发表，也编入了本书最后一节。我始终认为能够碰到几个优秀的学生是作为老师的一生之幸，而杨佳鑫便是其中之一。感谢本书责任编辑赵佳霓，她在本书的编写、校对和排版过程中做了大量细致的工作，没有她的帮助，本书不可能顺利出版。
特别地，要感谢我的家人，尤其是爱妻文静，在我驻村工作期间，她不仅要全职工作，还要照顾两个孩子和偶尔负责我的后勤，这其中的艰辛，我是很难体会的。两个小天使也是我写作的强大动力，虽然他们不再像上一本书写作期间那样时不时询问： 爸爸，你的书写得怎样了？但是他们用在学校中的实际表现告诉我： 爸爸，你小心被我们拍在沙滩上哦。为了不那么快地被他们拍在沙滩上，我当然只有一刻也不能停下前进的脚步了。
本书的出版得到了国家自然科学基金面上项目(项目编号： 12371258)的资助，特此感谢。
最后，由于个人能力有限，书中难免有疏漏之处，还望读者批评指正，不胜感激。
龙强
2025年1月
于凉山州布拖县地洛镇依子村
龙强，博士，副教授，硕士生导师；就职于西南科技大学数理学院数据科学系，中国运筹学会终生会员；主要从事最优化理论与算法、机器学习算法研究；在国际国内学术期刊上发表论文20余篇，获批国家发明专利3项，主持和参与国家自然科学基金4项，参与国家社会科学基金1项，出版图书《深度强化学习理论与算法》，讲授深度强化学习算法设计与分析最优化理论与算法线性代数与矩阵分析等课程。
赵克全 博士，教授，博士生导师，就职于重庆师范大学数学科学学院，中国运筹学会理事、中国系统工程学会理事、中国运筹学会数学规划分会常务理事、中国运筹学会科普工作委员会副主任，重庆市运筹学学会秘书长。主要从事最优化理论与方法、电力系统运行可靠性的数学模型与优化算法研究。主持国家重点研发计划项目、国家自然科学基金面上项目等国家级项目6项，主持重庆市高校创新研究群体、重庆英才计划创新领军人才等省部级项目11项。讲授数学分析运筹学泛函分析最优化基础等课程。
新书资讯
