《数据智能》构建了AI时代数据分析师从认知到落地的完整能力体系。开篇聚焦认知重塑,厘清AI与机器学习的本质,破除转型误区,推动分析师从描述统计向智能决策跃迁;进而夯实数据素养与AI学习能力的基础,夯实从理解到实践的核心功底。中间章节聚焦实操价值,一方面通过系统论等新方法优化业务分析与协作模式,深入解析模型算法的应用逻辑与创新技巧,实现从会调参到会用模型的进阶;另一方面梳理智能数据治理、自动化建模等工具矩阵,提升建模与开发效率。后续强调模型解释、部署与价值传递的协同落地,最后通过金融风控、零售营销等四大行业实战案例,验证数据智能解决方案的实用性。整体形成认知能力方法工具协同实践的闭环逻辑,为数据分析师的智能化转型提供可落地的行动指南。
数据分析实物丛书
?
中国商业联合会数据分析专业委员会出品
?
把握AI时代技能迭代新机遇
解码AI与数据分析师的未来
?
数据分析行业推荐用书
《数据跃迁:AI时代的数据分析与商业决策》
《数据智能:数据分析师的AI转型升级指南》
《数据陷阱:避开数据分析中的常见思维误区》
《可视艺术:用可视化路径赋能数据分析》
?
《数据智能:数据分析师的AI转型升级指南》构建了AI时代数据分析师从认知到落地的完整能力体系。
开篇聚焦认知重塑,厘清AI与机器学习本质,破除转型误区,推动分析师从描述统计向智能决策跃迁;进而夯实数据素养与AI学习能力基础,搭建从理解到实践的核心功底。
中间章节聚焦实践价值,一方面通过系统论等新方法优化业务分析与协作模式,深入解析模型算法的应用逻辑与创新技巧,实现从会调参到会用模型 的进阶;另一方面梳理智能数据治理、自动化建模等工具矩阵,提升建模与开发效率。
后续强调模型解释、部署与价值传递的协同落地,最后通过金融风控、零售营销等四大行业实战案例,验证数据智能解决方案的实用性。
整体形成认知能力方法工具协同实践的闭环逻辑,为数据分析师的智能化转型提供可落地的行动指南。
前 言
现在的企业比以往任何时候都拥有更多的数据。每天产生的数字、报告、日志、客户行为记录,浩如烟海。然而,数据越多,并不意味着决策就越好。很多企业发现,投入了大量资源做分析,却很难直接转化为业务行动;AI技术带来了新的可能,但如何把它落地、融入实际工作流程,仍然是一个现实挑战。
本书正是为应对这一挑战而写,核心目标是帮助企业和分析师在AI时代更好地利用数据,让分析真正产生价值。它关注的不是抽象理论,而是可落地的方法与思路告诉你怎样将数据、模型和业务有机结合,让分析结果不仅能指导决策,还能改善运营、提升效率。
从企业的角度来看,本书主要回应几个关键问题。首先是决策质量。在很多企业中,决策仍依赖经验或零散的分析指标,这容易导致局部优化而错失整体机会。本书提出的系统思维、控制论和信息论方法,帮助企业建立全局视角,兼顾不同业务目标,避免单一指标驱动的决策偏差。作为作者,我在观察企业实践时发现,真正决定分析成效的,不在于模型本身,而在于是否能够将模型与业务目标深度对齐。
其次是分析结果的落地问题。分析师生成的报告或模型,如果不能转化为可操作的业务策略,就无法产生真正价值。书中介绍的可解释AI工具与自动化分析流程,帮助分析师将复杂的技术输出转化为业务语言,使业务部门能够理解并采取行动。无论是医疗领域的个体化诊疗方案,还是零售领域的用户行为分析,模型不仅提供预测结果,更能解释关键因素,帮助业务人员做出具体决策。我个人体会到,再先进的技术,如果不能被实际使用,就是潜在的浪费。
再次是技术与业务协作问题。AI和数据技术发展迅速,为企业带来了新的能力,但如何将技术融入业务流程、形成持续改进机制,是企业普遍面临的挑战。本书提供的方法,包括借助自动化工具提升效率、流程优化和反馈机制设计,让企业能够在不断变化的环境中保持灵活应对。这些方法不是空谈,而是通过案例展示可落地实践路径,让读者看到理论如何落地。
最后是人才与组织能力建设问题。传统分析师往往擅长技术操作,但对业务理解有限;业务人员则可能难以解读分析报告。全书贯穿的分析师能力升级路线,旨在培养既懂业务又懂技术的复合型人才,使分析师成为连接数据与业务的桥梁。以作者角度来看,这种能力建设比单纯技术培训更关键,它决定了企业在AI时代能否持续利用数据创造价值。
贯穿全书的思路是:在AI时代,数据分析师的定位、基础、方法、理解、工具、协同、实践,都需要新的认知和能力。每一章标题前的新字,并非形式化,而是提醒读者,这是一种升级升级思维方式、升级技能结构、升级工作方式、升级价值创造模式。书中通过案例展示我们如何在金融风控、零售营销、医疗健康和智能制造等领域,将分析能力转化为实际价值,并通过反馈机制实现持续优化。对于管理者而言,这意味着更高效地利用数据支持决策;对于分析师而言,则提供了清晰的成长路径,从基础操作升级为战略性分析。
在写作本书的过程中,我深刻体会到:技术创新固然重要,但真正决定价值的,是方法的系统性和业务目标的清晰度。数据分析的最终价值,不在于模型多复杂,而在于它能否改善决策、提升效率、创造可持续的业务成果。
总体来说,本书是一部面向AI时代的实用指南。它不仅告诉我们怎么做分析,更告诉我们分析如何创造价值。无论是提升决策质量、优化资源配置、增强风险管理,还是推动业务协同与组织能力建设,本书都提供了方法、工具和实践经验,帮助企业和分析师在AI时代建立可持续的数据能力。
接下来的章节,将按照道、法、术、器、用的结构,系统展示AI时代数据分析师的能力构建路径。首先,我们会从道出发,梳理数据思维与学习能力的底层逻辑;接着通过法,介绍如何运用三论方法进行业务分析与决策;然后是术,帮助读者理解模型优化与应用的思维方法;紧接着是器,展示提升效率与可解释性的工具与实践;最后通过用,以真实案例说明如何将这些能力落地,实现数据驱动的价值创造。
在本书的编写过程中,我深感幸运,也深知每一份成果都离不开他人的支持与帮助。首先感谢中国商业联合会数据分析专业委员会主任邹东生先生,以及王唯唯、赵丽女士的耐心审核和细致指导,你们的专业意见让本书更加严谨和有深度。感谢机械工业出版社所有编辑老师,在策划、结构设计和出版的每个环节给予的关心与支持,让创作过程顺利,让我充满信心。
最后,特别感谢我的家人。在每一个伏案写作的日夜,你们的理解、包容和鼓励,让我能够专注于思考和文字创作。每一次打字、每一页反复修订背后,都有你们默默的陪伴与支持。正是因为有了你们,我才能将想法落地,也才能把这本书完整呈现给读者。
中国商业联合会数据分析专业委员会(简称中国商联数据委)成立于2008年4月,彼时经国务院国资委审核同意、民政部批准登记。中国商联数据委成立以来,始终紧扣我国数据分析行业发展需求,全力推进行业规范化、标准化、体系化建设,牵头研制行业标准,持续编撰并发布行业发展报告及人才指数报告,搭建行业公益案例库与行业专家智库,为行业高质量、有序发展提供坚实支撑。
作为服务于全国数据分析行业的协会组织,中国商联数据委构建并完善了CPDA数据分析师人才培养体系,建成覆盖全国的人才培养与实践服务模式,培育了大批高素质数据分析专业人才;形成覆盖数据分析师、数据分析师事务所、大数据及人工智能企业的全国性会员服务与管理体系。作为行业交流协作与资源整合的核心平台,中国商联数据委长期举办行业服务大会、专家智库会议及专题研讨活动,汇聚政府、产业、高校、科研机构多方资源,深化行业实践研究、技术创新与产业落地应用,助力企业数字化转型与科学决策能力提升。
中国商联数据委以标准建设、人才培养、行业交流、产业赋能为核心方向,携手各界合作伙伴,共同推动中国数据分析行业持续健康发展。
?
?
袁良运 中国东方航空集团有限公司数据部架构师,美国罗山大学(人工智能博士),CPDA(Certified Project Data Analyst),CDA(Certified Data Analyst)1级、2级、3级认证。拥有10年数据领域从业经验,专注于数据分析、数据治理、数据架构,除工作之外还曾参与多个数据分析师协会公益案例库项目,具备丰富的行业实战经验。长期致力于数据科学知识传播,参与数据分析师协会公益项目,推动数据技术在实际业务中的应用,助力企业数字化转型。
丛书序
?
前 言
?
第一章 新定位:AI时代数据分析师的认知与能力重塑
第一节 AI与机器学习的真实面貌
一、概念厘清:AI的层次结构
二、机器学习的技术谱系
三、数据分析师视角下的AI理解框架
第二节 破除认知迷雾:避开AI转型的常见陷阱
一、认知误区
二、应用层面的认知偏差
三、组织层面的认知偏差
第三节 数据分析师的认知跃迁:从描述统计到智能决策
一、思维模式的根本转变
二、技能结构的重新构建
三、工作方式的智能化升级
四、价值创造模式的升级
本章总结:AI时代的机遇与挑战
?
第二章 新基础:构建面向AI的数据思维与学习能力
第一节 数据思维:数据分析能力的底层
一、什么是数据思维
二、数据思维的历史
三、数据思维和数据分析的关系
四、数据分析师的优势
五、从数据思维到大模型思维
第二节 构建面向AI的学习能力
一、以终为始识别新领域知识缺口
二、找到学习起点:看懂底层和趋势
三、AI时代新学习范式
四、AI写代码的实用技巧
本章总结:打造从理解到实践的核心能力
?
第三章 新方法:AI时代的业务分析与团队协作模式
第一节 AI时代业务分析的新陷阱
一、效率的幻觉:AI在业务分析中的新陷阱
二、AI时代多智能体的困境
三、小张的故事:需求分析的陷阱
第二节 三论如何重塑AI时代的需求分析
一、三论基础概念
二、系统的智慧:从最优到满意
三、基于系统论:设计超越准确性的业务评估指标
第三节 基于三论的可落地实用方法
一、软系统与切克兰德方法
二、硬系统与霍尔三维结合方法
三、为什么以上两种方法论适合AI时代
本章总结:在AI时代有效分析与协作
?
第四章 新理解:模型算法的应用研究与创新技巧
第一节 模型容量与数据:理解模型行为的经验基础
一、模型的世界观:它相信世界是什么样的
二、模型容量:让模型适合业务数据
三、假设空间:让模型贴近业务现实
第二节 四维框架:理解模型优化的思维基础
一、从算法优化到业务契合
二、四维联动:理解模型优化的内在机制
三、以业务为导向的模型优化思考 .
四、系统诊断:从四维视角识别与应对过拟合
第三节 传统模型家族与选用思维:理解模型差异与适配
一、模型家族图谱:理解模型的性格与血缘
二、模型选择的要素:从问题出发的适配逻辑
三、模型的边界与组合:超越单一模型的智慧
第四节 大模型时代的再理解:从算法到系统的整合能力
一、从算法理解到系统理解:视角的升维
二、掌握大模型工作机制:与黑盒共舞
三、小模型与大模型的互补关系:最佳拍档的诞生
四、理解的演进:从调参到设计智能流程
本章总结:从会调参到会用模型进阶之路
?
第五章 新工具:AI增强的建模与开发效率提升
第一节 智能数据管道:实现数据资产的自动化治理
一、PyJanitor:链式调用的数据清洗框架
二、OpenRefine:可视化的数据探索与转换平台
三、数据清洗智能体:自动化数据处理的发展方向
四、Featuretools:自动化特征工程引擎
第二节 智能特征提取:AI帮你找到黄金特征
一、为什么要进行智能特征选择
二、智能特征选择的三大主流方法
三、实践策略:如何组合使用这些方法
四、总结:从特征海洋到黄金矿脉
第三节 自动化建模平台:加速模型从0到1的构建过程
一、Scikit-learn:构建标准化机器学习流水线
二、AutoML平台:端到端的智能建模解决方案
第四节 非结构化数据建模:解锁文本、图像中的隐藏价值
一、自然语言处理:从文本中提炼情感与主题
二、计算机视觉入门:让机器看懂图片
三、音频处理:从声音中挖掘信息
四、分析师的新武器:善假于物
五、总结:深度学习,让非结构化数据开口说话
本章总结:构建个人高效建模的工具矩阵
?
第六章 新协同:AI模型的价值传递
第一节 模型可解释性工具:破解黑箱,建立决策信任
一、为什么需要可解释性
二、SHAP:基于博弈论的全局解释工具
三、LIME:局部近似的解释利器
四、SHAP与LIME:如何选择
五、总结:可解释性,让AI从工具变成伙伴
第二节 洞察呈现与沟通工具:从数据到故事的价值传递
一、分析报告的痛点:信息过载,故事缺失
二、生成式AI:从数据到故事的智能桥梁
三、常用工具:如何高效使用生成式AI
四、总结:让数据故事活起来
第三节 模型部署与应用工具:实现洞察能力的规模化交付
一、Streamlit:快速构建交互式数据应用
二、Flask:构建可扩展的生产级模型API服务
三、Power BI (AI功能集成):无缝嵌入业务流程的智能仪表盘
本章总结:构建组织协同与价值交付的工具矩阵
?
第七章 新实践:四大行业中的AI解决方案实战
第一节 金融风控:固定与变化更灵活
一、场景:十年未变的风控体系,为何开始不灵
二、分析:当旧体系遇上新变量
三、方法:在平衡中建立灵活的风控体系
四、实践:让风控逻辑真正动起来
五、总结:从刚性规则过渡到韧性思维数据驱动的风控演进
第二节 零售营销:灌输与共鸣更深入
一、场景:高点击率营销活动为何无法提升用户转化
二、分析:从高点击、低转化悖论看灌输式营销的三大结构性缺陷
三、方法:基于三论框架,从用户行为序列中挖掘共鸣时刻
四、实践:定位共鸣时刻并设计干预实验
五、总结:更深入意味着从历史行为走向因果意图
第三节 医疗健康:群体与个体更精确
一、场景:对群体有效的治疗方案,为何对个体患者可能无效
二、分析:群体层面的统计显著与个体层面的临床有效的差距
三、方法:利用可解释AI为个体患者提供决策证据 .
四、实践:解读乳腺癌复发风险的个体化预测
五、升华:更精准从基于群体数据到关注个体数据的进步
第四节 智能制造:处理与预防更智能
一、场景:能精准归因的根因分析报告,为何无法降低故障率
二、分析:描述过去为何坏与预测未来何时坏的本质区别
三、方法:用时序异常检测构建设备健康状态的领先指标
四、实践:基于设备振动数据构建预测性维护预警系统
五、升华:更智能让数据分析具备前瞻性
本章总结:数据分析的智能化升级与价值创造
?
第八章 新展望:AI时代数据分析师的未来路径
第一节 核心能力的整合与升华
一、系统思维:从局部到整体的理解
二、模型与工具的理解:结合业务洞察
三、数据价值判断力:从多到准的洞察
四、从整合到成长:能力循环的形成
第二节 持续学习与内在成长:在不确定中找到方向
一、从学知识到学框架
二、学习的节奏:从快到稳
三、与AI共同学习
四、在不确定中找到确定
五、成长的方向
第三节 AI时代数据分析师的发展展望
一、自然化体现在模型能力上
二、自然化也体现在分析流程上
?
附录 论文研究方法