本书包含哪些内容？
本书有几个部分反映了大数据处理和机器学习的各个阶段，其遵循数据信息知识智慧（DIKW）金字塔体系。本书几个主要部分反映了这个金字塔的特定阶段。
第一部分主要介绍大数据的起源及其发展历程。由于人类长期以来就有收集数据的习惯和心理，因此大数据并不是一个全新的概念。本部分对知识发现的一般原理和最新成果进行了总结。
第二部分主要讨论数据采集、预处理、解释和数据存储的不同阶段。本部分旨在描述必须采取哪些基本步骤才能实现端到端系统，从而允许基于仪器数据和辅助数据库自动提取结果。
第三部分阐述了本书的主要目标从大数据中提取关于宇宙（包括地球）的新智慧。该部分重点介绍各种数据分析方法，例如遗传编程和机器学习技术，以及被过度商业炒作的深度学习。
第四部分主要面向我们希望拥有的特定的读者群。本书的读者对象范围很广，从不同学科的学生到从业者，以及以理论为导向的研究人员。我们的目的是让这些读者了解现代大数据处理方法可以解决的各种任务，并为他们提供一些使用非传统智能方法和数据源的跨学科方法的实例。一些看似不相关数据的精妙组合甚至可能有助于揭示意想不到的相关性和关系，对我们日常生活产生重要影响。比如，实时监测 GPS 信号有助于预测天气，收听甚长波发射器对于预测飓风或地震等自然灾害至关重要。
动因和范围
在我们文明的初期，基础科学很自然地被视为一项多学科的任务。大多数古希腊科学家和哲学家专注于数学、物理学、天文学、几何学、生物学、矿物学、气象学和医学，以及社会和政治问题。自然的发现主要是由好奇心驱动的，而不是由利用它的意图驱动的。特别著名的是毕达哥拉斯学派或柏拉图学院的许多哲学讨论。夸美纽斯宣布泛智主义作为教育目标的原则，他引入的教学原则可能是教学的最高成就，直到今天似乎几乎没有变化。我们的目标是在本书中保持他的一些原则。这就是为什么我们强调可理解性和获得新知识的乐趣，同时使用（一些）实际示例。我们还强调了（与夸美纽斯一致）彩色图片的作用，试图将阅读的文本与读者熟悉的东西联系起来。
当前科学研究的问题主要在于违背了上述所有的原则。当代科学界的关注范围非常狭隘，他们有自己的术语，为闯入其圣地的人设置了很高的门槛。一个热心的研究者在寻找他的研究和一个完全不同的科学领域之间的相似之处时，很快就会被各种方式（如资助机构、科学期刊的评审员或其所在机构的领导）重新引导到所谓适当的轨道上。
这种现象带来的结果往往是，尽管科学政策制定者大力宣扬跨学科研究，但在现实中却很难实践。大多数研究人员很难得到足够的资金去参加他们自己专业领域的重要会议和研讨会，而在这些会议上他们通常会遇到熟识的同事，而且每个人都知道将提出什么主题（甚至是哪些研究对象）。大型座谈会更有希望促进跨学科性，至少在一个科学分支的边界内（如天文学、空间物理学和地球物理学）。然而，众多的平行会议和时间的紧迫性再次迫使与会者只参加和自己研究有关以及相关领域的会议。因此，许多科学家似乎仍然被限制在他们的小型、高度专业化的社区中。幸运的是，另一方面，也有一些相当大的会议不是基于有限的研究课题，而是基于特定的方法和技术。
例如，在天文学方面，有一个传统的天文数据分析软件和系统 （ADASS）会议，会议的共同联合主题是卫星和望远镜控制系统、先进的数学算法、高性能计算和数据库、软件开发方法或大数据分析等领域的现代计算机技术。地球观测也是如此，国际地球科学与遥感研讨会 （IGARSS）的会议对象是众多研究地球科学和遥感学科的参与者。
另一个天文学领域的例子是国际虚拟天文台联盟的互操作性会议，其主要目标是定义数据格式、模型和协议，实现所有天文学数据库和档案的全球互操作性。相应地，在地面也有类似例子，如由开放地理空间联盟 （OGC）、国家和国际空间机构（如NASA、ESA和DLR），以及在图像处理、光谱学、精准农业、数据库技术、计算机网络等方面高度专业的工业联盟所发布的许多标准和公约。
如今，我们可以看到，从先进的仪器及其处理链中可以检索出越来越多的定量物理和化学参数，其中一个典型的标准是仪器可达到的信噪比水平。在这里，当我们将传统仪器与创新设备进行比较时，可以看到相当大的改进。然而，我们也必须考虑天体和地球科学应用的具体要求，如长期的数据可用性和结果的可追溯性（数据保护、可重复性），经过验证的科学数据质量与量化的误差水平，以及验证这些数据的适当工具。根据数据管理的FAIR原则（努力使数据可查找、可访问、可互操作和可重用）的实施，历史记录的档案，即感光板的重要性正在上升。遗留资源的数字化带来了大量的大数据，但也带来了新的、意想不到的分析机会。例如，记录明亮的热星光谱的旧天文板（在20世纪初获得）被用于测量当时地球平流层中的臭氧浓度。
在未来，我们预计更复杂的科学问题将使得共同的天体/地球方法被协同应用。在数个案例中，天文学仪器被用于分析地球现象。例如，2015年，在校准弥漫宇宙X射线背景期间，观测黑洞的欧洲空间局Integral任务观测到了地球的极光X射线辐射。另一个例子是世界上最大的射电望远镜阵列LOFAR，它在以微秒级的时间分辨率监测荷兰上空18 km的闪电的三维传播时，发现了针状等离子体结构，可能是同一闪电在几秒钟内多次击中的原因。
天文观测也有助于气象学，反之亦然。在天文光谱学中，几乎每个光谱都受到大气中水蒸气吸收线的污染，这为测量大气中的视距含水量提供了一种直接的方法。尽管在许多情况下，相比恒星，水污染的径向速度被忽略，而用来作为参考源修正光谱仪的波长校准，但这些污染必须通过复杂的方法从记录的光谱中去除。
目前的天文学出现许多新的发现，这是因为能够对整个电磁波谱的观测进行汇总（最近扩展到天体粒子物理学宇宙射线、中微子以及引力波天文学），也是因为实现了对巨大的多字节规模的天空观测的交叉匹配。新的天文仪器LSST、SKA和EUCLID预计每年将产生几十PB的原始数据，IT技术也将运用于未来的数据档案，并使用最先进的机器学习功能。
至于地球科学，我们必须考虑其他具有特定约束的应用任务，如实时交通监测和快速灾害分析（如洪水、熔岩流、风暴警报和火山羽流动力学），或处理我们在天气预测或作物产量计算中遇到的大量数据。特别是，有些应用需要高度可靠和精确校准的输入数据，例如，气候研究和风险评估，而其他应用则更强调数据量或云计算。
地球科学从卫星观测和遥感中获益良多，新的高光谱数据、运动和位移测量（基于来自合成孔径雷达或光学仪器的速度和相位测量）的持续流动必须与地球物理学、水文学和地形调查获得的精确地面实况参考数据相结合。这为农业、林业、水资源规划和矿石开采以及基础设施发展和城市规划的新方法提供了挑战机会。在发生自然灾害，需要救援和人道主义援助的情况下，汇总的地球观测数据库和所谓的虚拟地球的重要性正在不断增加。
目前以大数据为特征的科学第四范式是数据驱动的研究和探索性分析，利用创新的机器学习原理来获得新的知识，例如关于威胁沿海地区的巨大海啸，从而提供了一种高质量的科学方法，例如通过模拟运行和与现有数据库进行比较。大数据现象对于每一个科学学科来说都很常见，在通过既定的方法进行有效研究的过程中也带来了严重的障碍。因此，需要一种新的多学科方法，将特定的学科知识与先进的统计学、高性能计算和数据分析、新的计算机软件设计原理、机器学习以及其他更偏向计算机科学、人工智能和数据科学的领域结合起来。这种变化也需要一种新的职业道路，尽管在著名的大学里有第一批实验课程，培养毕业生的目标是数据科学家，但这种职业道路还没有完全建立起来。
数据科学家在商业领域中被称为21世纪最性感的工作，他们承担的是一种商业数据分析任务使用统计学和简单的机器学习来分析数据仓库。然而，真正的数据科学家除了拥有优秀的统计学和机器学习知识外，还必须对其科学分支有相当广泛的了解。
第一个成功实现跨学科整合是生物信息学，它最近作为一个科学分支被正式接受。在天文学方面，天体信息学起源于2010年左右，尽管国际天体统计学协会、国际天文学联盟和美国天文学会的天体统计学和天体信息学工作组以及最近成立的国际天体信息学协会都在努力向公众推广天体信息学，但大多数天文学家仍然把它当作一种巫术。同时，地球观测的地理信息学也受到误解，与地理信息学和地理信息系统混为一谈。然而，机器学习和大数据处理的重要性已经得到大众的充分理解，并被广泛应用。
尽管这些新成立的领域缺乏适当的分类法，但仍有人试图将一些在某个科学领域成功应用的方法转移到另一个完全不同的领域。这种情况下，转移数字化知识的关键方法之一是迁移学习，允许我们在某个领域训练机器学习系统，然后在一个完全不同的数据分析应用领域应用这个受过完全训练的系统。然而，这种方法要求对数据库进行适当的设计。目前，在遥感应用中的图像内容分类已经可以展示出初步的成果。
目前已经有世界知名的机构正在进行这类研究。例如，加州理工学院的数据驱动发现中心和美国国家航空航天局的一些小组成功地将为天文分析开发的方法应用于医学（例如，预测脑电图记录中的自闭症或识别组织学样本中的癌症转移）。
与天文学运用了更多相似分析方法的领域还有完整的地球科学和遥感学科。使用CCD探测器记录的数据进行图像分析、多光谱分析、超数据立方体、时间序列测量、数据流、各种坐标系、深度学习、分类技术，以及资源的整合所有这些领域知识都可以应用于天文学和地球科学。因此，一个学科领域向另一个学科领域学习似乎是非常有用的，他们都应该从计算机科学和数据科学中获得大量的实用技能。我们相信，两个领域（天体和地球）都将从了解更全面的跨学科观点中受益，其中一个具有研究前景的议题是识别（和去除）卫星图像的不同大气背景的先进算法。
本书的想法源于跨学科的欧洲COST行动TD1403中颇有成效的会议，这次行动项目称为BIGSKYEARTH。如果没有许多人的巨大热情，就不可能有这本书，他们投入了大量的时间来准备关于典型主题的最为先进的评论，根据他们的感觉，这些主题对未来的数据科学家来说是很重要的。
本书的主要目的是对技术和方法进行首次概述，通过与天体和地球大数据的知识发现有关的许多重要领域的实际使用情况，试图展示天文学和地球科学之间潜在的协同作用。我们想通过本书提供一个非常普遍的背景和一些想法，并提供大量的参考资料，这对设计完全可操作的数据分析系统和实验性的数据科学书籍是有帮助的。
本书试图遵循名为数据（从数据采集到分布式数据库）、信息（数据处理）、知识（机器学习）和智慧（应用知识）的金字塔 （DIKW），展示一幅从历史、数据收集、数据处理和知识提取到新智慧推断的全局图。这必须结合每一个处理步骤的优点和缺点及其联系（包括接口）来理解。
在本书的最后部分，我们讨论了一个基本问题，即如果来自天文和地理研究的数据在密切的协同作用下得到适当的处理，我们可以得到什么样的新知识，以及这将对人类健康、环境问题、经济繁荣等产生怎样的影响。在下面的章节中，我们将介绍一个新出现的科学领域的初步主题，试图将其定义为天体地理信息学。
由于我们意识到理解其他领域的术语是有局限的，所以我们要求所有作者避免复杂的数学以及深层次的细节和每个学科的通用术语，并尝试将他们的贡献更多地放在教育或推广层面（也通过使用更多的插图），同时仍然保持严谨的结构，为每个重要的陈述提供适当的参考。因此，我们可以避免详细讨论非常具体的问题，比如在图像分类过程中避免过度拟合。但是，我们必须意识到典型的决策问题和将会出现的限制：我们应该相信基于深度学习的地震预测，并疏散整个地区吗？
我们希望读者会发现阅读这本书的乐趣所在，并希望能为他们提供一个跨学科的个人思维方式的引擎，这也应该是本书的重要特点之一。人类的未来有赖于许多学科之间的紧密合作和协同作战。大数据就是一个全球问题，必须通过改变各学科迄今为止的研究范式来克服。
数据科学家将是这些变化中不可或缺的领导者，我们希望我们的书能够帮助培养这个新兴科学领域的新毕业生。
感谢德国宇航中心戈特弗里德·施瓦茨的大力帮助。
彼得·斯科达
法塔拉赫曼·亚当
新书资讯
