Apache Spark 是一种开源技术，旨在处理大量数据。它通过并行处理实现这一点，并行处理是一种同时执行多个计算或进程的方法。这类似于拥有一支工人队伍，每个人都处理一项大任务的一小部分，从而使工作更快、更高效。
随着时间的推移，Spark 已成为大数据处理的首选解决方案。它在各种平台的许多实现中很常见。Spark 可以在 A zure HDInsight、Azure Databricks、Azure Synapse Analytics 甚至最近推出的 Microsoft Fabric中找到。简而言之，只要需要高效地处理大量数据，Apache Spark 就有可能被使用。
在这个数据驱动的时代，信息就像曾经的石油一样宝贵，企业一直在寻找工具将这些数据转化为有意义的、可立即采取行动的见解。在 Microsoft Fabric 中进入 Apache Spark 笔记本的世界。他们在数据分析平台领域处于领先地位，提供了一个用户友好且适应性强的空间来管理、审查和绘制数据。
让我们将注意力转移到这些 Spark notebook 以及 Spark SQL 上，并花一些时间了解它们如何在Fabric 数据工程领域发挥作用。从揭示复杂的数据模式到创建令人惊叹的视觉表示，这些工具可以提供很多功能。
Apache Spark
Apache Spark 是一个统一平台，用于对大型数据集执行复杂的分析任务。它擅长处理大量数据和有效执行机器学习任务。
Spark SQL 是 Spark 的重要组成部分。它是一个专门的库，允许数据分析师使用 SQL 表达式与数据交互和更改数据。简而言之，它允许他们使用熟悉的 SQL 命令提出问题和修改数据。
设置
Microsoft Fabric 中的每个工作区都分配有一个 Spark 集群。在工作区设置的数据工程/科学部分&