【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍

原文链接：https://databricks.com/blog/2020/03/04/how-to-monitor-data-stream-quality-using-spark-streaming-and-delta-lake.html

在这个一切都需要进行加速的时代，流数据的使用变得越来越普遍。我们经常不再听到客户问：“我可以流式传输这些数据吗？”，更多的是问：“我们能以多快的速度流式传输这些数据？”，而诸如Kafka和Delta Lake之类技术的普及更突显了这一势头。我们认为传统流式数据传输的一种形式是以非常快的速度到达的半结构化或非结构化（例如JSON）数据，通常情况下一批数据的量也比较小。这种形式的工作场景横跨各行各业，举一个这样的客户案例，某个证券交易所和数据提供商，他们负责每分钟流式传输数十万个数据项目，包括股票行