“为工作使用正确的工具！”
这句话一开始听起来很简单，但在实际方面实施起来却非常复杂。
早期的初创公司发现很难选择生态系统中可用的各种工具，因为它们的数据将如何演变是非常不可预测的。
需要现代数据堆栈
在过去 10 年中，软件行业在以下方面有所增长：
-
计算能力：AWS、Google Cloud 等公共云提供商以标准市场成本提供巨大的计算能力。
-
数据源：物联网生态系统、智能设备的兴起导致每天产生的数据量呈指数级增长。2020 年，地球上的每个人每秒产生约 1.7MB 的数据。
-
业务利益相关者的数据素养：在原始软件行业，分析师过去常常手动挖掘 excel 电子表格，以获得有关数据的一些有价值的见解。如今，事实证明，许多 BI 工具在利用数据的力量和提供有价值的见解方面很有用，从而在业务利益相关者中培养了素养。
-
数据项目中的开源采用：在过去的 10 年中，行业已经看到开源社区的巨大增长。许多很酷的数据工具（~Apache Airflow、DBT、Metabase）在开源社区中蓬勃发展和发展。
从传统 ETL 到现代 ELT 的转变
在这个现代时代，大多数企业都在利用数据驱动的解决方案，我们看到了从原始的遗留 ETL 架构向 ELT 架构的一致转变。
由于以下原因，现代 ELT 处理比传统 ETL 更受欢迎：
-
便宜、实惠且高效的云存储和分析服务。
扫描二维码关注公众号，回复： 15453613 查看本文章
-
传统 ETL 管道没有那么灵活，无法根据指数数据增长轻松适应。
-
与传统 ETL 相比，现代 ELT 速度更快，因为在将数据加载到仓库之前不涉及严格的转换阶段。
-
鉴于不需要用户定义的转换，ELT 工具非常擅长将源数据简单地插入目标系统，而用户的手动工作最少。
-
分析师可以根据需要使用 DBT 等工具对仓库中的数据执行转换，而无需事先考虑洞察力和数据类型。
初创公司的采用策略
正如本博客前面提到的，初创公司很难预测数据的演变，他们将要应对。
因此，早期初创公司在为其数据堆栈选择工具时应考虑以下事项：
-
其他初创公司和客户的高采用率和意识。
-
这适合数据堆栈的 ELT 模型。
-
数据库范式（例如结构化、地理空间、实体关系、搜索引擎），适合存储和查询其领域和市场产生的数据的要求。
-
付费 SaaS 工具的等效开源替代品。
提取和加载
从所有事件源（如 Web、应用程序、后端服务）收集数据，并将它们发送到数据仓库。
-
付费 SaaS 工具：Stitch、Fivetran
-
免费和开源替代品：Singer、Meltano、Airbyte
数据仓库
组织所有数据的结构化、非易失性、单一事实来源，我们可以在其中存储和查询所有数据。
-
付费：AWS Redshift、Google BigQuery、Snowflake
-
免费和开源替代品：Apache Druid
转换和建模
使用文档从原始数据创建模型以更好地使用。
-
付费：Dataform、DBT
-
免费和开源替代品：Talend Open Studio、Apache NiFi
编排
用于执行和编排处理数据流的作业的软件。
-
付费：Prefect.io
-
免费和开源替代品：Apache Airflow、Dagster
可视化和分析
为了更好地了解和解释来自不同数据源的数据。
-
付费：Tableau、Microsoft PowerBI、Grafana
-
免费和开源替代品：Metabase、D3js、DyGraphs
| 本文 :https://architect.pub/modern-data-stack-startups | ||
| 讨论：知识星球【首席架构师圈】或者加微信小号【ca_cto】或者加QQ群【792862318】 | ||
| 公众号 |
【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 我们在等你，赶快扫描关注吧。 |
|
| 微信小号 |
【ca_cea】 50000人社区，讨论：企业架构，云计算，大数据，数据科学，物联网，人工智能，安全，全栈开发，DevOps，数字化. |
|
| QQ群 |
【285069459】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 加QQ群，有珍贵的报告和干货资料分享。 |
|
| 视频号 | 【超级架构师】 1分钟快速了解架构相关的基本概念，模型，方法，经验。 每天1分钟，架构心中熟。 |
|
| 知识星球 | 【首席架构师圈】向大咖提问，近距离接触，或者获得私密资料分享。 | |
| 喜马拉雅 | 【超级架构师】路上或者车上了解最新黑科技资讯，架构心得。 | 【智能时刻，架构君和你聊黑科技】 |
| 知识星球 | 认识更多朋友，职场和技术闲聊。 | 知识星球【职场和技术】 |
| 领英 | Harry | https://www.linkedin.com/in/architect-harry/ |
| 领英群组 | 领英架构群组 | https://www.linkedin.com/groups/14209750/ |
| 微博 | 【超级架构师】 | 智能时刻 |
| 哔哩哔哩 | 【超级架构师】 | |
| 抖音 | 【cea_cio】超级架构师 | |
| 快手 | 【cea_cio_cto】超级架构师 | |
| 小红书 | 【cea_csa_cto】超级架构师 | |
| 网站 | CIO(首席信息官) | https://cio.ceo |
| 网站 | CIO,CTO和CDO | https://cioctocdo.com |
| 网站 | 架构师实战分享 | https://architect.pub |
| 网站 | 程序员云开发分享 | https://pgmr.cloud |
| 网站 | 首席架构师社区 | https://jiagoushi.pro |
| 网站 | 应用开发和开发平台 | https://apaas.dev |
| 网站 | 开发信息网 | https://xinxi.dev |
| 网站 | 超级架构师 | https://jiagou.dev |
| 网站 | 企业技术培训 | https://peixun.dev |
| 网站 | 程序员宝典 | https://pgmr.pub |
| 网站 | 开发者闲谈 | https://blog.developer.chat |
| 网站 | CPO宝典 | https://cpo.work |
| 网站 | 首席安全官 | https://cso.pub |
| 网站 | CIO酷 | https://cio.cool |
| 网站 | CDO信息 | https://cdo.fyi |
| 网站 | CXO信息 | https://cxo.pub |
谢谢大家关注，转发，点赞和点在看。