正在发生三个关键变化：
Posted: Thu Jan 23, 2025 8:14 am
数据团队的需求已经发生了变化
我们刚开始的时候，数据团队规模很小。主要用例是基本报告和漂亮的仪表板。主要有两个角色：
数据工程师开发了定制的数据集成代码，将原始数据移入数据仓库，并且
分析师会查询原始数据来构建报告和仪表板。
但分析和数据工程领域已经出现了很多创新，因此数据团队的工作和期望也发生了变化。团队已经从被动的“问答”分析世界转变为运营的一部分，嵌入产品团队，并在产品开发过程中充当合作伙伴。
1.数据产品
数据仓库已成为数据的神经中枢。仓库内的实际数据现在被输入到数字资产、面向客户的产品以及为内部用户服务的其他应用程序中。
数据变得越来越关键，现实世界中数据产品的例子包括产品体验的个性化、市场的定价算法、WiFi 路由器的供应链管理或商品交易合约的每日结算。
这一切的结果是，数据已经成为一种产品。我们开始收集客户的故事，讲述他们如何在自己的公司构建数据产品。
2. 针对不同问题和需求的角色进行专业化
数据集成曾经是一项繁琐的手动集成工 肯尼亚电话数据 作。如今，它已基本通过 Fivetran、Matillion 和 Stitch 等工具实现自动化。这些工具让数据集成变成了只需点击几下鼠标即可完成的工作。将原始数据导入仓库从未如此简单。
与此同时，Metabase、Periscope 和 Looker 等可视化和探索工具引入了轻松的自助数据访问，并催生了“公民分析师”。这些工具使创建和分享见解变得容易，而这项工作原本需要数据工程师来完成。
但轻松获取数据也带来了一系列新问题——重复工作、指标分歧以及查询激增。
数据团队意识到他们需要更严格地控制数据，并向组织提供单一版本的“真相”。为此，他们开始使用 Airflow、dbt 和 Matillion 等工具在数据仓库中建立一个“语义”层 - 一个通过在原始数据上建模和运行 SQL 中最复杂的转换而构建的抽象层。
此新建模层中的数据经过精心挑选和准备。它质量高且专门构建。它经过清理、明确定义、转换、测试和记录。由于此数据和相关文档的质量高，业务用户能够使用他们选择的工具来访问数据，同时获得可靠、一致的结果。
我们刚开始的时候，数据团队规模很小。主要用例是基本报告和漂亮的仪表板。主要有两个角色：
数据工程师开发了定制的数据集成代码，将原始数据移入数据仓库，并且
分析师会查询原始数据来构建报告和仪表板。
但分析和数据工程领域已经出现了很多创新，因此数据团队的工作和期望也发生了变化。团队已经从被动的“问答”分析世界转变为运营的一部分，嵌入产品团队，并在产品开发过程中充当合作伙伴。
1.数据产品
数据仓库已成为数据的神经中枢。仓库内的实际数据现在被输入到数字资产、面向客户的产品以及为内部用户服务的其他应用程序中。
数据变得越来越关键，现实世界中数据产品的例子包括产品体验的个性化、市场的定价算法、WiFi 路由器的供应链管理或商品交易合约的每日结算。
这一切的结果是，数据已经成为一种产品。我们开始收集客户的故事，讲述他们如何在自己的公司构建数据产品。
2. 针对不同问题和需求的角色进行专业化
数据集成曾经是一项繁琐的手动集成工 肯尼亚电话数据 作。如今，它已基本通过 Fivetran、Matillion 和 Stitch 等工具实现自动化。这些工具让数据集成变成了只需点击几下鼠标即可完成的工作。将原始数据导入仓库从未如此简单。
与此同时，Metabase、Periscope 和 Looker 等可视化和探索工具引入了轻松的自助数据访问，并催生了“公民分析师”。这些工具使创建和分享见解变得容易，而这项工作原本需要数据工程师来完成。
但轻松获取数据也带来了一系列新问题——重复工作、指标分歧以及查询激增。
数据团队意识到他们需要更严格地控制数据，并向组织提供单一版本的“真相”。为此，他们开始使用 Airflow、dbt 和 Matillion 等工具在数据仓库中建立一个“语义”层 - 一个通过在原始数据上建模和运行 SQL 中最复杂的转换而构建的抽象层。
此新建模层中的数据经过精心挑选和准备。它质量高且专门构建。它经过清理、明确定义、转换、测试和记录。由于此数据和相关文档的质量高，业务用户能够使用他们选择的工具来访问数据，同时获得可靠、一致的结果。