大数据产品平台化体系.xmind

导读:初级工程师搞技术,高阶工程师搭平台。没有几个工程师天赋异禀,技术的差距,是认知的差距。文笔差多包涵,希望对你有所帮助。一家之言,谢邀!

“业务数据化,数据产品化,产品平台化”,中台或许不成功,但中台思想是先进性进步。一图胜千言,先上图。

大数据产品平台化体系.xmind

大数据产品平台化体系.xmind 

 

作为数据工程师,不管你是数仓/BP/BI,还是大数据开发/ETL,天天只知道code代码的朋友,需要抬头顿首,从上帝视角思考大数据产品平台体系架构。敲代码,拼体力,肯定拼不过新生代年轻人。

 

在说平台体系之前,我们先简单聊一下方法论。方法论是什么?方法论有很多,如维度建模、3-One等,都需要落地才会产出价值。同一个东西,从不同的角度去看可能是完全不一样的见解。

 

方法论是仁者见仁,智者见智又指导实践殊途同归的思想。

 

其实可能很多人都听过,比如阿里经常讲的全域数据,背后是一系列在做数据化运营过程当中沉淀出来的一些方法论。如 OneID,就是我去拉通去看,我们把所有的消费者或者是把所有的商家的数据合到一起,我们去打造一个全域数据。如 OneModel,数据建设了这么多年,沉淀的一套数据建设方法论。还有 OneService,是再数据向上使用的时候,一套工具和方法论(引自阿里技术)

 

无独有偶,数据中台更需要大数据平台化去落地与具象。

 

大数据产品平台体系,从数据生产、数据服务到数据管理、资源管治。与其说是大数据产品平台体系,或许不如说是当前大厂数仓平台化体系更合适。平台化,五花八门,职能细化,分工明确,合作协同的同时,造就了一个又一个岗位。对数据工程师来说,也是一大利好。下面我们通过强引具体看下都有哪些平台:

 

一、数据生产

 

  • 数据集成平台

            数据同步(接入、分发)

  • 离线开发平台

            离线数仓

  • 实时计算平台

            实时数仓

  • 调度平台

            现在一般会集成到开发平台 

  • 数据质量中心

            DQC、SLA

 

二、数据服务

 

  • BI报表平台

            传统报表

  • 自助分析平台

           自助取数、OLAP多维分析、可视化

  • 交互式查询平台

           HUE

           DMP

  • API开放平台

           API服务

  • App分析

          用户行为分析

  • ABTest平台

          通用A/B测试

 

三、数据管理

 

  • 数据地图

             元数据管理系统

  • 数据资产

             数据模型、数据权限

  • 指标管理平台

             指标体系、指标库、

             维度/指标统一服务平台

              埋点元数据管理平台

  • 需求管理平台

             任务协同、项目管理工具

 

四、资源管治

 

  • 数据管治平台

             规范分、排名等

  • 资源管治平台

             计算资源、存储资源、队列管理、资源治理

  • 引擎服务平台

              存储引擎(HDFS等)、

              计算引擎(MR/Flink等)

 

注:今天作为一个架构强引,没有具体展开,每一个都是一个大项目,期待后面逐个陆续展开分享。

 

五、全局延伸

 

1.大数据生态0-1全景图谱.xmind

大数据产品平台化体系.xmind

 

2.Apache Flink 学习0-1知识点全景图.xmind

大数据产品平台化体系.xmind

 

3.大数据职业发展方向.xmind

大数据产品平台化体系.xmind

 

 

六、薪资与职级

大数据产品平台化体系.xmind 大数据产品平台化体系.xmind 大数据产品平台化体系.xmind 大数据产品平台化体系.xmind 大数据产品平台化体系.xmind 大数据产品平台化体系.xmind 大数据产品平台化体系.xmind 大数据产品平台化体系.xmind 大数据产品平台化体系.xmind

今天的分享到这里就要说再见了,主要是宏观介绍了一下当前大数据产品平台体系。横岭侧峰,见仁见智,只希望能对你大局认知有所帮忙。也欢迎大家关注这个公众号,一起升级打怪,一起走的更远!

大数据产品平台化体系.xmind大数据产品平台化体系.xmind大数据产品平台化体系.xmind

大数据产品平台化体系.xmind

版权声明:zisheng 发表于 2021-03-30 2:55:00。
转载请注明:大数据产品平台化体系.xmind | Assistants-产品经理聚集地

暂无评论

暂无评论...