数据平台建设整体思路阐述和总结

Myth丶恋晨 2023-05-31 07:13 33阅读 0赞

数据工作的理解

数据的每一次的输出，永远不会有bug，只有对和错。

数据人永远是在怀疑和被怀疑，孤独和寂寞中完成。每次的输出可能只有一个数字，概率，猜测。。。但是其背后可能是一堆人无数个夜晚不断数据处理，验证，分析，最终剩下的东西(精华)。

数据人不能浮躁，不能功利，必须站在中立立场，客观分析，客观给出结论。

必须要有韧性。特别在创业公司，数据体系基本不完整，各线对数据的认知有高有低。数据收益不是那么显而易见，单单数据仓库建设周期就需要3-5年，坚持和持续的建设显得尤为重要.

#     #

数据处理流程

![640?wx\_fmt=other][640_wx_fmt_other]

数据处理流程

数据收集的途径

埋点

优点：和业务能够紧密结合，支持灵活多变的业务需求。

缺点：有码埋点对业务代码有入侵；无码埋点影响APP性能；有一定维护成本。

爬虫(没做过)

优点：可以抓取应用外数据，丰富数据类型

缺点：有一定开发难度；有一定开发和维护成本；需要考虑数据的应用场景

采购(不做详细描述)

优点：获取数据容易

缺点：注意法律红线；需要谨慎考虑数据应用场景

数据库同步

优点：和业务数据高度一致；和业务需求天然具有关联性。

缺点：对业务数据库有性能消耗，需要考虑数据库性能的极限。

数据收集方案

数据收集方案选择顺序：

数据库同步>埋点>爬虫>采购

方法一：根据DB log 日志。例如Sqlserver 开启CTLog，PG 开启WLlog

方法二：Sqoop 进行数据同步。Sqoop支持目前市场主流数据库数据和Hdfs的相互同步

方法三：依赖消息队列开发数据同步工具。

注意：

1，要考虑数据同步的时候 对业务数据库的压力。尽量使用从库，对没有从库的业务一定要考虑让步策略，异常策略，一切以业务正常运行为前提。2，充分考虑数据安全，在大数据安全不够健全的情况下，一定要对于敏感业务的数据，可以通过脱敏，混淆，隔离等方式处理。

埋点

埋点-前端埋点

埋点-服务端埋点

前端埋点有那些特点

服务端数据埋点有哪些特点

前后端埋点如何设计

埋点描述内容：什么主体在什么时间做了什么事情

埋点通用设计：公共埋点+业务埋点

埋点格式：JSON结构。因为json具有较好的兼容性，大多数平台都能够比较容易解析。数据传输高效。

埋点原则：

1.一旦埋点上线，并且被用于数据分析，尽量不要做删除操作，多做追加操作。

2.埋点设计过程中，不可闭门造车，一定要和充分了解业务，充分沟通，自上而下，从全局到局部做设计。

5，埋点实施

特别是对于从0到1 的平台搭建，各个业务线和团队，一定会遇到很大困难，一定要有极强执行力和耐力，否则埋点在初期会推进的非常缓慢，初期基本上需要手把手去引导

埋点监控

检查埋点是否错埋

检查埋点是否漏报

埋点字段的类型和上报的数据类型是否一致

非空字段是否有控制

7，异常埋点处理策略

如果业务理解透彻，埋点明确，需求交付时间充足，校验机制成熟可靠，异常数据肯定不允许进入后面的数据仓库，但是需要标记并作统计。

如果业务理解模糊，需求交付时间不充足，可以收集，具体使用的时候在做兼容或者其它处理。

收集工具：Flume

需要在各个业务服务器安装agent。

管道内存和磁盘设置，数据不易丢失。但是在实际工作中出现过Flume进程不工作的情况，需要健全对Flume的监控，防止数据丢失

数据仓库-设计原则

全面且深入了解业务，需要和业务专家深入沟通

数据按照最细粒度组织

基于业务过程

推荐扁平的大宽表设计，易用，效率高，消耗的存储可以忽略

数据仓库架构

注意表命名规范。

需要确定各层，各表的业务边界，尽量做到表复用，防止表膨胀或者爆炸，造成无法过多的维护负担

数据仓库几个需要关注的点

业务矩阵：是前期调研的方法，我们需要把各个业务过程中的每个环节涉及到哪些维度，尽可能穷举出来。

**事实**：为了量化，事实数据通常用于计算；**维度**：为了分组和过滤，用于多维度分析；**分区**：为了快速定位需要的数据

缓慢变化维：为了历史留痕，分析的主体历史状态可以查询

数据仓库需要数据统一，形同含义的业务的命名不要重复

如何制作业务矩阵，如何确定事实表，如何确定维度，如何处理缓慢变化维，如何处理分区，事实和维度如何划分 不做细节描述

数据仓库的地位和重要性

是整个公司的基础数据，一定要保证安全、可靠、平稳、维护简单，上手容易

是未来走过BI阶段 进行数据挖掘、机器学习、神经网络 的基石头，在数据仓库没有稳定之前 数据挖掘等更上层的数据相关的研究会陷入被动。

数据分析-数据分析发展过程

下面数据分析开展的顺序，可以同时进行，但是数据建设的不同阶段重点会不同，整体发展过程如下：

![640?wx\_fmt=other][640_wx_fmt_other 1]

**数据分析发展过程：**

1，BI报表：常规的市场，运营分析；抽取指标；经验获取；数据感知能力的培养；数据是二维，更多的是定量分析。

2，多维数据分析：数据是三维，多个三维的数据 组成一个数据立方体，最终构成一个完整数据分析矩阵；这里会衍生出更多的指标，和特征；更多的也是定量分析

数据分析的内容

任何分析，都是基于产品和用户两个主题来进行分析。

问题一：我们的产品被什么样的用户使用

问题二：我们的用户都是在怎么使用产品

这两个问题无法分割，关键看每个分析的需求和场景

数据分析流程

1,经验分析：确定问题和论点，通过经验来定

2,数据准备：数据收集，准备数据，确认数据是否完整

数据处理：统一数据格式，去除重复，增补，数据转换，数据分组

3,数据分析及展现：确定数据分析方法，以及合适的图标专业报告：背景，目的，分析思路，数据展示，结论和建议4,跟踪、反馈：根据需求，确定是否需要跟踪和收取反馈，持续迭代优化分析报告。

指标体系建设

目标：最终的指标体系指标间能够交叉验证，粒度统一，数据一致，数据可解释

数据应用-产品的增值服务

这个最容易实现，有直接让用户付费，也有提高产品粘性，提高产品趣味性。例如：淘宝数据魔方，头条后台数据统计，微博的对每个客户开放的数据分析，微信热搜。

数据应用-内部支撑系统

**2B-用户生命周期管理**

![640?wx\_fmt=other][640_wx_fmt_other 2]

**2B-客户生命周期价值曲线**

![640?wx\_fmt=other][640_wx_fmt_other 3]

**客户生命周期价值曲线**

2C-用户生命周期

![640?wx\_fmt=other][640_wx_fmt_other 4]

**2C-用户生命周期**

2C用户生命周期价值曲线，没有思考过。

**独立的数据产品**

![640?wx\_fmt=gif][640_wx_fmt_gif]

\-End-

**▼**  **社区推荐**  **▼**

▼

**▼**  **福利时刻**  **▼**

01. 公众号后台回复：「快乐」，可参与十一假期33本技术类书籍免费+包邮活动；

02. 公众号后台回复：「加群」，可加入数仓、BI、Python 或 资料分享群。

Q: 关于数据仓库，你还想了解什么？

欢迎留言区与大家分享

觉得不错，请把这篇文章分享给你的朋友哦

投稿请联系小助手：iom1128『紫霞仙子』

更多精彩，请在后台点击“紫霞秘籍”查看

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

*！**关注不迷路~ 各种福利、资源定期分享**！*

↓↓↓回馈读者，十一假期 送书福利活动 正在进行中ing...（点击跳转）

[640_wx_fmt_other]: /images/20230531/81be1e99a96a4c099102b1e5fd8d8695.png
[640_wx_fmt_other 1]: /images/20230531/96b61023dc3b41a194ff55a93c3a7ca8.png
[640_wx_fmt_other 2]: /images/20230531/3a3f81a971154ea3a170c244b390c0f6.png
[640_wx_fmt_other 3]: /images/20230531/7584ce8effc94e03b2b014beeda3b32e.png
[640_wx_fmt_other 4]: /images/20230531/c6d56ccf3d954bc3998170ca9f05ba83.png
[640_wx_fmt_gif]: /images/20230531/d211749d11404388b0cad7d66624ddbf.png
[640_wx_fmt_jpeg]: /images/20230531/ff40674d595247c681df3af871ea2fc9.png