数据隔离与数仓分层

系统管理员 2023-07-15 13:11 110阅读 0赞

**一、数据隔离**

数据隔离可以包含物理隔离与数据隔离2种，其中有多租户隔离、数据源隔离、共享数据表隔离、分片隔离等待。

**二、数据隔离方法**

<table> 
 <thead> 
  <tr> 
   <th>隔离方式</th> 
   <th>成本</th> 
   <th>支持数量</th> 
   <th>优点</th> 
   <th>缺点</th> 
   <th>实现方式</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>多租户隔离</td> 
   <td>低</td> 
   <td>非常多</td> 
   <td>维护与成本低、数据库能够支持租户的数量最多、数据 能支持多少表，就能支持多少租户</td> 
   <td>数据恢复麻烦</td> 
   <td>创建表添加租户ID、同时拦截器进行租户ID判断</td> 
  </tr> 
  <tr> 
   <td>共享数据表隔离</td> 
   <td>中</td> 
   <td>多</td> 
   <td>使用业务上的逻辑隔离、数据库支持多个租户</td> 
   <td>数据恢复麻烦</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>数据源隔离</td> 
   <td>高</td> 
   <td>少</td> 
   <td>隔离很高、安全性好、可以进行数据恢复</td> 
   <td>成本高</td> 
   <td>JPA、druid、seata、注解</td> 
  </tr> 
  <tr> 
   <td>分片隔离</td> 
   <td>高</td> 
   <td>少</td> 
   <td>数据库进行分割或者对表进行分割（水平、垂直）、读写分离、性能高</td> 
   <td>操作麻烦</td> 
   <td>Shards</td> 
  </tr> 
 </tbody> 
</table>

**三、数仓分层**

数仓分层通过数据分层管控数据质量，需要对数据清洗等操作，不必改一次业务就需要重新接入数据，每一层数据都是单独的作用，同时规范数据分层，减少业务开发、直接抽取数据。

<table> 
 <thead> 
  <tr> 
   <th>DM</th> 
   <th>数据集市层</th> 
   <th>用于BI、多维分析、标签、数据挖掘、可视化、报表等、按需存储、 dm_主题_表内容_分表规则</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DIM</td> 
   <td>公共维度层</td> 
   <td>存储公共的信息数据、用于DWD、DWS数据关联、按需存储 dim_维度描述</td> 
  </tr> 
  <tr> 
   <td>DWS</td> 
   <td>原始汇总层</td> 
   <td>汇总数据，解决数据汇总计算和数据完整度问题，保留全部数据 dws_业务描述_时间粒度_sum</td> 
  </tr> 
  <tr> 
   <td>DWD</td> 
   <td>数据明细层</td> 
   <td>数据处理后的宽表，目标为了满足80%业务需要 保留全部数据 dwd_业务描述_时间粒度</td> 
  </tr> 
  <tr> 
   <td>ODS</td> 
   <td>数据操作层</td> 
   <td>对STG层数据进行初步处理、去除脏数据、清洗数据、补充或者去除空数据 、默认保存30天、ods_主题_表内容_分表规则</td> 
  </tr> 
  <tr> 
   <td>STG</td> 
   <td>原始数据层</td> 
   <td>存储原始数据、保存全部数据 、stg_主题_表内容_分表规则</td> 
  </tr> 
 </tbody> 
</table>

**四、数仓分层优缺点**

优点：不必改一次业务就需要重新接入数据，每一层数据都是单独的作用，同时规范数据分层，减少业务开发、直接抽取数据。  
缺点：操作麻烦、耗时。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70 2]  
参考：[阿里云][Link 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200317113349225.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70 1]: /images/20230528/26b68882e53249dd8dccdbfb61c29d72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70 2]: /images/20230528/74600491ce7d49e2815acd54bf203347.png
[Link 1]: https://help.aliyun.com/document_detail/114447.html