架构设计
根据比孚已有的行业经验与Amazon实施经验，结合其数据情况，为该企业规划了一套循序渐进的、基于Amazon新型数据架构。最终根据企业IT环境实际情况，协助完成物理架构落地
项目介绍
某韩国化妆品集团面对分散的数据仓库与指标口径，围绕销售、促销和库存建设分析体系。项目整合内外部与手工数据，统一分析指标，支持业务团队自助查看数据与制作看板。
项目起点
External / 外部
- 可靠的外部数据获取困难
- 多格式数据的清洗整合
- 缺少完整的分析模型
Internal / 内部
- 数仓架构分散，数据分散在多个渠道多个品牌的系统中，由不同的业务系统负责不同的业务模块的数据架构设计及实施
- 数据仓库比较传统，缺失非结构化数据分析手段，跑批性能和报表查询性能不能满足业务的需求
- 按照报表需求，分别进行统计加工，同一指标在不同报表间存在差异
- 数据需求由多个系统实现，修改繁琐，交付周期长
- 数据量越来越大，现有系统缺少弹性
建设重点
指标整理
对数据源进行探查，分析现有指标逻辑，协调各部门，制定一套完整的指标体系
模型设计
基于企业业务实质，抽象和设计概念数据模型，明确业务概念和关系。划分清晰的数据存储层次与主要功能，定义数据管理规范
报表实施
根据不同部门的报表需求，合理制定报表体系。充分利用Amazon Redshift的性能，优化报表查询性能
形成的变化
数据平台
云上数据湖容纳了大量丰富数据，为提供各种数据服务成为了可能；
指标体系
制定一套完整的指标体系满足不同的业务需求，统一部门间的业务认识；
模型设计
企业数据仓库的架构与模型满足未来业务发展变化的需要；
数据性能
1. ETL整体过程整体执行效率较线下的数据仓库提升倍；2. 报表查询平均时间较之前提升数倍。