数据平台

让分散数据,成为一致、可用的业务信息

从数据接入、湖仓建设到治理与分析,帮助企业建立可持续维护的数据基础

服务介绍

从数据接入、湖仓建设到治理与分析,帮助企业建立可持续维护的数据基础。

  • 多源接入与数据治理
  • 经营分析与指标口径
  • 持续运营与应用扩展
手持并操作笔记本电脑

数据接入与治理

连接SAP、CRM、DMS、WMS和MES等来源,统一主题模型、主数据、质量与权限。

接入数据源类型

支持结构化与非结构化数据、企业内部与外部数据、批次与实时数据。数据源包括 ERP(SAP / Oracle ERP)、CRM(Salesforce / Microsoft Dynamics 365)、APP(Weixin / TalkingData)、图像和语音等。

接入方式

通过互联网、虚拟专用网络(VPN)、Amazon 直连专线(Direct Connect)完成云上与线下的网络连通。

使用 DMS、Lambda、Kinesis、CLI 等组件,或 Talend、Informatica、Kettle、Data Pipeline 等产品完成数据上云。

批处理

使用 Redshift 进行结构化数据的 SQL 处理,使用 EMR Spark 处理结构化与非结构化批数据。也可在 EC2 上搭建 Airflow、MapR、Hadoop、Informatica 等第三方处理平台。

实时处理

使用 Kinesis、EMR Spark Streaming、Lambda、SQS 等 Amazon 服务,或部署在 EC2 上的 Kafka、RabbitMQ 等平台完成实时数据处理。

机器学习 / 人工智能

使用 SageMaker、Rekognition、Lex 等 Amazon 服务,或部署在 EC2 上的 TensorFlow、Keras、MXNet、PyTorch 等平台提供机器学习与人工智能能力。

数据应用服务

使用 QuickSight、Tableau、Power BI、FineReport、FineBI 等展示工具,对接 Athena、Elasticsearch、Redshift、EMR、Kylin 等组件,提供数据应用服务。

平台安全及监控

使用 VPC、IAM、KMS、CloudTrail、CloudWatch 等组件完成平台安全与监控。

平台架构

数据源包括 ERP、CRM、APP、图像、语音与外部数据。批数据通过互联网、Amazon Direct Connect 或 Database Migration 接入 S3 数据湖,使用 EC2 进行 ETL、EMR 进行分析,再将处理结果存入 S3;实时数据通过 Kinesis、事件抓取与物联网接入 EMR 流处理。

数据服务包括 Athena 查询、Elasticsearch、EMR、Redshift、RDS 与 DynamoDB,支持数据科学、数据分析、业务应用、SaaS 服务及 API 调用;SageMaker、Rekognition 和 Lex 提供机器学习与人工智能能力,VPC、IAM、KMS、CloudTrail 和 CloudWatch 支撑平台安全及监控。

比孚大数据湖解决方案:从数据源接入、存储和处理到分析应用的整体架构

云服务组件

常用服务包括 Amazon S3、EC2、EMR、Redshift、RDS、Athena、Elasticsearch Service、Kinesis、Lambda、DynamoDB、IAM、Lex、SNS、Database Migration、SQS、VPC、KMS、CloudTrail、CloudWatch 和 Direct Connect,覆盖存储、计算、分析、迁移、消息、网络、安全与监控。

数据湖常用云服务与数据处理组件

业务应用与案例

围绕经营分析、渠道表现、供应链和生产效率形成分析应用。

把销售与渠道数据,转化为可用的经营分析

某调味品企业围绕产品、客户与区域建立商情分析能力,让管理团队更清楚地查看销售表现与营销活动结果。

商情管理分析

以统一主数据,支撑医药流通协作

某医药流通企业围绕基础数据维护、审核与分发建立统一管理流程,支持数据追溯和业务使用。

主数据管理系统

平台持续优化

优化架构、任务性能、资源成本和指标口径,支持新数据源和新业务接入。

AI 分析基础

在受控数据与统一口径上建设问数与分析应用。

AI 数据分析与企业问数

技术与交付能力

Amazon 服务

利用集成服务套件构建和管理数据湖,将不同类型的数据与分析方法组合,支持可扩展、敏捷和灵活的分析。通过分析与机器学习服务访问相关数据,并兼顾安全与监管要求。

技术能力

结合企业已有云环境和数据来源,确定平台组件、实施范围及运维责任,持续检查任务性能与资源使用。

丰富的行业经验

团队成员来自国际咨询和信息技术服务公司,在管理与技术领域积累经验。通过细分行业客户服务和框架化的业务成果,帮助客户找到技术与业务的平衡点,实现业务在数据湖上的落地。