大数据计算与智能：CDH/CDP

现代数据仓库

构建现代化数据仓库来替代传统数据仓库以解决企业对数据来源、数据量及数据服务时效的需求，使得现代化数据仓库可以使用强大的自助服务工具来为数千名BI分析用户提供支持，同时系统提供快速和大规模的向导和自动化管理工具，并且存储所有的数据（包括各种类型和数据量的数据）。

运营数据库

Cloudera运营数据库提供了实时的、始终可用的、可扩展的运营数据库，该数据库在统一的运营和仓储平台中为传统结构化数据和非结构化数据提供服务。运营数据库由Apache HBase和Apache Phoenix提供支持。

流式消息处理

Apache Kafka是一个高性能、高可用性的冗余流消息平台。在CDP中提供了Kafka及其周边的小伙伴，来使得Kafka更易用，更好用。使用CDP7.1，您将获得最新的Kafka服务。

1. 在边缘端显示为Apache MiNiFi，它从移动资产中提取了机器生成的数据。
2. Apache NiFi收集数据并转换、解析和过滤到Kafka的主题，以便Apache Flink/Spark Streaming等流处理引擎运行分析。
3. Kafka Connect支持可用于增强与HDFS、S3和Kafka Streams的连接，直接将Kafka的数据写入到对应的存储中。
4. Schema Registry将在整个Kafka集群中存储和访问您的Schema。它与Apache Ranger集成，来支持对Schema Registry的访问控制。
5. Stream Replication Manager可实现业务连续性，该业务连续性支持您的Kafka群集的复制，以实现灾难恢复和高可用性需求。
6. Cruise Control支持提供基于API的工具，以监视和协助Kafka集群和主题的重新平衡和扩展。
7. Streams Messaging Manager用于监控和管理发布者、代理、使用者和主题。

准实时分析

准实时分析需要对变化中的数据提供快速分析能力，包括结合历史数据和实时流数据进行汇总分析、预测和明细查询。 准实时分析的典型场景需要同时支持顺序和随机读／写的应用场景，包括：

• 在线交互式BI分析/决策辅助

  1. 场景举例: 贷后风险实时监测，实时资产偏好视图，历史风险偏好趋势，市场监测
  2. 应用类型: 需要准实时的同步插入/修改，同时汇总分析和单条查询

• 时间序列数据

  1. 场景举例: 股市行情数据; 欺诈检测和预防; 风险监控；线上实时反欺诈
  2. 应用类型:需要实时捕获流数据，同时结合已有的T+1数据进行汇总、分析和计算 • 机器日志数据分析
  3. 场景举例: 台机监控、故障预警
  4. 应用类型:需要过滤大量流数据，同时结合已有的T+1数据进行汇总、分析和计算 在CDP平台上通过使用Kudu+Impala的架构来提供准实时数据分析，这里只使用一套系统，不再需要后台定时的批处理任务来同步数据，可以轻松应对数据延迟和数据修复工作，新数据可以立即用于分析和业务运营。