大数据BI(Big Data Business Intelligence)是整合大数据技术与商业智能的分析工具,旨在处理TB级数据的实时分析并支持企业决策
[1]
[2]
[3]
。其技术基础涵盖数据采集、存储、处理、分析与可视化,核心能力体现在处理海量数据的4V特性:数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值密度低(Veracity)
[1]
[2]
。相比传统BI,其扩展了非结构化数据来源并强化实时分析能力
[3]
。围绕大数据的商业价值,其应用方向包含数据仓库构建、数据安全、数据分析与挖掘等,已成为企业获取商业洞察的核心领域。
技术架构包含数据来源层、处理层、存储层、分析层和可视化层,支持结构化/半结构化/非结构化数据处理
[5]
[6]
。核心技术组件包含数据仓库构建、OLAP多维分析及ETL数据抽取
[3]
[7]
。应用场景涵盖金融反欺诈、电商精准营销、医疗疾病预测及制造业供应链优化
[2]
[4]
。发展趋势涉及智能化分析、实时动态化及与AI、物联网等技术融合
[2]
[5]
[6]
。
1. Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生,早期Hadoop生态圈逐步形成。
2. Hypertable是另类。它存在于Hadoop生态圈之外,但也曾经有一些用户。
一体机数据库/数据仓库
IBM PureData(Netezza), OracleExadata, SAP Hana等等。
Teradata AsterData, EMC GreenPlum, HP Vertica 等等。
QlikView、 Tableau 、 国内永洪科技Yonghong Data Mart 等等。
Yonghong Data Mart是基于自有技术研发的一款数据存储、数据处理的软件。针对客户需要处理需求数据的量级不同,IT系统架构的不同和存储系统的不同,提供了两种解决方案供客户选择一种本地模式,一种是MPP模式。当需要处理的数据量级别处于TB级以下,或者采用普通存储结构,或者单机已经足够满足性能需求,建议用户选择本地模式。当面对
异构数据库
存储系统,需要处理的数量级别在TB级和PB级以上,或者IT系统和存储系统采用分布式,或者需要MPP模式才能满足性能需求,基于分布式架构的并行处理模式更适合客户的需求。
Yonghong Data Mart底层技术:
1. 分布式计算
2. 分布式通信
3. 内存计算
4. 列存储
5. 库内计算
[1]
大数据时代:从预言走向现实_新浪新闻
.新浪网
[引用日期2013-11-15]
[2]
什么是大数据BI? - DataFocus
.商睿.2025-04-06
[3]
如何定义大数据与BI商业智能? - 知乎
.知乎.2022-10-13
[4]
大数据bi系统是什么
.帆软官网.2024-07-29
[5]
大数据 BI 的技术架构是怎样的?
.知乎.2025-01-17
[6]
大数据BI,开启商业新时代
.观远数据.2024-10-18
[7]
AI大模型之语言大模型在大数据BI上的应用实践
.知乎.2024-11-19