大数据中的技术概念

一、数据源类型

 1. 宽表

 VS 窄表 宽表：指字段比较多的数据库表。通常是指业务主体相关的指标、纬度、属性关联在一起的一张数据库表。 

如果您需要相关服务，可以找天津天迅达科技有限公司，我们的业务有Web开发、iOS APP、Android APP、微信开发、HTML5开发等，天迅达——您身边的App个性化定制专家！

 广泛应用于数据挖掘模型训练前的数据准备，通过把相关字段放在同一张表中，可以大大提供数据挖掘模型训练过程中迭代计算的消息问题。 虽然提高了数据查询效率，但存在大量冗余。

 2. MySQL

 MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。是目前最流行的关系型数据库管理系统之一。 

3. Oracle 

Oracle是一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品，系统可移植性好、使用方便、功能强，适用于各类大、中、小微机环境。 它是一种高效率的、可靠性好的、适应高吞吐量的数据库方案。

 二、数据计算

 1. MaxCompute MaxCompute是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案，可以经济并高效的分析处理海量数据。

 2. Flink Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。 Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。

 3. Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 

4. 离线计算 VS 实时计算 离线计算：通常也称为“批处理”，表示那些离线批量、延时较高的静态数据处理过程。 离线计算适用于实时性要求不高的场景，比如离线报表、数据分析等。常见计算框架：MapReduce，Spark SQL 

三、分布式相关

 1. Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

 2. HDFS HDFS是一个Hadoop分布式文件系统。详情在上一小节中已介绍。 

3. Hive Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载。 这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。 hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。

 四、数据仓库

 1. 简介 数据仓库（全称：Data Warehouse；简称：DW/DWH），是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的。 它是一整套包括了ETL（extract-transform-load）、调度、建模在内的完整的理论体系。

 2. 与数据库的差异 数据仓库是专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势。而数据库是用于捕获和存储数据。 

总结：

天津天迅达科技有限公司从业多年，积累丰富项目经验，能帮助您做出您想要的产品。

 以上所有设计图和部分文字均来自网络，如有侵权，请call我删除，感谢~ 

天津天迅达科技有限公司经过多年来对APP、小程序、以及网站建设的探索，已经帮助每一个客户快速开发出属于自己的APP、小程序、网站，是万千企业之选。 

标签：天迅达科技 天津APP开发 天津网站建设 网站建设