一文说清楚主数据，数据堆栈和数据中台_金年会

实践之前先搞清观点，先看看三者的寄义后想必谜底也逐步形成，不辨也明。先简朴说明一下，主数据是解决一定规模内对某个工具共识，就像秦始皇统一文字怀抱衡一样，天津人管西红柿叫火柿子，西红柿就是主数据，相对的另有参考数据，感受更像编程中的枚举，这个枚举也是尺度化的，它们可以作为数仓的维度。数仓主要是用于存储应用系统的生意业务型或事务型的数据。

把数据放入数仓主要是为了在企业层面举行数据分析，以前主要是结构化数据，数据进入前要经由ETL，数据分析或数据挖掘的效果基本都是以报表出现给高级用户的。不外它也在进化，逐渐在演变为数据湖，开始对数据划分周期，兼容非结构化数据，ETL也在变为ELT，分析的应用场景更辽阔了。

数据中台，小我私家明白更贴近业务，以前都是业务决议数据，可是随着技术进步，发现数据反过来可以影响业务决议，革新业务，创新业务，为了实现复用，逐渐沉淀成数据中台。小我私家明白数据中台更像是原来数仓的数据集市与信息市场，只不外不再是仅未中高层提供报表，而是近实时的提供数据服务。一、主数据是什么？多年前，当我们开始“玩主数据”的时候，客户向导担忧业务部门不能正确明白，把它称为“公共数据”——这个名称虽不够准确，却为普及主数据和主数据治理奠基了良好的基础。

不知啥时候开始，主数据似乎又成了热门词汇，主数据项目层出不穷。这固然并不奇怪，时代生长到今天，数据驱动业务不再是空话，当数据“司机”发现企业“这辆车”四处漏油、零件叮看成响时，你肯定不能任由“这辆车歇工”而坐视不管。

举个主数据质量低劣造成的典型场景：团体公司希望统筹全团体的“人财物”，集中采购就成为重要抓手。可是流程梳理整合了，SRM系统上线了，集中采购却“跑”不起来。

各家下属企业各说各话、鸡同鸭讲，团体难以通过SRM统一全团体的物资采购。其中的焦点原因，就是主数据。

如果该团体提前计划，将“人财物”这类高频使用的业务数据纳入团体主数据领域，就是另一种了局了。从企业运营或业务流程的角度来说，主数据通常表现可生意业务的实体。以从订单到收款的流程为例，客户使用某种资产(如自助终端)在某个零售店的位置购置公司的产物，其中客户、产物、位置、资产都是主数据，销售记载中的账户、在零售店事情的员工也是主数据。

生存主数据的系统一般不记载生意业务信息，但它们应保持一致的实体信息，确保业务流程能够正常运转。一个好用的主数据治理系统，应具备将实施服务结果落地的能力，并满足客户不仅仅是技术层面的需求，因此应像亿信华辰EsMDM主数据治理平台一样，实现以下价值：1、实现主数据统一治理，统一尺度规范，各司其职；2、满足主数据业务需求，可凭据业务需要灵活界说模型及业务流程；3、保障主数据高质量，实时发现、修复质量问题，为各种应用场景提供唯一、准确、权威的主数据支撑；4、构建主数据高效共享，多种分发方式自主选择，直接使用；5、降低主数据治理成本，快速识别、全界面治理，数据自动流转淘汰运维压力；6、提升企业运营效率，一体化主数据管控，一次录入，多方受用同时，我们在建设主数据系统的时候，不能只纠结于某个功效点，更应构建起一个完善的功效架构。△图为亿信EsMDM主数据治理平台架构https://www.esensoft.com/data-governance.htmlwww.esensoft.com二、数据堆栈是什么？1）数仓的历史我们首先简朴看下数仓的历史由来。在IT行业刚开始起步时，企业中最先思量的是建设各种应用系统来满足业务开展，这个时候需要一种专门的工具来存储业务数据，由此就展开了关于业务数据如何存储的理论研究和实践，最终关系型数据库系统降生，范式模型也成为了业务系统的主要数据存储模型。

厥后，企业逐渐有了数据分析的需求，虽然业务系统的范式模型也能满足一部门的分析需求，可是存在许多的缺陷，好比表关联庞大、查询效率低、一些需求需要跨系统取数等等，于是人们转而寻找更合适的数据模型来满足分析型应用的需求，在研究生长历程中，数仓的观点就降生了。那么我们先看一下数仓是什么？2）数仓的组成数仓是什么呢？从字面上来看，其实就是存放数据的堆栈，这些数据怎么存，存什么样的花样，怎么取怎么用，这个就需要一套体系去组织和治理，这整套体系就形成了数仓的一系列理论。那它和数据库有什么区别？数据库卖力组织存储数据，存储的载体就是我们熟悉的种种数据库表，它不太管你表是怎么组织的，有什么字段，你给他什么样的表它就给你存什么样。数据堆栈就是使用数据库来存数据堆栈里的表模型和数据，可以说，数据堆栈本质上是一种特殊的数据组织形式，是一种特殊的数据库。

对数仓有个基本的认识后，我们就来看看数仓涉及到哪些理论需要我们去掌握和学习吧！首先，数仓中的模型如何设计？需要我们掌握建模理论，现在有两种主流的数仓建模方式，一种是范式建模方法，一种是维度建模方法。在实际项目中，这两种都有使用，可是维度建模会更多一些，更多的实际情况是两种建模方式联合使用。

数仓建模需要遵循一些基本的设计原则，像一致性维度、一致性事实、总线架构等。学习多维建模，必须明白和掌握的基础观点还包罗种种维度表好比单级维、层级维、缓慢变化维等，种种事实表，事务粒度事实表、周期快照表、累计快照表、怀抱和指标的观点，各种模型如星型模型、雪花模型等。

通过这些建模方法我们可以建设许多的模型，那么怎么治理这些模型呢？这就需要在架构上做分层，通过将差别作用的表放在差别的分层上举行组织和分类，让数仓中的模型更容易被治理。一般数仓中分层包罗ODS层（贴源层）、整合层、汇总层、集市层等，有些企业可能分层会分的更细一些，可是总体分层思路大要是相同的。

这里理论基本在网上都被大家分析的很透彻了，大家可以搜索资料学习。上面所讲的基本是模型层面的一些理论，除了建模，数仓另有个比力重要的事情是就是为这些模型填凑数据，这就要用到ETL了。

ETL就是把数据从源系统中抽取出来，通过种种加工和数据处置惩罚，从而形成我们模型所需的数据灌到模型表中。做ETL需要掌握一些技术知识，好比数据库基本观点、SQL、ETL工具、操作系统相关知识等。数仓建设历程中需要一些产出文档，一些比力重要的文档如数据源分析文档、需求文档、模型设计文档、ETLMAPPING文档、运维文档等。最后总结一下，如果想要入门数仓的话，一个学习门路是，学习数仓建模种种理论，不求能深入明白，至少有基本认识，然后加入到实际项目中，联合理论去学习项目中的模型，同时也要增强种种技术能力的学习。

另外，学习不是闭门造车，我们需要更多的技术人一起探讨交流，可以多关注一些技术微博、微信民众号，加入一些学习群组，多阅读一些书籍等。最后放张图，利便大家整理计划自己的学习门路。

最后的最后，推荐一款数仓工具-亿信数据工厂系统EsDataFactory，集建模和ETL于一体，内置经典的数仓分层理念和富厚的数据处置惩罚组件，同时联合十多年的数仓实施履历，开发了批量建模、ETL快捷建模等多种建模方式，有效提升开发效率，更贴近实际数仓建设场景，可以快速资助企业搭建数仓模型，完成 ETL敏捷开发。数据交流平台,数据工厂系统,数据共享平台-亿信华辰软件​www.esensoft.com三、数据中台是什么？“中台”早期是由美军的作战体系演化而来的，使用“中台”这种作战体系，目的就在于给予前方高效、灵活和强大炮火支持。2015年，阿里巴巴率先提出了“中台战略”，以及其有名的“大中台、小前台”的机制。

2018年8月，阿里公布“双中台+ET”数字化转型方法论，阿里的双中台包罗了数据中台和业务中台。在阿里中台观点的引领下，许多企业也提出了自己的“中台战略”。

如把内部一些通用性技术平台、支撑系统打包在一起，称之为技术中台；把一些大的业务服务系统，逻辑上集中起来称之为业务中台；或爽性把现有的数据堆栈、数据治理平台、数据运维平台整合称之为数据中台；另有一种更简朴的方式，就是把以前内部IT支撑系统的后台直接更名，与数据相关的部门就叫数据中台，与业务耦合度较精密的就叫业务中台。当下，人人都在谈论数字化转型，但怎么转，做什么，中台有可能成为企业推进数字化转型的有效方法之一。

我们先来看下严选的数据体系（下图），就更清楚数据中台的定位了。数据中台的下层是数据平台，数据平台主要解决跟业务无关的问题，主要是大数据的存储和盘算问题。数据中台的上层就是数据前台，主要包罗 BI 报表、数据产物和业务系统。

数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精致化运营。可以看到，数据中台的主要作用在于将企业内部所有数据统一处置惩罚形成尺度化数据，挖掘出对企业最有价值的数据，构建企业数据资产库，对内对外提供一致的、高可用大数据服务。下面重点来看看亿信华辰凭据多年大数据履历的累积及数据中台的项目实践总结出来的数据中台技术架构，主要分为以下5个部门：1）数据汇聚数据中台不发生数据，数据其实泉源于各个业务系统、数据库、网络情况等，是日常操作所发生的数据，多数存储在网络情况和存储平台中，且各个系统之间独立存在，很难直接使用，需要去举行数据抽取、收罗、整合和处置惩罚，将异构数据收罗到统一的平台举行存储，进而通过建模将数据举行加工处置惩罚，变为对业务有用的数据，只有这样才气有效汇聚数据，形成数据中台的统一数据资源。2）数据存储盘算将收罗补录、抽取整合的业务数据汇聚后，以数据形态存储，当下大数据生长的节奏让数据库技术也由传统关系型数仓架构，向Hadoop漫衍式架构演变，并随着业务实时性决议需要，推动融合MPP、SQL on Hadoop、流处置惩罚等大数据技术服务的实时流式盘算存储应用，实现海量数据高效统一治理，为企业提供实时数据支撑。

3）数据治理数据平台建好后，业务数据可能杂乱无章，数据质量低，需要经由一系列的治理提高数据质量，将数据统一起来举行管控，这个历程中就包罗数据模型治理、数据尺度治理、元数据治理、数据质量治理、生命周期治理、数据宁静治理。数据模型治理是凭据业务对数据举行分层、整合处置惩罚，利便数据的分析应用；元数据治理利便技术人员举行分析数据来龙去脉以及对数据库底层数据质量举行把控；数据尺度用来指定一系列尺度，对元数据举行尺度的检查；数据质量是凭据一系列规则，对库表数据举行校验和整改；数据生命周期和宁静贯串整个流程，为数据保驾护航。

4）数据资产治理经由数据汇聚、数据治理，已经形成的数据资源需要有统一的地方去举行治理，利便业务人员明白数据，这时就需要建设数据资产治理体系，需要先凭据业务先形成资产目录，数据拥有者将自己的数据资产挂到对应的类目树，梳理成一套完整的资产目录，将数据资产开放出去，展示给业务人员或外部人员，提供企业的数据意识。5）数据服务经由前期一系列梳理事情，数据还没有真正发挥它的价值，而数据服务则是将数据资产转化成一种服务能力，那么如果我们需要挪用某个数据资产要怎么操作使用？数据提供方又如何将数据资产提供应别人使用？这就是我们说的数据服务功效，资助用户实现数据计划咨询，数据资产服务开放及数据可视化展示应用等。

数据中台是一个运营迭代的历程，通过业务闭环不停完善，使业务的场景化应用效果越来越好，最终到达数据业务价值的最大化。

本文来源：金年会-www.zxsecu.com