企业的发展和信息化的建设密不可分,并且随着信息化的完善,信息化与业务的结合也越来越紧密,企业也逐渐开始重视流转在各个系统中的数据,数据作为企业重要的资产,直接反映了企业的运行状况,并能为业务的升级、优化提供有效的指导。而为了达到最大化利用数据的目的,开展企业数据治理、整合、分析,深度挖掘数据价值已经成为企业信息化建设的一个共识。
数据治理、整合、分析对于企业而言是一项复杂的工作,系统越多、数据量越大,实施建设的难度就越大,但是一旦建设完成,对于企业业务的提升非常明显。一般而言,这个过程包括数据整合和数据分析两部分, 数据整合是将分散于各个系统的数据进行归集、整合,汇聚到一处,数据分析是基于整合后的数据进行综合分析展现 ,以便分析企业的综合运营情况。数据整合实现数据统管,为复杂的多维度分析提供数据支持,而数据分析实现跨系统、跨业务的整体分析,充分发挥数据整合的价值,二者相辅相成,共同完成数据价值的分析、挖掘。
(资料图)
数据分析项目以数据整合和数据分析为基础 ,实现跨系统的综合集成,全面打通企业的应用系统,构建综合分析展现平台。在实施过程中除了需要对产品、系统等有比较全面的了解,更重要的是能和客户一起梳理业务、规划指标,让客户能直接参与到数据整合分析的过程,全面掌握实施流程,才能将数据分析的成果有效落地,并能最终交付给客户,保证最终项目的交付。
总体说明
数据分析方案主要是满足企业数据整合、数据分析的需求,实现跨系统的数据整合,并能基于整合后的数据实现可视化分析,涉及DAP、ESB以及各个业务系统,通过平台建设构建数据仓库、数据指标以及可视化分析。
1.方案说明
数据分析项目主要包括DAP、ESB产品,满足数仓建设和分析展现的需求,在具体实施过程中,可能还会包含MDM基础数据平台形成数据中台方案, 通过MDM实现基础数据治理 ,为数仓提供基础数据支持。
DAP数据分析平台作为数据分析的核心,完成数仓建设、数据分析两部分内容,数仓通过ODS、DW构建数仓模型,实现分层建设,并能进行数据集、立方体等分析模型的配置,从而支持基于业务主题和业务指标的可视化分析。ESB作为数据集成平台, 实现源头系统到ODS以及ODS到DW数据抽取、加工、转换 ,完成数据汇聚的过程。而MDM基础数据平台则实现基础数据治理,为数仓提供基础数据支撑,构建数仓维表。
2.数仓架构
数仓的建设是基于DAP平台配置的多层数仓体系,具体架构体系如下:
数仓的建设过程主要是将源头数据汇聚到数仓,并进行分析配置的过程,包括了贴源层ODS、数仓DW和应用层ADS,而 DW又分为数据明细层DWD和数据服务层DWS 。数仓数据加工汇聚的过程:
1.源头数据首先进入ODS,一般直接以原始数据的形式存储,支撑数仓的同时,为数仓一体、数据追溯提供原始数据;
2.ODS落地数据后,再基于ODS构建数仓中的基础事实表,形成DWD;
3.基于DWD根据实际需要进行进一步的数据汇总,构建数据宽表和模型,形成DWS;
4.数仓构建完成后,基于数仓模型,根据分析主题和分析指标的要求进行数据集、立方体、多维分析、业务报表的配置,为最终的展现效果提供分析模型。
3.能力要求
作为一名合格的数据分析项目经理,首先应该能够完成全生命周期的项目管理,能够协调各方资源,有效推进项目,把握项目进度和风险,达到项目的最终目的。由于数据分析项目需要从各个系统采集数据,不可避免需要和各个系统厂商进行沟通,但是和数据治理项目不同, 数据采集更多是面向数据库、服务接口等已有的内容 ,不会涉及大量的系统改造,所以一般而言系统厂商更容易配合,所以在项目过程中多沟通,协调提供相应的资源即可。
作为项目实施的负责人,需要对DAP、ESB等产品充分了解,了解产品的相关功能以及具体的使用场景,掌握实施过程中通过平台进行数据采集、加工、转换、汇总的全流程,以及ODS、数仓、分析模型、可视化看板的配置过程等,能够根据客户需要快速配置展现样例,直观地呈现实施效果,让客户充分了解平台、了解最终达到的效果。
由于 数据分析项目的重点在于业务主题与指标的分析规划,以及数仓模型的假设 ,所以作为项目经理,需要充分了解客户的业务,明确各业务系统的业务以及包含的数据,能够根据实际业务规划主题和指标,能够根据数据指标明确数据来源,从而完成数据的抽取与汇聚。并在实施过程中,加强培训与输出的工作,协调客户方参与到指标梳理规划、数仓建设的过程中,保证项目成果的同时,能让客户更加全面得了解建设过程。
产品方案
数据分析方案是由DAP、ESB产品组合的解决方案,在实际项目中,有可能还会加入MDM进行主数据的治理与统一,为了保证数据分析的效果,项目人员需要充分 掌握数仓体系、建设过程、指标分析体系的建设过程 。
而对于项目人员的培养,则需要从产品、方案等方面进行强化,通过学习DAP产品掌握基础功能的使用,包括 数仓模型、数据调度、分析模型、页面配置 等,再通过样例了解数据采集、加工、转换、汇总的过程,通过POC的需求深入了解业务场景,以及在实际项目中的应用模式,通过不断学习、操作、项目,不断提升个人能力。
1.掌握产品
对于项目经理而言,需要充分了解自己所负责项目涉及的相关产品,需要熟练使用产品,了解产品的各个功能模块如何配置使用,如何和其他系统交互,实现数据的采集与加工转换。
DAP数据分析平台:
1. ODS配置 :通过数据源的配置,将源头系统注册到DAP平台,并根据数仓建设的需要将源头系统表同步到ODS中;
2. 数仓建设 :建立主题分组,配置数仓的维表、事实表,建立数仓模型;
3. 数据调度 :基于ODS、数仓的配置,通过ESB设计器生成数据采集流程,实现源头数据到ODS、ODS到数仓的数据同步;
4. 分析模型 :根据分析展现需要配置数据集、立方体、多维分析以及业务报表;
5. 数据服务 :基于数仓数据配置数据服务和分析指标,通过数仓对外提供数据,实现业务系统与数仓的集合,强化数仓价值;通过配置分析指标,设置指标阈值,实现指标预警;
6. 展现配置 :根据展现效果需要,配置分析主题、分析看板,结合分析模型的数据,构建动态的可视化数据展现效果,完成基于大屏、Web端、移动端的数据展现。
ESB企业服务总线:
1.需要掌握ESB平台的基础功能和使用方式,了解ESB产品在实际项目中可以满足的具体业务,以及和业务系统集成交互的具体方式;
2.在数据分析方案中,ESB主要作为数据总线,支撑DAP数据分析平台的数据采集与加工汇总;
3.ESB作为数据总线进行数据采集和加工汇总时,主要是根据DAP平台配置的模型,通过ESB设计器生成采集流程,再在DAP中配置相关的调度流程;
4.由于数据分析经常和MDM结合构建数据中台方案,所以如果涉及到MDM产品,ESB还需要支持MDM进行主数据的同步分发,以及业务单据等相关需求,所以对于ESB的 API管理、应用集成、安全机制 等也需要充分了解。
2.预置样例
对产品的了解和掌握,不仅仅是通过学习各个产品,同时要掌握具体的业务场景,为了加强产品的业务特性,降低上手难度,在ESB产品中预置了数据分析的样例,通过样例学习,可以更加快速地掌握DAP产品的实际应用。
DAP预置样例中包含了DAP和ESB两个产品,主要是通过ESB进行数据抽取、加工、转换、汇聚,实现源头到ODS、ODS到数仓,以及数仓中基础事实表到汇总事实表的数据整合。
3.内部POC
内部POC又包括iPOC、dPOC,是数通畅联基于实际项目的业务场景和最佳实践,同时结合 主数据治理、业务集成、统一身份、数据分析 等样例组合构建的综合性方案。其中dPOC作为数据中台方案,是数据分析方案的进一步深化,包括了DAP、MDM、ESB三个产品,在满足数据分析的需求之外,同时实现了主数据治理,并通过MDM为数仓提供维表数据,再结合业务系统的事实表数据,构建完整的数仓模型,实现基于人事、财务、成本、地产、旅游等主题的可视化分析效果。
POC的学习是在数据分析样例基础上的进一步深化,通过POC了解DAP更全面的应用。对于项目人员而言,熟悉POC的内容,一方面可以了解DAP具体的应用场景,同时也能了解DAP与MDM产品的结合点。在项目实施过程中能够更好地向客户方介绍方案的价值,以及后续信息化建设过程中数据的集成整合,也有利于项目的最终交付。
项目调研
对于数据分析项目的项目经理,项目管理的能力是必要的基础能力之一,了解并掌握项目的具体实施流程,并根据项目进度把控项目计划和质量,把控项目实施交付过程中的进度、风险。
1.调研内容
因为数据分析项目主要的内容就是数仓的建设与可视化分析,所以在调研过程中主要围绕数据主题和数据指标展开,了解数据分析的内容、范围、数据来源等。
1. 关键用户 :在调研前首先要明确关键的用户和人员,包括客户方领导、技术人员、业务人员等,明确人员职责以及和项目的交集,同时也对其他系统厂商等相关人员进行确认;
2. 系统调研 :主要对已建以及在建系统进行调研,明确有哪些系统,使用情况如何,哪些人员使用,包括哪些业务、哪些数据等;
3. 业务调研 :主要对项目的核心业务进行梳理和调研,了解具体业务场景,并基于业务场景分析业务主题和数据指标,为后续数仓建设和展现配置提供依据;
4. 数据调研 :根据系统、业务以及客户方的需求,确认本期项目需要分析的主题与指标,并针对每个主题和指标确认数据来源,包括来源系统、提供方式、来源表或接口、数据计算方式等。
2.需求分析
基于调研的结果进行梳理分析,对相关需求和要点进行梳理归纳,并在梳理的过程中加深对业务的理解,同时了解客户的关注点,另外对于客户的特殊或定制化需求,确认产品是否能够有效支撑,如果不能满足,具体的解决方案是什么。
1.根据调研的结果,结合DAP平台进行梳理归纳,确认 业务主题、业务指标、分析主题 等;
2.根据客户需求确认需要建设的多维分析、综合业务报表等复杂模型和报表展现;
3.分析各个系统所提供的数据结构,确认ESB是否可以正常进行数据抽取与加工汇总,指标的计算方式如何进行实现等;
4.如果客户提出的需求产品无法满足,及时和研发人员沟通反馈,确认产品是否可以扩展,如何可以扩展,明确具体的实现方式,如果不能扩展,也要提出适当的替代方案。
3.沟通明确
在进行需求梳理的过程中,对于不明确的内容需要反复进行沟通确认,明确具体的需求点和业务点,保证最后完成的需求符合客户的预期,才能保证最终项目落地的效果。在需求调研的过程中,需要输出需求规格说明书,并且作为蓝图阶段等交付材料,在蓝图阶段需要对需求进行确认,并且需要客户方关键用户进行签字确认,保证双方达成一致,避免后续出现实施效果无法满足需求的情况。
作为实施方项目经理,沟通交互是一项非常重要的工作,需要高频和客户方、系统厂商进行沟通交互, 对项目需求、业务、场景等内容进行确认 ,以及实际业务进行需求的梳理,同时将需求和产品功能匹配,对于不满足的功能进行反馈优化。对于数据分析项目,在项目实施的过程中,要尽量协调客户方人员参与到项目中,通过参与项目一方面了解项目的进度、协调相关资源,另一方面也是学习产品的过程,保证后续客户方可以根据业务需要,自行配置平台功能,实现数据加工汇聚与可视化分析。
项目实施
项目实施阶段主要是根据前期需求和蓝图确认的内容,推进项目内容的实施落地,在实施过程中,除了需要把握项目的进度和风险,还需要关注实施内容和边界。
1.明确边界
在项目蓝图阶段,需要根据需求制定明确的实施计划,并且进行计划分解,分解到具体人天,在实施过程中需要按照计划进行实施推进,进行过程中严格监控项目进度,如果出现计划偏差,要及时确认原因,进行问题处理,保证项目进度。在确认需求的过程中,要对数据分析的主题、指标、报表等内容进行明确,实施过程中按照前期规划进行推进,控制实施边界,避免计划外的工作,如果明确需要进行计划外工作,要及时进行变更确认。
2.标准建立
对于数据分析项目,为了保证项目的顺利推进,提高交付效率,同时也为了便于后续交付给客户,在前期规划以及实施过程中,要形成一套统一的标准,这个标准包括了数据标准和实施标准。
数据标准主要是业务主题、业务指标、分析主题、分析看板等内容的标准 ,包括主题的规划、指标的规划、分析展现的方式等,并且需要保证这个具备通用性和扩展性,能支撑后续业务的变化和升级,能基于标准不断深化,增加更多的业务主题、指标的分析。
实施标准主要是指数据分析的建设过程,因为数据分析属于一项长期的、不断迭代的更新的工作,而对于实施团队而言数据分析项目具有周期性,所以项目结束后的工作一定要移交给客户方,所以需要一套标准的、行之有效的建设标准,包括源头系统、ODS库、数仓、集成流程、分析模型、展现配置等,保证客户方后续可以自行进行数仓的建设以及分析配置。
3.人员培训
培训工作是项目实施过程中一项非常重要的工作,培训不单单是将实施的内容介绍给客户,更要让客户理解、熟悉项目的内容,在培训过程中,项目团队成员可以对实施的内容进行不断地复盘梳理, 加强对业务、场景的了解 。同时通过培训让客户方人员可以掌握平台的日常使用与维护,能够真正通过平台支撑日常业务。
数据分析项目尤其强调培训,而且更多的是要让客户方参与到项目过程中,在实施过程中培训,在分析业务、主题、指标的过程中,也让客户更加了解自己的业务,掌握分析梳理的思路和方法,掌握平台功能的使用,这样后期客户方才能自行进行数仓的升级建设,以及分析主题、分析指标的建设,发挥数据分析的价值,支撑业务的不断升级。
总结分析
数据分析项目也是目前数通畅联的方案之一,但在实际项目中,为了保证数仓建设的完备性、数据的准确性,以及与业务的深度结合,往往会 结合基础数据平台形成数据中台方案 ,在数据分析的基础上,延展主数据治理、业务集成等场景。而对于实施项目经理而言,全面掌握综合性的解决方案,才能更好地带领团队完成项目建设。
1.培训方案
由于数据分析方案需要深入到业务中,所以对于项目经理的培训,除了需要结合产品、样例、POC等内容了解具体场景、建设模式外,也需要了解之前实施过的同类项目,通过项目的类比和分析,不断了解不同行业、不同业务的主题、指标体系建设方式,在后续项目实施、售前等过程中,可以结合客户的实际业务,快速为客户提供常用的主题指标,引导客户,体现产品方案和实施团队的专业性。
2.培训体系
培训体系的建立不可能一蹴而就,而是一个不断迭代、不断优化的过程,是许多人、团队、经验不断积累、不断磨合、去芜存菁的结果,一旦建立一套比较全面、精准的培训体系,不仅可以促进团队和人员的成长,同时可以将个人能力的提升和企业的发展相结合,相互促进、相互提升。项目经理、项目团队的培训,需要从 产品、方案、业务、管理 等多个层面出发,通过学习产品掌握产品的使用以及典型场景;通过产品组合形成方案,了解具体的业务,结合业务分析产品的应用和价值;再通过参与项目了解真实的业务逻辑,以及和产品、方案的结合,分析具体的落地效果;通过参与多个项目了解项目的管理过程,强化对项目的理解,提升管理能力。
3.意识形态
对于数据分析项目经理培养,方案和体系固然重要,但是个人的能力模型、意识形态也是非常重要的一部分,方案和体系只能保证将项目经理需要的技能和知识传递下去。但是对于个人而言,要有提升意识和想法,能够将方案和体系提供的知识真正转换为自身的技能,化为己用、推陈出新,才能真正成为一名合格的项目经理,才能带领团队实现项目的有效落地,为个人、为团队带来价值。
培养项目经理也好,培养团队也好,通过方案、体系将知识传递下去,更重要的是保证被培训人员能够真正吸收这些知识,而 最好的确认方式就是考核体系 ,所以在培训体系中一定要有考核机制,要对培训的内容进行考核,考核被培训人对相关相关的知识的掌握程度,根据考核结果再进一步安排培训计划,从而达到不断迭代、不断提升的目的,培养出合格的数据分析项目经理,保证数据分析项目的有效落地,真正为客户带来价值。
本文由 原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~