主数据管理成功实施并非简单任务需要选择正确范围方法,并克服数据整合等多项障碍,如数据质量、数据从不同源归并和保持不同业务单元数据一致性文章详细探讨其中一些挑战, 深入了解如何有效管理这些挑战, 以确保MDM策略最有价值

深入解析复杂MDM之前, 关键是要先建立对概念本身的扎实理解, 理解不同的商家如何拆分自己, 并探索各种策略整合主数据之后,我们将用并存风格检验实例

导 言

MDM综合定义和管理组织关键数据提供全企业单一统一数据视图,创建权威源支持运营商务应用和分析下游消费者MDM的重要性怎么强调都不过分网络在提高数据质量、减少前后不一性以及促进更好决策方面发挥着重要作用。此外,它便于对关键数据实体(如客户、产品、供应商等)有一个全局性透视,从而提高操作效率,为战略规划提供有见解分析

MDM商贩从几个方面与他人有区别部分在数据整合方面优异与许多本地箱外连接器,而另一些则可能更多侧重于数据质量和治理,包括生命周期管理问题使用工作流程、进度仪表板、通知服务等其他人则可能通过人工智能机器学习方法提高匹配和合并过程确定范围和业务目标后执行MDM

MDM进程本身:管理主数据有不同的挑战Gartner领先研究咨询公司提出了MDM四种风格或方法,即:合并、注册、共存和集中化归并风格包括从各种源收集主数据并存中央MDM系统注册样式链接源码系统并索引主数据并发式组合合并式和注册式两个元素,集中式样式则从MDM系统推导主数据回源系统

最复杂的MDM风格为并存风格,这是一种混合方法,合并注册风格提供灵活有效解决办法,维护主数据中心点,同时允许数据在原源系统并存

讨论现实生存风格实例

主体数据管理中的共生模式包含在内,特别是在整合方面。实时样式实例可见于下图,该图包括多源系统

表示式架构中MDM用于创建独有客户数据统一视图,其中包括主标识符分配进程只能集中完成,系统内部不能局部完成因此,它要求不同源系统客户数据归并MDM系统(反映归并风格)。使用此方法MDM系统还保持连接分支系统原创数据(反映注册样式)。

数据集成MDM任务非常复杂不可低估.多组织常有各种源系统,每个系统都有自己的数据结构与格式系统范围从商业CRM或ERP系统到定制遗留软件不等,所有软件都可能使用不同的数据模型、定义和标准此外,组织往往希望MDM系统与源系统实现实时或近实时同步源系统的任何变化均需立即反映MDM系统,以确保数据精度和一致性

本地连接器从MDM系统读取操作系统数据可提供多项好处,如易集成性上方图像底部插图选择本地连接器或定制连接器主要取决于你的具体需求、数据复杂性、整合系统以及MDM系统能力下一节讨论整合的几个方面

批处理MDM

MDM系统批处理通常包含提取、处理和集成步骤,如上图所示关于这些活动,大多数供应商提供一定程度的适配性,即使用预配置或标准数据模型处理客户、产品或供应商数据等概念数据映射活动的复杂性,作为全抽取变换加载进程的一部分,不应因每个组织数据的多样性、复杂性和独特性而被低估。

ETL在MDM内使用是一个比较细微概念批处理模式中,你并不总是限制使用ETL服务MDM系统提供举个例子,您可选择使用自己的ETL工具或服务,或具体数据整合需要复杂化或定制化处理时使用ETL工具或服务或处理数据时非专供MDM系统使用数据加载MDM系统前 许多组织使用Lakehouse架构处理数据讨论参考数据管理时再谈

实时同步

企业即时同步通常使用各种模式组合

• 事件驱动方法:该方法涉及设置事件监听器或源码系统触发器举例说,客户更新CRM运地址时,改变事件记录并发送MDM系统MDM系统即时向所有其他系统传播变化
• API整合:现代MDM系统常带应用编程界面,可用于读写数据源码系统可实时调用这些API系统随时更新MDM系统,反之亦然
• 消息队列系统可用修改发送成消息队列并近实时处理MDM系统

注意实时数据映射和变换对MDM至关重要,以确保不同源数据合并成单一、一致和准确视图不同的系统使用各种格式结构相同数据不同举个例子, 系统使用全名单字段发布事件, 另一系统则拆成名名和姓

实时同步表示数据必须实时或近实时转换来反射例子架构中发生的事情 上方图像显示员工注册新客户微软动态365,触发事件或电源自动流客户事件记录并发送事件处理服务服务函数接收客户事件时触发函数转换输入客户数据(例如地址识别码、关系识别码、时间戳)为更实用格式(例如地址细节、关系信息、注册日期),例如用其他服务数据丰富数据变换数据发交MDM系统进一步处理并实时匹配合并

从MDM系统向操作系统实时或近实时传输信息过程以类似方式操作事件可触发或API可引用并视源系统与MDM系统之间的差异和不匹配而定,可能有必要再采取一系列变换步骤信息回转通常合并校正数据、主标识符(识别MDM数据库记录的独特密钥)和丰富数据,如层次或关系信息必须指出实际过程比这里描述的复杂典型业务流程往往需要额外验证步骤才能在操作系统内处理校正数据

多MDM解决方案既能管理参考数据,又能管理主数据,我建议明确划分如何管理这两个方法,特别是在大尺度环境内管理这两个方法。参考数据数据用于定义、分类、组织、分组或分类其他数据(或值层次划分,如产品和地理层次划分关系)。主数据反之,核心数据对企业绝对重要每种类型通常管理方式不同,并配之自有数据分配方法

管理引用数据

与主数据不同,参考数据可以在单个域内管理为了确保跨域参考数据一致性,关键是要引导团队同步数据分发过程与中央管理参考数据货币代码、国家代码和产品代码是应提供参考数据常见例子。数据可发布于中央主数据管理系统任意域向别域分发数据时,应使用企业参考数据标识对数据分类本地数据映射企业数据允许其他领域快速识别主数据

当然,如果域将本地引用数据映射为集中管理引用数据,则需要确切知道应映射到什么-例如,国家代码a2代码(如US)和数值值a

替代方式是提供中央MDM服务,以便域能管理MDM解决方案内本地对企业映射在此例中,每次发布数据时,后处理活动将运行检查前后不一致性并用企业参考数据丰富数据产品这种方法可能需要更多工作前端实施,但消除了在所有相关域内构建解决方案的必要性并保证质量提高,因为映射由中央验证

可使用两种方法并发参考数据即,有些域可能自己绘制地图,而另一些域则依赖集中管理服务在这种情况下,中央治理机构应监督企业参考数据管理,以确保实现标准化、质量和业务效率目标

请求域数据与中心引用数据相匹配时,有各种不同的方法可供使用。选项之一是提供中央MDM服务,以便域能发现、理解、选择和集成企业参考值构建数据集,即数据产品举例说,你可能有数据目录引用中心存储账户,所有引用数据都托管使用此方法,域本身执行映射活动,使用同步企业引用数据副本查找参考值后分发数据产品

结论

多益多益多益多益多益多参多维范围从数据标准化问题到整合不同源系统的复杂性以及MDM系统与源系统持续同步的必要性不等。然而,有了正确的策略、工具和管理框架,这些挑战可以得到有效管理,使MDM成为数据管理全局中强大的资产

博客文章中相当大一部分内容取自书中 "数据管理比例读者有兴趣深入理解主数据管理及其相关挑战,我强烈推荐自己查一查