10个步骤以切穿所述数据管理的复杂性

许多数据驱动型企业都在寻求自己的客户数据,这往往是孤立和割裂的单一视图。

思想库

现代企业是数据驱动的。快速获取和根据信息采取行动的能力已经成为一个关键的竞争优势。但是业务数据常常是孤立的、分散的。为了从您的信息中获得竞争优势,您需要数据的单一视图。

目前,大多数组织都有管理自己的数据,一个通常涉及变结构,摄食和改造,装载的多个数据源到操作数据库,并支持那些需要数据的业务应用程序的复杂过程。Analytics(分析),商业智能(BI)和报告工具需要访问数据,这通常需要一个单独的数据仓库或数据湖。这些层都需要遵守安全协议,信息管理标准和其他操作要求。

很多时候,这种复杂性的结果是信息成为孤岛搁浅。系统内置于处理当下的需求,而不是精心设计到现有的应用程序的状态,或服务需要额外的属性,以支持新的功能。新的数据源积累因业务并购。在单个业务实体信息,如客户,在十几个不同的和断开的地方卷起。

5方法 MongoDB

(点击图片放大。)

“我们知道数据就在我们身边,”垫保持在MongoDB的产品和市场分析主管,公司开源背后说,同一名称的NoSQL的面向文档的数据库。“这是每年都在增长在40%至50%。移动,网络,传感器数据,社交网络,把所有的数据到日益成为一个优先的单一视图。这是非常复杂的,往往在孤岛,很少一致,也很难采取行动。公司一直试图建立了很长一段时间的单一视图“。

帮助组织那里,MongoDB的开发了10步的方法用于传送数据的单一视图,基于从客户合作来之不易的经验。

步骤1:定义项目范围和赞助

1个单视图中定义 MongoDB

(点击图片放大。)

客户经常接近单一视图项目非常雄心勃勃的计划,继续说。这是很好的有一个设想,但它通常是由规划做起,把每一块客户数据从每一个你的系统,你必须拉进你的单一视图一个错误。

“我们所发现的是试图煮沸整个海洋,试图让每一块数据,在该项目的第一阶段是一个很大的要求,”他说。“我们所发现的最成功的是把重点放在一个单一的业务问题。”

也许你想缩短平均解决时间(MTTR)为您的呼叫中心。缩小你的项目特定目标的范围将使它更简单,以确定最相关的成功的数据。

“你真的应该走在运行之前,”继续说。“开始与具有定义,你可以从中提取数据的集合和定义的一组目标,这样你就可以衡量成功的一个特定的业务问题。”

这也将帮助您确定谁从中受益的关键利益相关者。他们将无法运行该项目一天到一天,但他们可以帮助获得必要的资源,以确保项目的成功。

步骤2:识别数据消费者

2单一视图的用例 MongoDB

(点击图片放大。)

一旦你确定你正在试图解决的业务问题,下一步是了解数据的单一视图,你要创建的消费者。为了得到正确的需求,你需要了解他们是谁,他们是如何工作的,你可以最终如何使他们的工作更加简单。

“你必须阻止一些时间和他们在一起,”守说。“观察。他们如何实际查询数据?它是一个文本搜索?通过客户ID的查找?你不能overengineer这一点,你不能获得足够的数据。”

例如,继续说,MongoDB的帮助保险公司大都会得到一个单一的视图和运行其呼叫中心的代表。观察表明公司的呼叫中心代表不得不在多达15米不同的屏幕导航来回答常见的客户问题。通过观看正是他们在做一天到一天 - 的问题,他们回答客户和什么了达到这些问题的答案 - 大都会人寿和MongoDB能够建立一些简单得多。

步骤3:确定数据生产者

3的挑战 MongoDB

(点击图片放大。)

第三步,往往与步骤2共生,是确定生成您需要为您的项目中的数据的数据源。

“这可能意味着建立新的数据源,但往往存在数据时,”继续说。“这是知道的事它在哪里以及如何获得它,它可能意味着修改现有的应用程序赶上一个新的属性,或数字化的东西,这在以前的手册。”

与步骤2一样,这一步将帮助您确定正确的需求。

步骤4:任命数据管家

该方法的前面的步骤包含您的单一视图项目的发现阶段。他们关于创造的需求的框架。第4步,你任命负责在源系统中的数据的数据管理员进入开发阶段。您的数据管理员将在兼具创造您的单一视图项目及日常维护的关键球员。

“他们通常拥有在步骤2或3中发现的数据源,”Keep说。“他们知道数据存在哪些表中,如何格式化数据,如何提取数据。他们知道是否有一种干净的方式在不中断核心数据系统的情况下获取数据。”

步骤5:开发所述单个视图模型

这一关键步骤将支配接下来的所有事情,但要记住,如果你已经成功地完成了最初的前期发现,它就不那么可怕了。确定数据的类型、它位于何处以及您需要如何查询它。

“在这里,我们不妨来看看什么样的数据是必需的,哪些是可选的,”继续说。“对于你的应用程序,电子邮件地址,生日和信用卡号码的日期可能是强制性的。社交媒体帐户可能是可选的。然后弄清楚如何进行索引数据的需求。这是怎么回事,加快了消费应用程序会查询想运行。这是一个灵活的数据模型的数据库非常,非常有帮助。我们并不需要知道所有的可选字段是,我们可以添加他们,因为我们走。我们只是需要强制性的数据。”

步骤6:数据加载和标准化

6成熟度模型 MongoDB

(点击图片放大。)

一旦你有你的单一视图的数据模型的地方,你需要定义你想怎么说单一视图中表示的数据。你需要的属性,你捕捉到设计中常见的字段名。你的各种数据源的不同可能捕获“DOB”,“出生日期”和“生日”。你需要标准化这些字段名称。

“在第二阶段六,其实我们做的是确保我们从我们的源系统,因此它匹配这个标准化改造中的所有数据,”继续说。“它从初始数据加载”。

“在初始负载,您已经有了一个空单视图数据库,您从源系统中的所有数据拉动,以使其符合你定义的要求,”他补充道。“那么,你会捕捉更新您的单一视图。你可以这样做,在批,但我们现在看到的更常见的是,他们希望有一个更清新视图。对于这一点,[阿帕奇]卡夫卡现在很流行,它提供数据的接近实时的版本。这就是我们所说的增量加载。”

第七步:匹配、合并和调和

即使你在上一步标准化你的数据,你需要使用算法来找出其中的记录基于源系统不用排队。例如,商务旅行的应用程序可以借鉴引用记录“保持垫”,“先生保持”和‘马修保留。’您的单一视图的应用需求相匹配,合并和协调这些记录。

“这真的是最艰难的阶段之一,”Keep说。“我必须告诉它,我是同一个人来得到我的分数。这就是匹配和合并的用武之地。您可以使用唯一的标识符,如信用卡号码:在这些字段上搜索,以确定是同一个人。如果没有规范数据,或者出现了排版错误,则需要捕获文件属性。您可以将具有相似属性的记录聚集在一起,并开始决定这是否是同一个人。你可以使用工具来自动化这个过程。”

机器学习可能在这里发挥作用。

第8步:建筑设计

体系结构设计步骤标志着单视图项目部署阶段的开始。

“这是怎么了我们身体去部署,”继续说。“这是关于确保底层系统满足性能目标和系统的可用性和安全性的目标。”

在此步骤中,您将实现对个人身份信息(PII)适当的安全保护,使某些系统是抵御故障和中断。

步骤9:修改消耗系统

在此步骤中,您将查看使用数据的系统,并确保应用程序指向单个视图。在大多数情况下,这意味着创建RESTful api,应用程序可以从中提取数据。

步骤10:实施维护过程

没有任何业务系统是静态的。它们随着新流程的添加或bug的修复而不断变化。您可能会创建一个完美的数据模型,并且在其中一个源系统发生更改或中断之前,它将保持五天不变。这就是为什么灵活的数据模型是使单视图项目正确的关键。数据模型需要与快速变化的源系统保持同步。

“实际上,第10步是一个元步骤,”Keep说。要维护单个视图,您需要回顾前面的9个步骤并不断更新数据模型。步骤10实际上是围绕前面的过程的一个循环。您需要适当的变更管理过程,以便单个视图保持当前状态。数据管理员实际上是源系统的守护者。随着新的应用程序功能的推出,他们需要与单视图团队合作,告诉他们有关更改的信息。它应该是随需应变的;单视图团队必须随时准备适应变化,数据专员应该与开发团队密切合作。”

单视图成熟度模型

一旦你在你的腰带变得几个单一视图项目和感觉舒适的方法,就可以成为你的视野更宏大。

“这是非常诱人的,试图煮沸整个海洋,但它更有效地去同一个定义问题,”继续说。

“一旦单一视图已经证明了自己,你知道它的工作原理,得到客户在他们如何使用它更喜欢冒险,”他补充道。“他们开始写入单一视图来获得更新鲜的数据。我们有一些客户,如国际银行集团,已经采取了单一视图第一种方法。当他们需要新的功能,他们首先实现它在单一视图。当他们所做的所有更改,后端源系统,他们反复荷载到源系统“。

这个故事,“10个步骤,划破数据管理的复杂性”最初发表首席信息官

加入对网络世界的社足球竞猜app软件区Facebook的LinkedIn对最重要的话题发表评论。
有关:

版权所有©2017年足球竞彩网下载

IT薪资调查:结果是