寻找关键业务数据——快速

期间，许多安全进程失败破坏目标的系统在去年的假期里，却有一个令人惊讶的发现，那就是零售商确实收到了关于系统中恶意软件的安全警报。然而，由于安全团队受到大量警报的轰炸——估计每天有数百次——它无法对这些警报进行充分的优先排序。

在安全领域和其他领域，这是许多公司在大数据时代都面临的一个问题:首要任务是从来自多个来源的大量数据中挖掘出有用的见解。他们试图在正确的时间把正确的数据发给正确的人;事实上，我们的目标是近乎实时地交付洞察力。其结果就是IT界许多人称之为“快速数据”的学科。

“我们没有一个正式的定义，”研究公司IDC的分析师Chirag Dekate说。但它涉及任何需要大量脑力和复杂算法才能从中提取数据的大数据工作量。随着数据的输入，分析数据的紧迫性使得这种需求上升。”

IDC的另一位分析师史蒂夫•康威(Steve Conway)这样解释这项挑战:“你必须摆脱一切无关的东西，而且要快。其中一些需要是实时的，比如信用卡欺诈检测。因为如果你不实时做，你就无法捕捉到。”There’s also an element of predictive analysis involved in fast data, because you can identify patterns with more recent — and thus more accurate — information.

事实上，这种需求是如此普遍，以至于从金融服务到电子商务的不同行业都出现了获取快速数据的不同方法。但每个案例的目标都是更快地利用更好的洞察力。下面我们来看看被称为“快速数据”的现象，它背后的技术，以及一些正在使用它的公司。

共生技术释放

新的数据库技术——Hadoop、NoSQL、HBase和其他技术——通过在读取数据方面提供更大的灵活性，帮助快速数据工作取得成果。Oliver Downs，首席科学家和CTOGlobys他说，这些数据库技术带来的是“当你读取数据时，而不是当你编写数据时，以可用的形式塑造数据的能力。”The result: It’s possible to analyze data sooner than it once was.

然而，不仅仅是数据库技术的进步使得快速数据成为可能。“这不是一种新型应用，”微软首席分析师托尼•贝尔(Tony Baer)表示卵子。

“我们过去称之为‘复杂事件处理’，”他补充道。但这种方法需要专有软件和昂贵的服务器，这限制了使用。相比之下，如今的一项技术，Hadoop，“是线性可扩展的，你可以扔很多硬件在它上面，并且非常有效地使用内存，”他说。再加上闪存成本更低，Baer补充道，“现在我们可以非常快速地处理数据，比I/ o束缚时做更复杂的处理。”

尽管如此，据分析人士说，快速数据涉及一些基础设施方面的考虑。对于快速数据项目，公司更可能使用Linux而不是Windows，他们更可能使用InfiniBand网络而不是传统的以太网，因为前者更快。Dekate说，那些想要更快分析的人甚至可以使用专用的FPGA芯片和网络处理器来观察网络流量。

在后端，用于理解和分析工作负载的机器将需要更密集的内存，因为它们需要关注流数据而不是存储数据。越来越多的组织正在使用高性能服务器集群来适应快速数据。正如预期的那样，鉴于对安全、风险管理和定价准确性的需求，金融服务行业的企业一直是首批接受快速数据的企业之一。但快速数据正在经济的其他许多领域站稳脚跟。

实时风险评估

西部联合电报公司最出名的是大多数50岁以下的人从未见过的东西:电报。然而，该公司现在是一家规模55亿美元的全球支付服务提供商，2013年在2.42亿笔消费者对消费者(c2c)交易和4.59亿笔商业交易中转移了约820亿美元。该公司执行副总裁兼CIO David Thompson表示，西联从174种数据源收集的数据正以每年100TB的速度增长。

这些数据源既包括内部数据源，也包括外部数据源。西联汇款与100多万“一线员工”有联系，这些员工从大公司到现金药房都有。它从大约50万个零售代理网点收集数据，并与分发制裁名单、有政治风险的个人(可能受到勒索威胁)和其他信息的政府机构交叉核实信息。

例如，当有人在美国将一大笔钱电汇到印度时，就会涉及到商业风险。西联汇款必须确定该地区是否有足够的现金来完成交易，或者是否应将收款人送到另一个地区。

这是一个客户服务问题，但也有需要注意的风险，比如潜在的欺诈。汤普森说:“如果我们意识到潜在的欺诈行为，比如虐待老人，或者我们怀疑收件人参与了骗局，我们可以实时询问发件人是否认识收件人本人。”

他说:“我们收集关于交易、发送者和接收者的信息，并用交易历史来增强这些数据。”“我们有很多活动部件，我必须实现有关交易、信用额度和国际反洗钱法规等其他政策的实时信息。”Thompson explains that in October 2012, he started putting together a system "that could respond to the needs of the business in an economical way."

它于2013年5月正式上线。Thompson使用Informatica和Tibco软件将数据源交付到一个单一的Hadoop资源库和Tableau中以便可视化。云服务提供商Cloudera托管该系统。西联起初是一个64节点的集群，但在运行9个月后升级到128节点的集群，因为“我们不断发现越来越多的业务使用，并引入了实时事务数据，”他说。

汤普森说，如果公司采用数据仓库来做同样的工作，“我们将需要大量的存储，以及分析师和技术人员来针对数据库编写SQL代码。”But because it’s folly to run live queries against production systems, the traditional method would have been to take snapshots of data every few days and run queries against those snapshots. "But it would have been expensive to keep replicating the data," he says. "With Hadoop, we have one large instance of all our data in real time, and we can run instantaneous queries without impacting the production system."

西联汇款在很多方面都有好处。“我们得到了更好的消费者保护，因为我们确保对交易进行风险评估。我们现在可以更好地调整预防欺诈的模式，这样我们的损失就更少了。”汤普森说。“最重要的是，我终于把实时信息送到了需要它的人手中。”

更快的灾难响应

灾难后的保险理赔中心就像旅游巴士驶进时的一个孤立的餐馆——之前还平静的环境很快就变得混乱不堪。而如今，客户可以通过许多不同的渠道联系到他们的保险公司，这一事实加剧了这种混乱。

“在一个典型的月，我们处理大约700件索赔，”说维尔纳·e·Kruck他是佛罗里达州奥蒙德比奇(Ormond Beach)的首席运营长安全第一个保险。“在飓风的后果中，这个数字可以在几天内上升到数万人。”

近年来,随着客户数量的联系代理或声称代表通过社交媒体开始增加,Kruck说,他越来越担心他的公司”可能有一个困难的时期(回应)的涌入社交媒体接收到的消息我们传统业务系统”以外的自然灾害。在阿拉巴马州塔斯卡卢萨遭遇龙卷风袭击后，他的担忧得到了证实。2012年10月，飓风“桑迪”(Sandy)摧毁了美国东海岸。

与许多快速数据先驱一样，安全第一保险公司意识到它需要一个定制的解决方案。因此，该公司联合开发了名为SMC4的软件，它代表“社交媒体捕获、控制、沟通和遵从”。According to Kruck, the application runs on a public cloud from business partner Integritie and incorporates IBM Enterprise Content Management and IBM FileNet.

“它将社交媒体技术和电子邮件通信集成到一个界面中，使我们公司在风暴过后帮助客户变得更容易、更快，”克鲁克说。

他说:“过去，如果我们所有的电子邮件都放在公共文件夹里，不是每个人都能看到。”“有了这个平台，他们是可见的和可搜索的。通过在组织中指定授权创建和提交响应的人员或角色，我们可以有效地控制沟通流程。”"When you’re answering email traditionally, you’re handling them in order — first in, first out," says Kruck. "But with SMC4, we can prioritize messages automatically by reading sentiment and getting a sense of urgency. Is it a routine question? Is there frustration? Profanity? We use multiple levels of customized dictionaries, and they continue to evolve."

美国红十字会(American Red Cross)最近的一项调查显示，75%受灾难影响的公民希望在3小时内得到对社交媒体信息的回应。“这成了我们客户的期望，”克鲁克说。“我们的目标是尽可能实时地做出反应。我们想让人们高兴他们是用我们而不是我们的竞争对手投保的。”

快确认

传统拍卖它为各种各样的纪念品举办在线和当面拍卖，并使用快速数据来验证每个在线拍卖参与者的身份。“我们想要的是有钱能花220万美元购买的全新客户弗朗西斯·克里克的诺贝尔奖该公司首席信息官布莱恩•希普曼(Brian Shipman)表示:“这是为了获得无摩擦的注册和投标经验。”“与此同时，我们也不希望另一个国家的9岁孩子可以匿名竞拍。”

为了解决希普曼所说的真正的威胁，遗产拍卖公司开发了一个基于各种内部和外部来源的数据和分析的威胁矩阵。至于外部来源，Heritage目前使用信用报告服务TransUnion，并计划与移动身份服务提供商TeleSign合作。

联联提供实时信用报告;TeleSign可以确定投标人的电话号码是否来自固定电话、移动电话，甚至是临时使用的“刻录”电话。竞标者必须在遗产系统上登记他们的姓名、地址和电话号码。希普曼说:“我们可以向文件中的电话号码发送包含个人识别号码的短信，以确认手机确实属于登记的人。”