要知道你什么时候受到攻击,或者你的安全系统什么时候已经被攻破并不容易。如果您能够检测到漏洞,那么您可能会在短短10天内发现它,但一项又一项的调查发现,被业务之外的人检测到的漏洞通常需要100多天才能发现。
首先,在电子商务、公司网站、电子邮件、手机用户和海外部门之间,你的公司全天候营业;然而,您的IT安全团队可能在业务时间工作。根据威瑞森2015年数据泄露调查报告,60%的攻击者都是通过这种方式在几分钟内对一个组织进行攻击的。但只有三分之一的企业能在几天内发现漏洞。
在思科的2016年年度安全报告中,不到一半的受访企业有信心检测到网络泄露的范围,并在之后进行清理。黑客经常使用自动化——从僵尸网络上运行的分布式拒绝服务攻击,到利用工具包来帮助他们改变恶意软件——因此更难检测。
机器学习可以帮助你更快地检测攻击并更快地处理它们吗?
有一些雄心勃勃的项目使用了机器学习。Deep Instinct正试图利用深度学习来绘制恶意软件的行为,这样它的设备就可以实时检测到攻击,可靠到足以取代防火墙。更现实的是,也许Splunk正在将机器学习添加到其日志分析系统中,以使用行为分析来检测攻击和漏洞。
“大多数组织都缺乏可见度;如果你看不到它,你就无法保护它。我们可以探测到异常值,”Splunk的Matthias Maier解释道。“我们总结具有相似行为的相似用户,然后将其展示出来,如果有一个一直行为相似但现在行为不同的异常用户呢?这是你想要看到的异常现象。”
Splunk可以分析用户、电脑、IP地址、数据文件和应用程序的异常行为,而且你不需要聘请机器学习专家。迈尔说:“我们有很多现成的东西。”“大多数组织都没有能力自己开发这一技术。”早期的采用者包括约翰·刘易斯和阿玛尼的零售店。
[相关:人工智能能解决信息过载吗?]
仅仅检测异常仍然会给你留下大量的数据。一个大型组织每天可能会看到数千个异常情况,所以Splunk使用进一步的分析来保持其可管理性。Maier预计该工具每天会显示5到10个威胁,足够详细地说明发生了什么(避免当他们发现真正的漏洞时,嘈杂或过于复杂的警报系统被忽略的问题)。
“我们对(袭击)的‘杀戮链’有了全面了解。我们向安全组织提供信息,从妥协点——攻击者何时进入,最初的攻击矢量是什么,他们在这个环境中何时扩展,他们连接了哪些其他文件、服务器或用户帐户?——然后是他们发送数据的外流阶段……从所有这些异常情况和单个数据点,我们创建了一个完整的画面,并以每个安全分析师都能理解的方式呈现出来。”
你也可以使用Splunk中的机器学习功能来进行更智能的操作和监控,比如让你的网站提醒你它将需要更多的带宽,因为在负载导致问题之前,需求正在增加,扩展Splunk的常见分析选项。但在安全方面,Maier说,“我们专注于提供全面的解决方案:检测内部欺诈,或检测使用有效凭证的外部攻击。”
分析,但也建议
微软的高级威胁分析工具(基于其收购的Aorato)结合了类似的机器学习方法-学习实体,如用户帐户和设备从Active Directory,网络流量和您的安全信息和事件管理(SIEM)系统,然后分析他们的正常行为来进行行为分析——但也会检测出攻击时间线中出现的可疑活动,并提供处理该问题的建议。
“我们分析所有的Active Directory数据,所有进出域控制器的自然流量,”微软的Anders Vinberg说。“你可以伪造很多东西,但不能伪造自然流量。我们建立了一个图表,显示你与哪些设备互动,你访问哪些资源。我们开始学习正常行为,一旦我们学会了,我们就会开始提醒你。”该系统还会设置陷阱来误导攻击者。
ATA主要关注三种可疑活动。第一种是导致网络安全风险的错误和错误配置。“这些安全问题让攻击者的生活变得更容易,比如在网络上使用明文密码,”Vinberg说。它还可以实时检测常见的攻击,包括通常用于从网络中的一个系统移动到另一个系统的Pass-the-Ticket和Pass-the-Hash攻击。
第三个领域是机器学习。“我们发现异常行为。总是会有新的恶意软件,总是会有新的攻击……但每一个攻击都会表现为异常行为,因为帐户在网络中的行为与普通用户的行为不同,”他解释道。
你不必在自己的网络上运行机器学习来获得保护。事实上,像Azure AD这样的云服务能够帮助您保护身份和用户登录,而这在您自己的组织中是做不到的。保护个人用户是阻止网络攻击者的关键;几乎所有的数据泄露都是从合法的证书被窃取或网络钓鱼开始的。内部威胁不再是来自公司内部。
“我们正在使用巨大的机器学习系统和世界一流的技术来保护微软的所有身份,”微软身份、安全和保护小组的Alex Weinart指出。这包括Azure Active Directory、微软账户系统和Skype。因为我们拥有世界上最大的邮件系统之一,我们成为了大量的目标。每次攻击都会经过我们的大门;他们会和谷歌对抗,但他们也会和我们对抗。”
由于人们不善于记住密码,这些攻击不仅仅暴露了微软系统的密码。“如果有人拿到了你的证书,我们会看到的;我们可以很早就看到被破坏的证书。如果你的一名员工重复使用了他们的工作证书,在购物网站上建立了一个账户,而这个账户被攻破了,坏人就会拿我们来测试它是否有效,”Weinert解释道。“在这种情况下,在那些证书被用来指控你的公司之前,我们可以说,这些证书已经失效,你应该去保护那个人。”
一种疯狂的方法
微软还可以看到攻击者使用的方法。Weinert说:“无论是在消费者领域还是企业领域,我们都能从微妙的层面上看到攻击来自哪里,以及攻击的形式。”“坏人的适应性意味着,昨天重要的事情今天可能不重要。在企业领域,没有人有我们可以学习的规模。”
这一数据相当于每天数十兆兆字节,有130亿笔登录交易,这为微软的机器学习系统提供了素材,以跟上最新的攻击。大量的数据只是构建这样一个系统所需要的一部分。根据Weinert的说法,“一个相对复杂和训练有素的机器学习系统需要数年的时间,你还需要一些专家级的人类监督来检查是否有什么系统没有捕捉到的东西。”
这很重要,因为这不仅仅是发现模式并在以后警告你。正如韦纳特所指出的,“目标是保护,而不是补救。”很多机器学习系统都能检测出发生了什么。我们的首要目标是阻止攻击通过,所以我们正在训练我们的保护系统。我们每天都了解最新攻击模式的细微差别,然后使用该系统在我们的前端服务器上生成代码,对发生的一切进行评分。”这个分数使用了大约100个因素,从浏览器用户代理字符串到一天中的时间。
[相关:企业中谁负责人工智能?]
分数低意味着登录被阻止或开启该帐户的多因素认证。你可能会看到假阳性,合法用户受到挑战,但是。维内特认为这是不太可能比传统的系统建立在行为理论可能会阻止您的帐户,因为桌面PC你留在办公室里仍然是连接(也可能是写文件时备份),因为系统可以得知你旅行,从另一个电脑在另一个登录的位置。
他认为,造成影响的不仅仅是数据的规模。“作为人类,我们希望相信自己的直觉是正确的,我们非常依恋我们的理论,但机器学习不在乎。即使某样东西在今天是一个强烈的信号,如果它过时了,系统完全愿意抛弃它,选择一个新的模式。它适应的是真正导致妥协的现实,而不是我们的怀疑或假设。因此,我们的精准度——即我们将目标锁定为坏人的次数——非常高。”
Azure AD Premium(或微软的企业移动套件)中的报告会让你知道机器学习系统何时检测到你的证书被暴露。“很快,我们将以一种基于政策的方式提供这一服务,”韦纳特说,“这样你就可以要求系统为你的利益采取行动,而不是你必须及时收到报告。”泄露凭证,密码破解,我们可以检测到所有这些模式因为坏人正在大规模攻击。机器学习可以超越这些人,所以我们给企业带来了真正的保护,而不仅仅是检测。”
在某种程度上,你可以期待Azure AD和ATA中的机器学习系统开始协同工作。微软的Alex Simons指出:“Active Directory是数据收集和分析的重要纽带,因为基本上每个应用程序的使用最终都会以某种方式通过目录。”“我们的部分愿景是,将我们在云中收集的所有数据,与我们正在收集的数据结合起来,将这些数据源整合在一起。”
无论你是考虑内部系统还是云系统,都应该认真对待机器学习安全系统;因为尽管现在情况很糟糕,但要想领先于黑客将变得更加困难。韦纳特警告说:“我们现在看到,犯罪分子开始自己投资机器学习系统。”
这篇题为“你能给人工智能多少安全保障?”的文章最初发表于首席信息官 .