研究社区容貌SDN帮助分发来自大型强子对撞机的数据

欧洲核子研究中心

当大型强子对撞机(LHC)在6月重新启动时,收集并在全球范围内分发用于研究的数据将超过LHC上次运行时交换的200 pb。网络挑战这种规模不同于一般企业面对什么,但哈维·纽曼,加州理工学院的物理学教授,一直在全球范围内的网络和计算高能物理社区在过去30年,朱利安。邦恩,主要计算加州理工学院的科学家,希望引入技术这纯净的环境,企业现在也考虑:软件定义网络(SDN)。足球竞猜app软件《网络世界》主编约翰·迪克斯最近与纽曼和邦恩一起坐下来,了解一下要求苛刻的研究网络世界和SDN的前景。

我们可以从解释你的世界里不同的玩家开始吗?

hnphotomay152015

哈维·纽曼,加州理工学院物理学教授

新MAN: My group is a high energy physics group with a focus on the Large Hadron Collider (LHC) program that is about to start data taking at a higher energy than ever before, but over the years we’ve also had responsibility for the development of international networking for our field. So we deal with many teams of users located at sites throughout the world, as well as individuals and groups that are managing data operations, and network organizations like the Energy Sciences Network, Internet2, and GEANT (in addition to the national networks in Europe and the regional networks of the United States and Brazil).

在过去12年左右的时间里,我们已经形成了将网络、计算和存储作为全球网格系统的一个活跃部分的概念,并在这方面开展了许多项目。与Internet2和ESnet等网络一起工作,我们能够使用动态电路来支持一组流或数据集传输,并给予它们优先权,同时保证一定的带宽。

所以这是做一个有用的东西,并且它被用来在一定程度上。但这种方法并不普及在不是每个人都可以切片了网络成片,并指定自己的带宽保证。然后你面对他们用他们保留的带宽如何的问题,以及我们是否会更好分配大数据使用共享通用网络流向片或只是做的事情在一个更传统的方式。

所以我想这就是人们对SDN感兴趣的原因吧?

朱利安

Julian Bunn,加州理工学院首席计算科学家

SDN发生了几件事。我们看到了在网络端拦截选定的数据包集的可能性,并将流规则分配给它们,这样我们就不必与应用程序进行太多的交互。有一些交互,但不是很广泛,这允许我们识别某些流,而不需要以任何普遍的方式改变许多应用程序。另一件事是,除了电路之外,您还有不同种类的流来实现负载平衡,并且您希望防止基础设施的任何部分被饱和。换句话说,我们想要一种机制,这样我们的社区就可以在不妨碍其他人的情况下处理这些大流量。最后,一旦基本机制就位,我们想要应用机器学习方法来优化LHC实验的分布式数据分析操作。

在过去的一两年中,大多数先进的研究和教育网络已经完成了从10gb /s (Gbps)到100gbps的过渡;所以人们会说,“哇,现在你有很多带宽了。“但是在我们这个领域的实验室和大学团队已经部署了存储pb级数据的设施,以及数量非常大的服务器,这些服务器正在从1 Gbps移动到10 Gbps,在某些情况下还会有40 Gbps的网络接口。100 Gbps的接口预计在未来几个月,所以随着核心网络的发展,在边缘的能力发展得更快,所以这是一个真正的问题。

您是否考虑在特定的研究网络上使用SDN,或者尝试在它们的范围内实现功能?

纽曼:有一个项目叫做LHC开放网络环境(LHCONE),它最初是为了帮助涉及多个中心的运作。不过,为了理解这一点,我必须解释数据和计算设施的结构。

LHC计算模型最初是一个层次图,其中包括一组“分层”设施。我们称欧洲核子研究中心为“第0层”,在那里,LHC采集的数据首先被分析。现在有13个一级中心,它们是主要的国家计算中心,包括美国的费米国家加速器实验室(Fermilab)和布鲁克黑文国家实验室(BNL)。

世界上还有160多个所谓的二级中心,在大学和其他实验室里,每个中心服务于像美国这样的大国的一个地区,或者在某些情况下,它们服务于整个国家。2020欧洲杯夺冠热门然后每个物理组都有一个所谓的Tier3集群,大约有300个这样的集群。所有这些设施都通过上述的研究和教育网络相互连接。

美国主要参与了LHC两个最大的实验。我研究的这个叫做CMS,是紧凑介子螺线管的简称(CMS),这是由费米实验室提供服务,我们的竞争实验被称为ATLAS,由BNL提供。

CMS和ATLAS是多用途粒子物理实验,探索物质和自然力量的最基本组成部分。2012年,他们都发现了希格斯玻色子,该玻色子被认为是宇宙质量的来源。随着大型强子对撞机的重启,更高的能量和亮度(强度),我们期待更大的物理学发现,超越体现我们现有知识的粒子物理学标准模型。

大学与一级中心的联系主要通过互联网和区域网络。举个例子,我在加州理工学院,我们与Internet2和CENIC合作,后者是加州地区网络。

所以大型强子对撞机上的实验是数据来源,而网络被用来把这些数据分发给用户进行分析?

对。数据采取的实验,处理首次在欧洲核子研究中心,然后由数百物理学队通过一种星形网络与进一步处理和分析一些专用交联发给一级中心。一旦数据在一级1S它可以进一步分配给层2秒和Tier 3S,并且一旦在那里,任何站点可以充当数据源将被访问,或转移到另一个站点,用于进一步分析。要认识到,实验的软件的基础上,每个包括数百万行的代码是很重要的,正在持续发展为物理团提高它们的算法和他们的理解,并用于获取数据的粒子检测系统的校准,与优化,从“背景”分离出新的物理学“信号”的目标,从物理处理的结果我们已经明白了。

从CERN到Tier 1的数据分布相对简单,但是在世界各地站点的Tier 2和Tier 3之间的数据分布比较复杂。这就是为什么我们在2010年与欧洲核子研究中心一起发明了LHCONE的概念:改进涉及2级和3级站点的操作,并允许它们更好地利用它们的计算和存储资源,以加速LHC项目的进展。

理解,和水平的挑战,你必须意识到超过200 pb的数据交换在LHC网站在过去的一年,甚至可能是更大的数据传输量一旦下一轮数据从大型强子对撞机今年6月开始。

这是在做LHCONE的第一件事是建立一个虚拟路由和转发面料(多联机)。这是由所有的研究和教育网络,包括Internet2的,ESnet,GEANT提出并实现的东西,和一些在欧洲和亚洲领先的全国性网络,即将由拉丁美洲加入。

这确实改善了可及性。我们可以看到数据流已经得到了改善。这是一项非常复杂的工作,而且很难扩展,因为我们有所有这些特殊的路由表。但是现在LHCONE的下一个部分,也是最初的想法,是一组点对点的电路。

你们还记得我讲过动态电路和给有带宽保证的电路分配流量。我们在加州理工学院的团队中的一名成员与普林斯顿的一名同事一起开发了一个应用程序,该应用程序在LHCONE上建立一个电路,然后将一个数据集传输(包含许多文件,通常总计从1tb到100tb)到这个电路。

ESnet的动态电路已经运行了很长一段时间,被称为奥斯卡奖。有一个新兴的标准是由开放网格论坛NSI推动的,我们将把NSI与应用程序集成在一起,这是LAT的一个即将到来的里程碑。

有人可能会问,“是什么决定了全球大型强子对撞机数据操作的可行规模?”“两个方面是存储的数据,这是数百拍字节,并以很快将达到1eb的速度增长,第二个主要因素是跨网络、跨大陆和跨海洋发送数据的能力。

一个场地,以解决第二个因素,并显示在利用技术的多代是超级计算大会以低成本来传输数据的PB级的许多能力年与年的进步。这是一个自然的地方,使我们的网络传输应用的努力,先进的网络交换和服务器系统和软件定义网络架构的状态一起,在一个密集的锻炼,每周跨越从设置到拆卸。

加州理工学院和它的合作伙伴,尤其是美国密歇根州范德比尔特,维多利亚和美国高能物理实验室(费米实验室和BNL),FIU,欧洲核子研究中心,以及其他大学和实验室的合作伙伴,与合作伙伴上面提到的网络一起,定义了技术状态(近)每年自2002年以来作为我们的高速数据传输的探索从10 Gbps的攀升到100 Gbps的,最近,数百Gbps的的。

超级计算2014年大赛举办的规模最大,最多样化的运动呢,确定在若干领域的技术状态。我们建立了一个总的加州理工学院,NITRD / iCAIR和范德堡亭间24个100Gbps的链路的T比特/秒环,使用光学设备从被Padtec of,一家巴西公司,和从织锦二层开放流能力的交换设备(完全填充MLXe16)和Extreme网络。

我们还与密歇根州的展位超过100 Gbps的专用链接,我们有四个100 Gbps的广域网链路连接到美国,欧洲和拉丁美洲的远程站点上ESnet,Internet2的,与巴西国家和区域网络RNP和ANSP。

除了网络之外,我们还构建了一个紧凑的数据中心,使用Echostreams和Intel的最先进的服务器,具有2020欧洲杯预赛40 Gbps的接口和希捷和Intel的数百个ssd,能够实现非常高的吞吐量。

除了第1层的高吞吐量和动态变化之外,最主要的事情之一就是能够显示对大型数据流的软件定义的网络控制。这就是OpenFlow控制器的作用,它主要由Julian编写。

我们展示了动态电路在这个复杂的网络,智能网络路径选择使用各种算法使用朱利安的OpenDaylight控制器,控制器的能力,对底层光网络拓扑结构的变化,由一个SDN图层1控制器驱动写的巴西坎皮纳斯大学的团队。

设置完毕后,我们很快就通过广域网实现对会议楼,约400 Gbps的超过1 Tbps的。整个工厂成立时,所有的SDN相关方面的操作上面提到的,和拆除,并在短短超过一周激烈打包装运。

这次演习是一个巨大的成功,而且我们希望将显示对被智能管理和高效的飞行配置的新一代超大规模的全球系统的方式。我们正在取得良好进展,并期望从测试到预生产去,我们希望投入生产,在未来一年左右的时间。

超级计算机在2014年之后,我们建立了一个试验台和Julian已开始将工作与许多不同的SDN技术的交换机,包括加州理工学院博科SDN启用,MLXe路由器和其他地方进行切换。因此,我们正在取得进展,我们期望从测试到预生产去,我们希望投入生产,在未来一年左右的时间。

这是一个持续发展的努力只是一个周期,跟上不断扩大的需要,并在最新技术的极限工作和发展的如何处理数据在每个区域大规模的新概念。其中一个目标是大型强子对撞机,但在天体物理学,气候学和基因组学等项目,除其他外,可以毫无疑问,从我们目前的事态发展中获益。

因此,所有这些努力的目标是让用户使用SDN建立大流量?

相关:
12 第1页
第1页共2页
工资调查:结果在