要支持LinkedIn在全球范围内的4.67亿会员需要付出巨大的努力，尤其是考虑到每个会员都在获得个性化的体验，一个只包含他们联系人的网页。支持这种负载的是分布在多个数据中心的大约100,000台服务器。2020欧洲杯预赛为了进一步了解LinkedIn是如何实现这一切的，网络世界主编John Dix最近采访了生产运营和it副总裁足球竞猜app软件Sonu Nayyar和基础设施工程高级总监Zaid Ali Kahn。
LinkedIn
Sonu Nayyar，领英生产运营和IT副总裁
让我们从全球数据中心的总体视图开始。2020欧洲杯预赛
纳亚尔：我们在美国有三个主要的数据中心为LinkedI2020欧洲杯预赛n.com提供全球服务，一个在德克萨斯州的理查森，一个在弗吉尼亚州的阿什本，还有一个我们刚刚在俄勒冈州推出的新数据中心。我们今年早些时候在新加坡推出了一个较小的数据中心，其主要目的是改善我们在亚太地区的会员体验。它基本上有一套完整的数据，但只针对我们亚太地区的成员。所有四个都由我们的MPLS主干网和13个全球存在点（POPs）连接。
它们都是类似的架构，还是由于它们是在不同时期建造的，所以是混合的?
纳亚尔：我们有混音。在阿什本建立我们的第一个数据中心之前，我们从一个colo设施开始。很明显，这项技术年复一年的进步，现在俄勒冈州已经是一个完整的升级功能。2020欧洲杯预赛
LinkedIn
扎伊德·阿里·卡恩，LinkedIn基础设施工程高级总监
卡恩:维吉尼亚是我们第一次开始向批发模式转变的时候。因此，我们没有使用Equinix等公司提供的(计算能力)零售供应商，而是租用了数据中心空间——基本上是一个大空壳——并在里面建造了所有东西，包括电源、总线、机架等所有东西。2020欧洲杯预赛弗吉尼亚之后，我们又在德州建了一个，因为我们的规模扩张得很快。当我们到达俄勒冈州时，我们能够退一步思考我们希望我们的数据中心的未来是什么样子的。2020欧洲杯预赛这就是我们过渡到超比例模型的时候。今后，我们将根据新模式对其他数据中心进行改造。2020欧洲杯预赛
你们不会像一些网络巨头那样自己建服务器吧?
KAHN:没有。我们使用独立的机架服务器。我们与OEM供应商紧密合作，以确保他们符合我们的性能规格等。我们是思科UCS的第一批大用户之一，但我们更多地转向了超级微型商品硬件。
这些数据中心是否也支2020欧洲杯预赛持您的业务需求？
Nayyar:我们有一个混血儿。我们确实在圣克拉拉有一小块区域，那里有我们的企业数据中心资源——人力资源、财务、开发、预准备生产等——但我们在俄勒冈州建设了这个区域，所以我们可2020欧洲杯预赛以使用安全区域来支持任何数据中心的企业需求。
面向客户的LinkedIn应用程序是什么样的?
Nayyar:我们的应用程序很复杂，所以数据中心的所有东西都支持在你访问LinkedIn.com时2020欧洲杯预赛呈现页面。你可以想象，你和我有不同的连接，每个人都有，所以你看到的页面是高度定制的，在我们的数据中心有大量的东西流量来生成每个页面。2020欧洲杯预赛要进行大量的计算。对于进入我们网络的每一个字节，我们要从东向西移动100倍才能生成页面。
哇。
Nayyar:通过我们的应用程序，一切都是相连的。显然，我们网站的一些部分是独立的，比如招聘人员有不同的界面。但对于普通消费者来说，LinkedIn.com是联网的。
卡恩：我们有多种产品和数千项服务。您可能听说过Rest.Li，我们最常谈论的网关集成商之一，当这些东西进行通信时，您也会在数据中心之间移动大量数据。2020欧洲杯预赛
LinkedIn
成排的服务器以LinkedIn的高密度数据中心设计为特色2020欧洲杯预赛
每个数据中心都支持相2020欧洲杯预赛同的东西吗?还是职责是分散的?
纳亚尔：任何一个站点都可以提供流量服务。如果一个数据中心出现故障，我们只需将流量路由到另一个站点。在我们的100Gbps MPLS主干网中2020欧洲杯预赛，所有数据中心之间都在实时进行复制。它们都提供相同的服务，这就是我们提高可用性的方法。如果一个站点出现故障，无论是bug、网络问题、电源问题，甚至是一个变差的更改，我们都可以在五分钟内轻易地使流量中断。他们一起为LinkedIn.com服务。
您是否按地理区域为民众服务？
Kahn:是的。我们是Anycast(从网络中的多个点推广一个IP地址的能力)的忠实用户，这意味着我们可以将我们的成员路由到最近的POP(存在点)。
Nayyar：我们试图找出来自该国哪一地区的哪一组用户应该被路由到哪里，并将他们路由到最近的POP。POP是小型数据中心，主要是网络设备和代理服务器，充当用户TCP连接请求的端点。2020欧洲杯预赛
卡恩:我们根据会员的经验选择POP的位置。我们知道哪些地理区域具有挑战性。我们有一个用于预测分析的数据科学模型，表明如果我们在澳大利亚放置POP，那么页面下载时间将提高X个百分点。然后我们必须在这些地区建立持久性有机污染物，它们与我们的数据中心相连。2020欧洲杯预赛页面的所有繁重工作都是在POPs完成的，然后还有后台数据连接，但POPs有助于加快页面下载时间。我们看到，仅仅在亚洲使用POP，页面下载就提高了25%。
纳亚尔：我们在全球范围内密切监控我们的网站速度，我们一直在考虑如何提高速度。无论我们是通过网络还是继续改进应用程序，减轻页面的负担，还是在数据中心内，都可以减少构建页面并将其呈现给会员所需的时间。2020欧洲杯预赛
好的，让我们来看看俄勒冈州最新的数据中心，它在11月上线。2020欧洲杯预赛有什么不同?
卡恩：从计算的角度来看，它要密集得多。通常每个机架的功率为7-9千瓦。我们没有这些设施，所以我们希望通过将更多服务器装入机架来优化空间。我们每个机架的功率可以超过14千瓦。但在密集计算环境下，正如你所想象的，将会有大量的热量，因此我们必须想出如何创新数据中心冷却系统的设计。我们最后使用了后门热交换器。我们是最早在机架上进行水基冷却的公司之一。显然，这样做需要资本支出，但随着时间的推移，我们将使用更少的电力。2020欧洲杯预赛
那么你是在通过架子抽水？
Nayyar：我们基本上是在对室外的水进行预冷，并通过这些后门热交换器进行循环，从而中和机架上的热空气，因此不需要冷空气/热空气通道。
LinkedIn
位于俄勒冈州希尔斯堡的LinkedIn数据中心的一排排服务器采用了后门热交换器技术2020欧洲杯预赛
在这些系统周围抽水有什么问题吗?
Nayyar:这是我们关注的技术问题之一，但我们对它进行了彻底的测试，设计非常可靠。我们也有相当多的监控，所以我们知道是否有任何形式的泄漏，但我们目前不担心。
利用室外空气冷却水一定非常有效。什么样的？PUE（电力使用效率）你在找俄勒冈数据中心吗?2020欧洲杯预赛
Nayyar:俄勒冈州被委托为1.06。值得一提的是，我们的企业目标是在未来使用100%的可持续能源。显然，我们还没有做到，但我们正在朝着这个目标努力，这是我们选择俄勒冈州信息集市的部分原因，因为他们可以直接获得可再生能源。
让我们来看看您在网络方面所做的创新工作，您在报告中所阐述的内容项目牛郎星设计文件．据我所知，你的每一个衣架都有一个机架顶部的开关，它们与多个织物设备通信。
卡恩：是的。牵牛星设计是一个大的织物解决方案。将其视为一个大平面网络。没有核心，没有机箱。假设您正在使用传统的企业模型构建100000多台服务器。从一台服务器到另一台服务器的数据包最终会穿过25到30个芯片组，这会使两台服务器之间的延迟达到毫秒。我们所做的是使用五阶段Clos架构、脊椎和叶子设计，将用于服务器到服务器通信的芯片组减少到少于五个，并将两台服务器之间的切换延迟减少到微秒。（见图1）。
LinkedIn
图1。牵牛星计划
所以在我们的脊椎和叶子拓扑结构中，一切都被分解成不同的阶段。每个架子的顶部都有四条通往四个不同脊椎的路径，这四个脊椎通过多种方式连接到上面的脊椎，所以所有的脊椎开关都变成了一个大的结构。每个机架顶部的交换机都有四条或更多的路径，可以使用等价多路径(ECMP)退出。(见图2)。
LinkedIn
图2。牵牛星计划
机架顶部和脊柱开关相似吗?
卡恩:是的，它们实际上是完全一样的。我们选择了单一SKU模式，这意味着我们只购买一种类型的开关，一种U设备。
你所有的开关都来自同一家供应商吗?
Kahn:没有。它是一个平台。它们都是相同的设计和相同的芯片组。一个SKU。你可以有多个供应商，但是是同一个平台。我们使用战斧芯片组，32x100G端口，3.2Tbps。我们给每个服务器带来50Gbps，这是不同的。我们相信，我们是第一个部署了10G、25G或50G，未来甚至是100Gbps路径的服务器。在接下来的四年或更长的时间里，我们已经在某种程度上证明了这一点。
所有的传输速率都是100Gbps，而且传输速率是一对一的，所以如果你发送100Gbps的数据，你总是能收到100Gbps的数据。在机架顶端，我们使用PSM4标准实现50Gbps，因此我们可以将两个100Gbps端口分成4个50Gbps端口，使机柜有效可用带宽达到200Gb/s。
我在你的一些文档中读到机架顶部不是冗余的，这意味着你可以承受整个机柜的损失，是因为所有东西都在服务器上复制了吗?
Kahn:是的，而且是跨数据中心。2020欧洲杯预赛这都是关于故障域的分布和简化基础设施。在这种规模下，你必须共享空间。这些应用程序具有足够的容错能力，因此我们可能会丢失整个机柜，然后进行故障转移，无论是在数据中心内部还是跨数据中心。2020欧洲杯预赛
我理解对了吗你在顶级交换机上运行自己的代码?
卡恩:有一些。我们是OEM(原始设备制造商)和ODM(原始设计制造商)的混合。原始设备制造商应该是思科之类的供应商。然后我们有ODM供应商，我们在这些供应商上运行我们自己的代码，我们正在慢慢地采用它，因为我们正在建造新的机柜和一套新的数据库。
为什么要自己开发呢?
卡恩:我们有非常具体的东西想要控制。我们想专注于如何管理我们的面料。我们的目标不一定是建立世界上最好的网络操作系统。这不是我们的目标。我们的目标是在管理fabric网络的控制平面之上构建应用程序。
例如，我们希望从交换机本身进行流式遥测，并将其上传到机器学习平台，并利用该平台找出如何智能路由流量、发现性能瓶颈并更好地运行网络。这是我们的目标。在内部，我们将此计划称为可编程数据中心。我们希望更多地了解网络的应用程序级别，并为此优化数据中心内的流量。2020欧洲杯预赛
好的。你们同时支持IPv4和v6是为了全面支持v6吗?
Kahn:是的。我们在v6发动机方面非常积极。几年前，我们在IPv6上发布了www.linkedin.com来解决IPv4地址不可避免的耗尽．我们决定先在边缘解决这个问题，这样我们就可以解决只发送ipv6流量的市场。我们已经看到IPv6在移动流量和性能方面的高速增长。最近，随着规模的扩大，我们开始在数据中心内部研究IPv6。2020欧洲杯预赛我们的数据中心很快就会用完v4，所以我们决定使用v4和v6的双栈，目标是在几年内最终实现v2020欧洲杯预赛6。
你们的数据中心的总容量是多少?你们对未来的增长有什么预期，尤其是考虑2020欧洲杯预赛到你们被微软收购了?
纳亚尔：如果我把我们的公司数据中心包括在内，我会说我们的功率接近40兆2020欧洲杯预赛瓦。明年我们肯定会增加更多的容量。这在计划中。我们不知道的是，与Microsoft的集成将如何影响使用。交易刚刚结束，所以我们开始考虑如何合作。目前，我们的计划考虑到了有机增长，但我们还得等着看事情如何发展。
我想这是我清单上的全部了。有什么我没想过问你的吗?