第1章:系统思考

Prentice Hall出版

1234 第3页
第3页5

磁盘驱动器空间的考虑因素

下一个要讨论的项目是驱动器空间需要什么。本质上,分配给系统的磁盘子系统需要足够大,以包含COS和ESX。COS的交换文件、虚拟交换文件的存储空间(在ESX中用于过度提交内存)、VM磁盘文件、本地ISO映像和用于灾难恢复的虚拟机磁盘格式(VMDK)文件的备份。如果Fibre Channel或iSCSI可用,显然应该将VM磁盘文件卸载到这些系统。当我们从SAN启动时,对于3.0版本之前的ESX,我们必须在服务控制台和ESX之间共享Fibre Channel适配器。共享光纤通道适配器端口并不是最佳实践,只是为了方便而提供,并不真正建议使用。(从SAN引导将在第3章“安装”中详细介绍)。将临时存储(COS交换)放到昂贵的SAN或iSCSI存储上也不是最佳实践;建议使用某种形式的本地磁盘空间来托管OS和COS交换文件。在ESX版本3中,VMotion要求每个vm的VMkernel交换位于远程存储设备上。 The general recommendation is roughly 72GB in a RAID 1 or mirrored configuration for the operating system and its necessary file systems, and for local storage of ISO files and other items as necessary.

对于早于3版本的ESX版本中,VMkernel交换文件的空间应该是内存的机器数量的两倍。但是,如果在机器的两倍存储器量小于64GB时,另一个的VMkernel交换文件应该被使用。每个VMkernel交换文件应该生活在自己的VMFS。虚拟机可以住在VMFS 64GB以上大创造,然后几台虚拟机能够与虚拟交换文件住。但是,是否会有任何VM对这些VMFS分区,这些分区可以是完全64GB和使用RAID 0或RAID不受保护的存储。在这种情况下,需要注意的是,如果你失去了这个RAID设备驱动器,这是可能的ESX Server将不再能够过量使用内存和目前过载将失败的虚拟机。用最快的RAID级别,并放置在VMFS虚拟交换文件在其自己的RAID集。另外,也可以以放置在VMkernel交换与操作系统推荐的RAID 1设备上。RAID 5是真的为VMkernel交换的浪费。RAID 1或包含ESX版本的VMkernel交换文件的VMFS分区早于第3版是最好的选择。

对于ESX 3版本,没有必要有一个VMkernel交换文件。现在这些独立与每个VM包括在内。

任何VMFS包含虚拟机应该使用RAID 5配置数据的最好的保护。第12章,“灾难恢复和备份,”盖在更详细的磁盘配置,因为它调查从一个灾难恢复(DR)点本地磁盘的需求。来看一般DR的一点是要有足够的局部空间,从主机,而不需要一个SAN或iSCSI设备运行关键虚拟机。


磁盘的最佳实践-有尽可能多的本地磁盘,尽量保持的VMkernel交换文件(两次内存低内存系统和等于内存较大的内存系统),用于早于3版本的ESX版本。

有必要保持OS,本地ISO映像,关键虚拟机的本地备份多少本地磁盘,也许有些地方的虚拟机。


基本硬件注意事项汇总

表1.2总结了方便在本部分中讨论的硬件方面的考虑。

表1.2:对硬件的最佳实践

项目

ESX版本3

ESX版本早于第3版

章要访问的更多信息

光纤端口

两条2GB

两条2GB

第5章

网络端口

六1GB

二为COS

两个虚拟机

两VMotion

四1GB

一个COS

两个虚拟机

一个为VMotion

第8章

本地磁盘

SCSI RAID足以保存最重要的虚拟机的副本

SCSI RAID足以保存最重要的Vms和本地vSwap文件的副本

iSCSI的

通过的VMkernel或iSCSI HBA两条1GB的网络端口

N/A

第8章

SAN

企业级

企业级

第5章

胶带

远程

远程

第11章

基于NFS的NAS

通过的VMkernel两条1GB的网络端口

通过COS

第8章

记忆

高达64GB

高达64GB

网络

三,四

管理员/ iSCSI网络

虚拟机网络

VMotion网络

VMkernel网络

管理网络

虚拟机网络

VMotion网络

第8章

具体硬件注意事项

现在我们需要看看目前可用的硬件,并决定如何最好地利用它来满足前面列出的最佳实践。所有的硬件都会有一些问题需要考虑,并应用从本章第一节的意见将有助于显示好的,坏的和丑陋的关于当前用作虚拟基础设施节点的可能的硬件。主要目标是帮助选择各种形式的硬件当一个企业级ESX服务器农场读者了解必要的设计选择。需要注意的是虚拟机的数量提到的基于平均的机器,没有做非常多的网络,磁盘或其他I / O和具有平均处理器利用率上。这一数量太多基于目前的基础设施的利用率,这些数字是什么每个服务器能够衡量和不打算作为最大值或最小值。一个适当的分析将产生你的ESX服务器的最佳利用,是设计用于任何虚拟化基础架构的一部分。

刀片服务器系统

因为刀片系统(参见图1.2)虚拟化的硬件,它是ESX,这进一步通过虚拟化每个刀片上运行的多个服务器的刀片投资的逻辑选择。然而,选择刀片时有一些严重的设计考虑。大多数这些考虑都在端口密度和存储的可用性的境界。请记住我们的愿望,至少有四个网卡,两个光纤通道端口,和本地磁盘:许多刀片服务器没有这些基本要求。举个例子来说,IBM的HS20。该刀片服务器有两个板载网卡和两个光纤通道端口。虽然有大量的光纤通道,有网卡的这种配置的缺乏。这并不是说,不使用HS20,但权衡它的用途或者是缺少冗余或安全性和性能的取舍。其他叶片也有类似的权衡了。另一个例子是HP BL3 p刀片。 Although it has enough NIC ports, the two Fibre Channel ports share the same port on the fabric, which in essence removes Fibre redundancy from the picture. On top of that restriction, the BL3 p uses an IDE/ATA drive and not a SCSI drive, which implies that a SAN or iSCSI server is also required to run VMs. There are also no Peripheral Component Interconnect (PCI) slots in most blades, which makes it impossible to add in an additional NIC, Fibre, or SCSI adapter. In addition to the possible redundancy issue, there is a limitation on the amount of memory that you can put into a blade. With a blade, there is no PCI card redundancy because all NIC and Fibre ports are part of the system or some form of dual-port mezzanine card. If more than one network will be available to the VMs, 802.1q VLAN tagging would be the recommendation, because there is no way to add more NIC ports and splitting the NIC team for the VMs would remove redundancy. Even with these trade-offs, blades make very nice commonly used ESX Servers. It is common for two processor blades to run between four and ten VMs. This limitation depends on the amount of memory available. On four-processor blades, where you can add quite bit more memory, the loads can approach those of comparable nonblade systems.

图1.2

前部和刀片机箱的背面


与刀片最佳实践 -挑选刀片提供全面的NIC和光纤冗余。


1U服务器系统

感兴趣的下一个设备是1U服务器(见图1.3),它提供了在大多数情况下,两个板载网卡,一般无板载光纤,也许是两个PCI插槽,也许两到四个SCSI / SAS硬盘。这是完美的添加四端口NIC和一个双端口光纤控制器;但如果你需要一个SCSI卡的本地磁带设备,这有时是必要的,但从来没有建议,也没有机会把一个在除非有一种方式来获得更多的板载网卡或光纤端口。除了需要添加更多的硬件到这些单位,有一个机会,PCI卡冗余会丢失了。考虑HP DL360作为一个可能的ESX Server,它是一款1U设备有两个SCSI或SATA驱动器,两个板载网卡,以及可能的夹层光纤通道适配器。在这种情况下,如果我们使用的ESX版本2.5.X或更早的版本,我们需要只能选择SCSI驱动器,以及任何版本,我们希望至少增加一个四端口NIC卡才能到六张网卡弥补了最佳实践,并获得了ESX版本3。在某些情况下,更多的冗余,对设备背面的SCSI端口,因此访问磁盘阵列会增加空间的大幅提升,但往往缺乏驱动影响其与磁带使用率设备。

图1.3

1U服务器正面和背面

在SAN冗余的情况下,如果没有夹层光纤通道适配器,第二个PCI插槽将举办一个双端口光纤通道适配器,这将轮出和填补所有可用插槽。随着四端口NIC支持的出现,增加一个额外的一对为另一个网络NIC端口的需要与新的PCI卡更换附加双端口NIC的。还有,再次权衡了相当多的选择这个平台时,其低的内存量意味着更少的虚拟机每台服务器,也许在虚拟机的四至十个不等,视内存磁盘的数量和大小箱子里头。比肩胛骨稍更多的功能,在1U机箱使一个很好的备份服务器,但在需要的时候可以是主力。


1U盒的最佳实践-挑选具有板载光纤通道适配器,以便有更多的网络和任何其它必要的I / O卡插槽无一箱。此外,尽可能选择大的磁盘驱动器。应该有至少两个板载网络端口。添加四端口网络和双端口光纤通道卡在必要时得到的端口密度。


2U服务器系统

认为是未来服务器是2U服务器(见图1.4),类似HP DL380。这种类型的服务器的通常具有两个板上以太网端口,或许一个板载光纤信道端口,通常用于与外部驱动器阵列使用外部SCSI端口。除了这一切,至少有三个PCI插槽,多达六个SCSI驱动器,以及至少两倍的内存比一个1U的机器。额外的PCI插槽添加了相当多的功能,因为它要么可以承载一个Adaptec SCSI卡,以支持本地磁带机或磁带库,这有时是必要的,但从来没有建议,或者它可以承载更多的网络功能。在最低限度,至少需要两个NIC端口,也许一个双端口光纤通道适配器,如果没有一对端口已经在服务器中。因为这类服务器可以承载6个SCSI磁盘,他们能比的空间1TB,这使得2U服务器优良的独立ESX Server的更多装起来。推出双核处理器,这盒具有运行多个VM的能力。这一类服务器的主要限制是可能缺网卡空间和内存约束。即使有这些限制,这是一个极好的类服务器,并提供所有必需的组件,使一个优秀的ESX Server。

图1.4

接待和2U服务器的背面

将一个2U服务器与一个小磁带库配对,成为一个装运到远程位置的盒子中的办公室,不需要SAN或其他形式的远程存储,因为它有大量的本地磁盘空间,另一个磁盘阵列可以轻松地连接到这些空间。然而,2U盒在许多情况下与1U盒具有相同的特性。额外的内存和PCI插槽是非常重要的吗?根据服务器的类型,可能需要一个双端口或四端口NIC、双端口主机总线适配器(HBA)和一个用于磁带库的SCSI适配器。额外的插槽、额外的内存和大量的本地磁盘使此类服务器成为ESX的极好的工作机器。根据可用内存和是否使用DC处理器,可以在这些类型的服务器上运行6到24个vm。


最佳实践的2U服务器 -挑选至少有两个板载网卡接口,两个板载光纤通道端口,大量的磁盘,并尽可能多的内存可能的服务器。四端口网卡添加到增益的端口密度和,如果必要的话,两个单端口光纤通道适配器添加更多的冗余


大型服务器级系统

接下来的讨论中结合了多种服务器类(参见图1.5)。类结合了4,8和16个处理器的机器。独立的处理器数量的,所有这些服务器都具有许多相同的硬件功能。一般情况下,他们有四个SCSI驱动器,至少六个PCI插槽,两个板载网卡,RAID内存,和非常大的内存空间从32GB到128GB。该RAID内存仅仅是一种技术,它允许更换而机器仍在运行的各种组件,它可以减轻基于硬件的停机时间,除非它的关键部件之一。RAID内存是非常不错的,但它只是在服务器总内存的一小部分,不计入可用内存的服务器。例如,可以把内存全80GB到HP DL760,但操作系统将只能看到64GB的内存。缺少16GB成为RAID存储池,这涉及到使用只有在有由硬件发现了一个糟糕的记忆棒。一般来说,较大的机器有更少的磁盘比2U服务器做的,但它具有PCI总线和插槽实现冗余最高级别的多个光纤通道适配器和双端口网卡的丰富弥补了这一点。在这些服务器中,通用的最佳实践建议的多个光纤通道端口将分别放置在不同的PCI总线,如将在NIC卡来获得PCI卡更好的性能和冗余SAN结构和网络。 These types of servers can host a huge number of VMs. The minimum number of VMs is usually in the range of 20, but it can grow to as high as 50 depending on processor count, utilization, and load.

图1.5

背部和大型服务器类机器的前面

外部存储的影响

有许多不同的外部存储设备,从简单的外部驱动器到磁盘阵列、共享磁盘阵列、主动/被动SAN、主动/主动SAN、SCSI磁带驱动器、到库、纤维连接磁带库……实际上,这个列表是无穷无尽的,但我们将着眼于目前最常用的设备和未来最有可能使用的设备。我们将从最简单的装置开始,然后转向较复杂的装置。正如我们对服务器所做的那样,本讨论指出了该技术的局限性或优点,以便在启动或修改虚拟基础设施体系结构时可以获得所有事实。

对于本地磁盘,强烈建议您使用SCSI / SAS RAID设备;虽然IDE支持运行ESX,它没有举办一个VMFS,因此将需要某种形式的外部存储的能力。ESX版本3个支持本地SATA设备,但它们共享相同的限制IDE。此外,如果你正在运行的任何形式的共享磁盘集群,如微软集群服务器,本地VMFS是必需的引导驱动器,但需要使用原始磁盘映射所有共享卷的远程存储。如果一个不可用,共享磁盘集群将失败,主要锁定的问题。


本地磁盘的最佳实践——使用SCSI或SAS磁盘。


本地磁盘的外侧,外部盘托架或磁盘阵列(见图1.6)是一种常见的附着并且通常不需要在磁盘阵列和适当的SCSI电缆的多个硬件之外。然而,像独立的服务器,本地磁盘阵列不会启用使用vMotion的热迁移VM。然而,当不需要VMotion的,这是一种简单的方式来获得连接到服务器更多的存储。如果磁盘阵列是SATA阵列,它可能是更好去SCSI代替,因为虽然你可以添加更多的空间到SATA,SCSI是更快,支持ESX上的所有版本。

图1.6

前部和外部的磁盘阵列的背面

下一个类型的装置是共享磁盘阵列(见图1.7),它有自己的控制器,可以连接到一对服务器上,而不是只有一个。车载控制器允许分割出逻辑单元号(lun),并提供给适当的服务器或在服务器之间共享。可以使用这种类型的设备在最多4台ESX主机之间共享vmfs格式的lun,因为这通常是对每个共享磁盘阵列上可用的SCSI接口数量的限制。这是创建多机冗余的一种非常廉价的方法。但是,使用此方法将ESX服务器的集群限制为可用的SCSI端口的数量,并限制了从vm中访问原始lun的方法。

图1.7

前部和共享的SCSI阵列的背面


最佳实践进行本地存储 -使用本地或本地连接的基于SCSI的存储系统。


SAN是要使用的,将允许的VMotion设备中的一个,并且通常进来入门级(见图1.8)和企业级(见图1.9)样式。每个人都有其与ESX用途和所有允许数据的多个ESX主机之间的共享,这对于使用VMotion的主要成分。SAN信息中详细介绍在第5章,“存储与ESX。”

图1.8

正面和入门级SAN与SATA驱动器的背面

图1.9

正面和企业级SAN的背

虽然在3.5版本之前的ESX中不支持SATA驱动器,但是如果直接连接到主机,除非使用SCSI到SATA桥接适配器,如果是SAN的一部分(参见图1.8)。然而,它们比使用SCSI驱动器,所以他们可能不是主要的VMDK存储一个不错的选择,但会好好临时备份位置越慢;最好的解决办法是避免非SCSI驱动器尽可能。虽然入门级SAN是小型设备非常好,企业级安装真正需要的企业级SAN(参见图1.9)。与入门级版本相比,企业级SAN为ESX提供了更高程度的冗余、存储和灵活性。两者在可能的架构中都有自己的位置。例如,如果要将ESX部署到具有一对服务器的小型办公室,那么使用入门级SAN部署的成本要比使用完整的企业级SAN低。


最佳实践SAN存储 -使用基于SCSI的SAN存储系统。对于小型设备,入门级系统可能是最好的;然而,为别的,最好是使用企业级SAN系统增加冗余。


在存储领域中的最后一项是NAS设备(见图1.10),它使用各种协议,包括网络文件系统(NFS),互联网SCSI(iSCSI)和通用互联网文件系统(CIFS)当前的文件系统。特别令人感兴趣的是iSCSI协议,这是SCSI通过互联网协议(IP)。此协议不支持在ESX版本的虚拟机磁盘文件的存储位置早于3.0,但支持适用于更高版本。随着NAS,没有必要对光纤通道适配器,只有更多的网卡,支持iSCSI和NFS协议,同时提供冗余。在一般情况下,iSCSI和NAS略高于光纤通道运行更慢的速度生看着目前的网络时可用。

图1.10

NAS设备


最佳实践为iSCSI -NAS或iSCSI不支持早于ESX 3.0版本的版本;直到有可用的升级不使用该设备。此外,有足够的COS NIC端口来提供冗余和带宽。


例子

现在是时候回顾一下客户关系所做的在前面的章节中的注释。以下六个例子都来自于真实的客户,而不是从我们的想象。该方案建议使用前面讨论过的最佳实践和一点点想象力。

实施例1:现有数据中心

一位顾客是在硬件升级周期之中,并决定采取替代购买相当多的硬件;客户希望避免以高昂的代价购买300+系统。他们决定继续ESX服务器。此外,客户进行详尽的内部流程,以确定是否需要升级300+系统,相信所有的人都可以迁移到ESX,因为他们达到或超过记录限制。他们现有的机组合包括从最后一台机器刷新(大约20)几个新的机器,但主要是由那些至少2到3代的旧机器,在处理器上运行的不超过900MHz的速度更快。换新范围从1.4GHz的3.06GHz的到2U机(见图1.4)。客户也想要么利用他们现有的硬件莫名其妙或购买很少的机器进行了必要的差别,因为价格对于ESX运行300+机接近其完整的硬件预算。此外,还提供了信息的最后一位,它真的抛出猴子扳手插入一个很好的解决方案:他们有五个数据中心,用自己的SAN基础设施。

遵循最佳实践,我们可以立即指出,我们可以使用3.06GHz的主机。那么我们就可以判断是否有足够的运行一切。然而,这个例子显示了需要的东西,甚至不仅仅是硬件来运行300个+虚拟机更根本的。这表明需要对运行环境的适当分析,首先确定300+服务器是否是较好的选择迁移,随后确定哪些服务器是虚拟机300+的主机最适合。最常用于进行这种分析的工具是AOG容量规划。该工具将收集起来的各种利用率和性能的数字为每个服务器在一到两个月的时间。然后将这些信息用于确定哪些服务器做好考生作为虚拟机运行。


最佳实践 -使用容量规划或类似,以获取有关服务器的利用率和性能信息的东西。


有关:
1234 第3页
第3页5
工资调查:结果是