数据增长达到历史最高水平已经不是什么秘密了。IDC预计,到2023年,全球将产生103兆字节的数据1。是的,泽字节。随着物联网设备的普及,启用5G技术,以及视频的大规模增长,我们只是刮伤的企业将如何存储和数据提取值的表面。
机器数据将发挥主导作用,因为它有望超过商业/消费者数据。到2023年,超过90%的数据将由机器生成2(即智能城市,物联网,终端,自主汽车等)。此外,视频监控录像,并大AI / ML数据集 - 这个“自然流”或顺序数据 - 将无处不在。
我们面临的另一个挑战是:随着生成的数据越来越多,存储的数据却越来越少。这可能是由于存储经济或数据缺乏价值。到2023年,只有12个ZB——大约12%的数据会被存储3。然而,我们存储数据的能力对于实现其潜力至关重要——利用它进行分析、挖掘、智能和价值创造。
数据基础设施也必须重新设计,以应对工作负载、应用程序和人工智能/物联网数据集日益增长的规模和复杂性。
考虑到这一切,有一两件事是清楚的泽字节时代当前位置只增加存储空间是不可行的。促进大数据分析的大数据集和其他写一次、读多次类型的顺序数据继续增长。为了管理数据的巨大增长,您的数据基础设施必须能够高效和经济地扩展,而不牺牲性能。这些新结构将涉及多个工作负载优化的存储层,以及系统软件的新方法,这些新方法可以利用更高密度的存储,在规模上具有更好的经济性。
路线图,缩放在泽字节时代
分区存储是存储领域的一种新模式,其动力来自于数据的惊人爆炸。它是一个开源项目,为云计算和超大规模数据中心架构师带来了新的存储创新和行业标准,以设计高效的存储层,帮助保持TCO的竞争力,并在zettabyscale时代实现更大的规模经济。2020欧洲杯预赛
由于越来越多的数据本质上是顺序的——视频、物联网/边缘数据、监视或可分组或“分区”成更大块(如大型AI/ML数据集)的数据——有机会组织将工作负载写入存储介质的方式,以获得更好的性能和效率。
SMR硬盘和ZnS NVMe固态硬盘是领先的分区存储方法的方式
该分区存储架构使主机应用程序,以协调数据放置,并充分利用可用的最高存储容量。这些“划”设备,如叠瓦磁记录(SMR)硬盘驱动器(HDD)和用于NVMe固态硬盘(SSD)新兴划命名空间(ZNS)标准是领先的方式和连续工作负载提供优化。
SMR支持当今最高容量的硬盘驱动器。SMR的图案很像屋顶上的木瓦。通过在磁盘上覆盖磁道,可以将更多的数据压缩到相同的空间中——与传统的记录相比,将区域密度提高了20%。SMR驱动器是专门为数据中心构建的,允许优化性能、规模经济和数据放置的系统2020欧洲杯预赛级智能。
ZNS分歧闪存介质为区域。这些区域只能顺序写入,就像依次写入到硬盘SMR轨道数据。ZNS将所述闪存介质进入区域,其中每个区域是分离的名称空间。云供应商可以,例如,独立的工作负载或数据类型,以不同的区域,这样的使用模式是在多个用户之间可预见的。最终的结果将是提供更好的密度,并且远远更划算固态硬盘。分区存储设备将减少对后台无用单元收集的必要性,并要求媒体少了规定。ZNS设备通过提供更有效地利用媒体的补充,新的存储技术,如QLC闪光。
ZNS补充SMR技术,使得开发人员能够利用两个SMR和ZnS的单个存储堆栈下,无论介质的类型。这也提供了智能应用架构和,因为他们被看作是一个技术,使得SMR和ZnS新泽字节级时代的乐器积木。
重新构建一个分区存储方法的数据中心可能2020欧洲杯预赛需要一些努力开始,但密度和成本优势是巨大的,表现出专用硬件和软件的感知结构的所有优点。许多西部数据的客户已经部署今天SMR技术,该公司预计,该硬盘的50%,艾字节它战舰将在SMR在2023年。
开源势在必行
值得注意的是,分区存储是一个开源的、基于标准的项目,它提供了一个统一的框架来管理专门构建的ZNS ssd和容量优化的SMR hdd。参与使客户能够利用SMR技术和他们的hdd,并将它们集成到他们的应用程序中。其优点是,在准备ZNS ssd时,客户可以利用他们的SMR投资,并将其应用于他们的ZNS部署。事实上,如果他们已经围绕区域的概念设计了他们的应用程序,那么他们的应用程序可能只需要很少的更改。
[1]IDC全球预测Datasphere揭示,2019年至2023年:消费者依赖于企业拓宽,2019年1月,DOC#US44615319
[2]应用材料的SEMICON West,AI设计论坛,2019七月
[3]IDC,《全球存储圈安装基础预测,2019 - 2023:全球存储圈安装基础的核心、边缘和终端》,2019年4月,DOC #US45009319