北京2020年12月3日 /美通社/ -- 在亚马逊云服务(AWS)举办的年度盛会 -- AWS re:Invent上,AWS宣布推出四项存储创新,为客户带来了更多的存储性能、弹性和价值,包括:
EBS io2 Block Express 存储卷提供了首个为在SAN上运行的工作负载而构建的云存储服务
因为io2存储卷(最新一代预置IOPS存储卷)能提供99.999%(5个9)的耐用性和比通用EBS存储卷 高4倍的IOPS,客户往往选择它来运行关键的、性能密集型应用程序,例如SAP HANA,Microsoft SQL Server,IBM DB2,MySQL,PostgresSQL和Oracle数据库。某些应用程序需要单个io2存储卷所无法提供的更高的IOPS、吞吐量或容量,为了满足其所需的性能,客户通常将多个io2 存储卷进行条带化组合。在工作负载性能要求更高的情况下,客户不得不将更多的io2存储卷进行条带化组合,由此带来了更大的部署及管理复杂度和成本增加。许多客户历来使用本地部署的SAN架构(使用本地部署的存储资源)来满足高性能工作负载的需求。但是这些SAN缺点众多,高昂的前期购置成本导致它们价格昂贵,需要复杂的预测才能确保有足够的容量,这繁杂且难以管理,并且消耗了宝贵的数据中心空间和网络容量。当客户超出SAN的现有容量时,他们必须另外购买一套完整的SAN或进行复杂的扩容,这种方式价格昂贵且迫使客户为未使用的容量付费。客户告诉我们,他们一直希望在云中拥有SAN的功能和性能 -- 现在终于能够实现了。
EBS Block Express是一种全新的存储架构,为客户提供了首个为在SAN上运行的工作负载而构建的云存储服务。 EBS Block Express专为需要高IOPS、高吞吐量、高耐用性、高存储容量和低延迟的Oracle,SAP HANA,Microsoft SQL Server和SAS Analytics等大型、I/O密集型任务关键型部署而设计。通过在Block Express上运行io2存储卷,单个io2存储卷可以配置高达256,000 IOPS, 4,000 MB /秒的吞吐量,并提供64 TB的单卷容量 -- 这在所有参数上都比现有io2存储卷提高4倍。此外,io2 Block Express存储卷可以为客户的延迟敏感型应用提供一致的亚毫秒级延迟。客户还可以将多个io2 Block Express 存储卷条带化在一起,以获得比单个存储卷更好的性能。 Block Express通过完全重构的基础EBS硬件、软件和网络堆栈,帮助io2存储卷实现此性能提升。通过在硬件层将计算与存储解耦,并重新编写代码,EBS Block Express可以达到新的性能水平,并缩短创新的时间。通过重写网络堆栈以利用高性能Scalable Reliable Datagrams(SRD)网络协议,Block Express大大减少了延迟。这些改进适用于非预付费客户使用io2 Block Express存储卷,并且客户可以在无需预付费的情况下配置和扩展容量。
在接下来的几个月里,Block Express 存储卷将添加其它SAN功能,包括支持I/O fencing的多重挂载,使客户能够同时将多个实例安全地连接到单个存储卷,快速快照还原,支持弹性卷以动态扩展EBS存储 卷容量、更改卷类型和性能。 要了解更多有关io2 Block Express存储卷的信息,请访问:https://aws.amazon.com/ebs
EBS Gp3 存储卷使IOPS与存储容量脱钩,提供了更高的性能,且价格比上一代存储卷降低20%
客户使用EBS 存储卷来支持广泛的工作负载,例如关系和非关系数据库(比如Microsoft SQL Server和Oracle)、企业应用程序、容器化应用程序、大数据分析引擎、分布式文件系统、虚拟桌面、开发/测试环境和媒体工作流程。 Gp2存储卷使客户能够轻松、经济高效地满足其中许多工作负载的IOPS和吞吐量要求,但是单个Gp2 存储卷无法提供某些应用程序需要的更高IOPS。因为Gp2存储 卷的性能会随着存储容量的增长而扩展,因此客户可以通过配置更大的存储卷来为其应用程序获得更高的IOPS和吞吐量。然而,某些应用程序需要更高的性能,而不需要更高的存储容量(例如MySQL和Cassandra之类的数据库)。这些客户最终可能会为获得所需的IOPS性能,而承担超出其所需存储空间的费用。运行这些工作负载的客户希望满足其性能需求,而不必调配更大的存储量并为此付费。
下一代Gp3存储卷使客户能够独立于存储容量来配置IOPS和吞吐量。对于需要更高性能的工作负载,客户可以修改Gp3存储卷以提供所需的IOPS和吞吐量,而不必增加更多的存储容量。 Gp3存储卷可提供3,000 IOPS和125 MB /秒的持续基准性能,并能够提供至多16,000 IOPS和1,000 MB /秒的峰值吞吐量(比Gp2增加4倍)。除了通过允许客户独立于存储以扩展IOPS来节省资金外,Gp3 volume每GB的价格比现有Gp2降低20%。客户可以使用Elastic Volumes轻松地将Gp2存储卷迁移到Gp3存储卷,Elastic Volumes是EBS现有的一种功能,允许客户修改其现有EBS存储卷的卷类型、IOPS、存储容量和吞吐量,而无需中断其Amazon Elastic Compute Cloud(EC2)实例。客户还可以使用AWS管理控制台,AWS命令行界面(CLI)或AWS开发工具包轻松创建新的Gp3存储卷并扩展性能。要开始使用Gp3存储卷,请访问:https://aws.amazon.com/ebs/
Amazon S3 智能分层扩展支持S3 Glacier归档型和深度归档型,客户使用对象存储的成本可降低多至95%
S3 智能分层可针对访问模式未知或不断变化的数据,自动优化存储成本。对于存储中对象不断变化的访问模式,它是首个也是唯一一个自动优化成本的云存储解决方案。 S3智能分层已被那些拥有不同存储访问模式(如数据湖)或未知存储访问模式(如新推出的应用程序)的客户所广泛采用。之前,S3智能分层对存储收费分为两个定价层:标准存储层用于频繁访问(如实时数据查询),成本优化层用于非经常访问(如批量查询)。然而,许多AWS客户为了降低冷数据的存储成本,已经使用了S3 Glacier或S3 Glacier深度归档。在今天之前,客户需要手动构建自己的应用程序,以监控和记录针对单个对象的访问,从而确定哪些对象很少被访问且需要转移到归档存储之中。然后,他们需要手动移动这些对象。
Amazon S3智能分层扩展支持S3 Glacier归档型和深度归档型,进一步增强了云中首个也是唯一能提供动态成本优化的存储类别。现在,S3智能分层可以在四个不同的访问层(频繁、不频繁、归档和深度归档)上进行自动分层和成本优化。通过使用S3智能分层,长期不访问的数据会在180天或更长时间内自动地从频繁访问层转移到深度归档层,客户可以节省高达95%的存储成本。一旦客户激活了其中一个或两个归档访问层,S3智能分层将自动将90天未访问的对象转移到归档访问层,并在180天后将其转移到深度归档访问层。 S3智能分层可借助S3 Inventory来显示对象的存储层级,以及通过S3 Replication将数据复制到任何AWS区域。使用S3智能分层时不收取检索费用,而在访问层之间转移对象时也不收取额外的分层费用。支持S3 Glacier归档型和深度归档型的S3智能分层现已在所有AWS区域中可用。要开始使用Amazon S3智能分层,请访问:https://aws.amazon.com/s3/storage-classes/
Amazon S3 Replication提供了将数据复制至同一或不同AWS区域中的多个S3存储桶的能力
客户现在可以使用S3 Replication在同一AWS区域内或不同AWS区域之间创建其数据副本,以满足合规性、低延迟或跨帐户共享数据的需求。一些客户还需要将数据复制到多个目的地(同一AWS区域或多个AWS区域的多个S3存储桶),以满足数据主权要求,支持跨区域分布团队之间的协作,或在多个AWS区域内维护相同的数据集以实现弹性。之前为了实现这一目标,客户必须通过监控S3事件以识别任何新创建的对象来构建自己的多目的地复制服务。然后,他们将这些事件分散到多个队列中,调用AWS Lambda函数将对象复制到每个目的地的S3存储桶,跟踪每个API调用的状态并汇总结果。客户还需要监控和维护这些系统,这都会增加费用和运营开支。
借助S3 Replication(multi-destination),客户不再需要为跨多个AWS区域复制数据而开发自己的解决方案。客户现在可以使用S3 Replication将数据复制到同一AWS区域或多个AWS区域的多个存储桶,或者将两者结合使用,使用统一的的基于策略的管理方法来监控数据复制状态和指标。例如,客户现在可以轻松地将数据复制到不同AWS区域中的多个S3存储桶 -- 一个用于主存储,一个用于归档,一个用于灾难恢复。客户还可以将数据集和更新分发至所有AWS区域,以实现低延迟。借助S3 Replication(multi-destination),客户还可以为不同的目的地指定不同的存储类别,以节省存储成本并满足数据合规性要求(例如,客户可以将S3智能分层存储类别用于两个AWS区域中的数据,在另外一个区域复制到S3 Glacier 深度归档中以获取低成本数据归档)。 S3 Replication(multi-destination)完全支持现有的S3 Replication功能,如复制时间控制,以提供有SLA保证的可预测的复制时间,以满足其合规性或业务要求。客户还可以使用Amazon CloudWatch提供的监控指标,事件和对象级复制状态来监控其复制作业。可以使用S3管理控制台,AWS CloudFormation或通过AWS CLI或AWS开发工具包配置S3 Replication(multi-destination)。要开始使用S3 Replication(multi-destination),请访问:https://aws.amazon.com/s3/features
AWS负责存储服务的副总裁Mai-Lan Tomsen Bukovec表示:“未来三年产生的数据将比过去30年更多,机构和开发者都需要通过云来存储大量的数据,存储技术也需要相应的革新。 今天的全新发布,提供了全新的为在SAN上运行的工作负载而构建的云存储服务,客户的海量数据可通过智能分层来自动优化成本。同时,让数据在全球范围内按需复制和转移变得更加简单,让客户能更加有效地管理这一新常态。”
Teradata是云数据分析平台公司,可解决大规模的复杂数据挑战。Teradata工程高级副总裁Dan Spurling表示:“当您专注于实时分析全球数据时,对于我们的业务和最终客户而言,在价格和性能之间取得适当的平衡至关重要。 随着Gp3的发布,基于AWS的Teradata客户将体验到更高的性能和吞吐量,从而使他们能够推动大规模的分析。 Gp3相对于Gp2有着显著的改进,我们预计吞吐量将提高4倍,而每个实例的EBS数量在减少。这使得我们的客户将获得更高的性能和更高的实例可用性。”
Embark正在开发自动驾驶卡车技术,以提高道路安全性和运输效率。Embark基础设施主管Paul Ashbourne说:“我们使用S3 智能分层存储自动驾驶卡车车队的日志。这些日志包含我们车辆上的传感器(例如摄像机和LiDARS)的PB级数据,同时还存储控制信号和系统日志,我们需要快速完整地重现在任何时间点车辆及其周围发生的一切,保留这些数据对我们的业务至关重要。我们的团队经常访问最近收集的数据并进行分析,但是随着时间的流逝,大多数的数据会变冷,并且有可能几个月都不会访问一些数据的子集。但重要的是,我们需要继续保存较旧的数据,以防万一需要再次分析,但这样做可能导致成本高昂。 S3智能分层对我们来说是完美的,因为它会根据各个对象访问模式自动优化我们的存储成本。使用两个新的‘归档访问’层,当很少访问车队日志数据时,我们可以节省更多成本。借助S3智能分层,我们的工程团队无需构建或管理任何自定义存储监控系统,一切都能正常运行,我们可以将更多的时间集中在研发而不是管理存储上。”
Zalando是欧洲领先的时尚和生活方式在线平台,拥有超过3500万活跃客户。Zalando首席数据工程师Max Schultze说:“我们在Amazon S3上构建了一个15 PB的数据湖,这使员工可以及时分析他们以前无法访问的历史销售和Web跟踪数据。通过使用S3智能分层,我们能够在数据湖中节省37%的年度存储成本,因为它可以在频繁访问和不频繁访问层之间自动移动对象。我们期待新的S3 智能分层归档存储层,节省更多的冷数据存储成本。”
SmugMug + Flickr是全球最大、最具影响力的以摄影师为中心的平台。SmugMug + Flickr的工程/运营总监Andrew Shieh说:“我们从第一天开始就使用Amazon S3,现在是S3 Replication的新客户。针对多个目的地的S3 Replication为我们的全球数据处理提供了绝佳选择。我们现在可以以新的方式利用S3 Replication,使用现有的S3对象标签制定优化的复制策略。支持多个目标端的S3 Replication可以简化复杂的数据复制管理,我们可以有更多的时间和精力来服务客户。我们在S3中存储并由少量代码完全管理的PB级数据是我们的业务核心。 对S3的持续改进使SmugMug和Flickr与我们在AWS的合作伙伴一起成长。”