hpc向“数据密集型”发展,多样性的数据处理成为新常态,海量的数据流动,也越来越困难。在整个的数据处理过程中,多样性的数据转化、拷贝、加载等,占据 了35%以上的时间。
因此,突破数据处理过程中数据的格式壁垒,实现数据0拷贝就地处理,就犹如打通多样性数据处理的任督二脉一般,将大幅提升hpc数据处理效率。
任督二脉通,则八脉通八脉通,则百脉通。让我们跟 随“武林高手”一起来打通hpc多样性数据处理的任督二脉。
• 多样性数据处理成为新常态:云、大数据、ai技术正在重构传统的数据处理流程, 一次数据分析会涉及文件、对象、大数据等多种格式数据。
• 海量数据流动越来越困难:一次数据处理涉及pb级的数据量,数据拷贝、加载等流动时间占比达35%以上。
• 一种资源模型:一个硬件资源池 + 一个逻辑资源池,文件、对象、大 数据使用同一种资源模型。
• 一种数据模型:一个逻辑资源池可以同时保存文件、对象、大数据格式的数据。
• 一套锁机制:文件、对象、大数据客户端可以同时读写同一个文件, 不需要协议转换。
传统协议互通方案
简化数据管理
只需要划分一个统一的命名空间,简化存储的规划、配置、运维。
加速数据流动
多样性数据就地分析,免数据拷贝,数据分析效率提升30%以上。
节省存储资源
共用硬件资源池,提升存储资源利用率,同时,避免数据拷贝产生的冗余副本,端到端节省存储资源。
• 易使用:不需要使用网关,维护简单。
• 语义无损:统一的元数据和数据架构,文件、对象、大数据均提 供原生的语义,无语法上的缺失和限制。
• 性能无损:和单一协议完全一样的数据访问路径,每种协议都能 发挥硬件资源的极限性能。
• 丰富的增值特性:统一的快照、远程复制、配额、qos、元数据检索等, 提供比单协议更丰富的特性。
华为多协议互通方案
免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。