蓝美视讯飞编大师分布式存储技术介绍

蓝美视讯飞编大师分布式存储技术介绍

　　一、 产品介绍

　　蓝美视讯飞编大师分布式存储系统的定位是服务于企业数据化的基础平台。旨在帮助企业解决运营和生产过程中各类业务产生的异构数据的存储、共享、安全、扩展、性能、可管理性等实际需求;并为特定的行业用户提供完全自主可控的数据存储解决方案;为各类业务的异构数据存储和共享提供高可靠和高性能服务。飞编大师的核心是全对称的分布式文件系统,通过自研的多协议中间件使业务系统可以同时使用不同的接口和协议存取全局统一命名空间中数据。

　　高可靠性

　　蓝美视讯飞编大师将文件数据切片加密后，按照既定的数据分布策略均衡的分布在飞编大师集群的各个节点中。即便集群中存在存储介质或节点失效，飞编大师的数据分布策略依旧可以自动重建所需的数据。飞编大师的硬件架构均采用冗余设计,在业务存取过程中发生某种硬件故障时，飞编大师的硬件冗余设计可确保对应的业务请求被正确处理、从而支持业务无中断地可靠运行。

　　高性能

　　蓝美视讯飞编大师分布式存储系统支持10GbE、25GbE、40GbE、100GbE和InfiniBand等高速网络。同时飞编大师分布式文件系统在整个数据存取过程进行了充分的设计与优化。独有Unimem、MultipathX和Bighash技术使数据在存取过程中定位速度更快;存取延迟更小;充分利用多个网口的性能。

　　高扩展性

　　蓝美视讯飞编大师分布式存储系统的容量可以扩展到数百PB，支持在线扩容，扩容过程中不会中断正在运行的业务，整个扩容过程可以在几分钟内完成。分布式存储系统通过新的节点进行横向扩容，扩容过程对业务系统完全透明，扩容后可立即获得更高的聚合性能和更大的容量。用户可以随时按需购买配置，这将大大降低用户的采购和使用成本。

　　1.基于标准硬件

　　蓝美视讯飞编大师基于标准x86架构的存储服务器，使用高性能IntelXEON系列高性能处理器，配件配置丰富，支持多种网络接口。

　　2.统一命名空间和多种访问协议

　　统一命名空间将多个节点的磁盘资源聚集成一个单一的虚拟存储池，存储资源可以根据需要在进行在线扩展，对上层用户和应用完全透明，用户无需改变原有网络结构即可快速访问存储池内的所有资源。飞编大师支持多种标准共享协议FTP、NFS、CIFS、Amazon S3、Hadoop等。与SAN文件系统不同，用户无需安装任何客户端软件即可访问存储内的数据。

　　3.易于管理

　　飞编大师分布式存储系统提供多种系统管理接口CLI、WebGUI和ReST API，简单灵活的管理模块极大简化了管理员对系统管理的难度，有效降低了系统的管理成本。

　　4. 支持多种网络环境

　　飞编大师分布式存储系统是基于通用服务器硬件组成的，前端和后端网络可使用支持标准TCP / IP的硬件，例如10GbE、40GbE、100GbE或InfinBand(IPoIB)。

　　高性价比

　　飞编大师分布式存储系统可以利用多个所谓的低端硬件通过特有技术组合，使其总体性能接近高端硬件。例如，节点上使用 4 个 10GbE 端口作为后端网络，特有技术使其性能接近 1 个 40GbE 端口

　　对外提供统一的文件共享视图，所有的应用服务器都看到相同的文件视图。集中的数据共享存储，方便用户各业务部门之间进行数据协同处理，极大提高了用户的整体生产效率。卓越的数据读写加速技术极大缩短了对应用程序的响应时间，高聚合性能有效支撑文件密集型应用的需求。系统提供的“即插即用”快速扩充性能与存储容量能力，在新增存储节点的同时不影响业务的连续性，业务端可即时使用增加的存储容量与带宽。

　　产品规格

飞编大师节点整体示意图

　　二、 产品性能测试

　　测试环境

　　一套3节点飞编大师集群，EC策略：2+1:1;

　　1.节点配置

　　节点配置，36*10TB SATA HDD(型号：ST10000NM0478)，2*960GB SSD，4张 2*25GbE(型号：Mellanox MCX4121A-ACUT)

　　2.客户端配置

　　* 8台苹果客户端，2台iMAC Studio、6台iMAC PRO

　　* 操作系统macOS Monterey 12.1

　　* ATTO NS 3102雷电转万兆/QNAP

　　* QNA-T310G1S雷电转万兆

　　* 标准的CIFS共享

　　3.测试工具

　　* 非编软件:Adobe Premiere Pro 2021

　　* 带宽测试工具：vdbench

　　测试结果

　　Premiere测试结果

　　单iMAC PRO (开启Multichannel )

　　注：

　　*4K ProRes 444 视频格式为MOV，每轨要求带宽约180MB/s

　　*测试数据为MAC Studio连接两个QNA-T310G1S，通过两个万兆开启Multichannel连接存储，iMAC pro通过1个QNA-T310G1S连接存储

　　*单iMAC PRO在回放5轨时CPU使用率已经超过95%，所以已经到达CPU的处理极限。

　　Vdbench测试结果

　　单Mac(开启Multichannel )

　　注：

　　*Vdbench 数据量是超过内存的2倍;并未使用内存(openflags=o_direct)

　　*测试结果均使用QNA-T310G1S连接存储

　　三、 成功案例展示

　　广电总局某涉密研究所敏感监控项目

　　1.解决方案

　　用户环境分为两部分一部分是负责数据采集的视频采集岛，一部分是负责视频分析的视频审核岛。两部分共享飞编大师集群存储。飞编大师提供高并发、大带宽的多节点同时读写。同时飞编大师结合媒资系统业务特点，单独进行调优使数据存储效率提升至少30%。

　　2.产品特点

　　Ø 多并发业务访问

　　Ø 低访问延迟

　　Ø 高带宽数据吞吐

　　Ø 持续稳定码流

　　某卫视真人秀综艺节目项目

　　1.解决方案

　　用户环境多种音视频编辑制作应用在同一命名空间下，需同时支持众多不同操作系统的客户端上的多种应用对多个文件进行同时读取和写入。飞编大师提供高并发、高稳定、大带宽的多节点不同操作系统的同时读写。同时飞编大师结合非编系统业务特点，针对性的策略性预读技术使得各种音视频应用在读写存储系统时都有优秀的性能。

　　2.产品特点

　　Ø 多并发业务访问

　　Ø 低访问延迟

　　Ø 高带宽数据吞吐

　　Ø 持续稳定码流

　　Ø 策略性预读技术

　　北京某传媒公司项目

　　1.解决方案

　　用户多部门协同制作影视电视剧后期音视频，整个环境有Windows、MAC OS、Linux操作系统，同时处理存储系统内的多部连续剧和影视内容。OpenFS提供统一命名空间，单一命名空间利于多部门协同工作。存储系统具有高稳定、大带宽的并发多节点访问能力。特有的的策略性预读技术使得各种音视频应用在访问存储系统时都有优秀的性能。

　　2.产品特点

　　Ø 多并发业务访问

　　Ø 低访问延迟

　　Ø 高带宽数据吞吐

　　Ø 持续稳定码流

　　Ø 策略性预读技术

　　某动漫制作公司项目

　　1.解决方案

　　用户的一百多个渲染节点同时访问存储系统，读取大量的材质素材文件对3D动画进行渲染，同时数十个视频剪辑工作站访问存储内渲染后的视频素材进行剪辑。飞编大师提供统一命名空间，单一命名空间利于多业务协同工作。存储系统具有高并发、大带宽的并发多节点大小文件访问能力。特有的的策略性存储分配技术使得各种 大小文件既能保证有效的空间利用率同时具有优秀的访问性能。

　　2.产品特点

　　Ø 多并发业务访问

　　Ø 策略性空间分配功能兼顾大文件空间连续性和小文件空间利用率

　　Ø 高带宽数据吞吐

　　Ø 策略性预读技术