海量储存需求凸显与分布式文件系统存储工作原理

　　随着监控对存储系统的容量、扩展性、性价比、性能、  管理性、稳定性等都提出了新的要求，传统的存储方式已经不能满足要求。为满足安防视频监控的新要求，解决城市级海量视频数据存储、检索难题，以视频、图片文件存储和管理为核心的面向大规模数据密集型应用的、可伸缩的分布式文件系统SDFS被提出。

　　分布式文件系统存储工作原理

　　SDFS它通过分布式集群架构将网络中普通PC、通用服务器及各种存储设备集合起来协同工作，并通过专用数据接口，向用户提供海量数据存储、管理和访问服务。部署方式上支持全网分散部署，或

　　在数据中心集中部署。存储介质支持普通硬盘及通用存储设备。在普通PC或通用服务器集群上部署的SDFS可以达到NAS/SAN的冗余及可靠性，同时又能提供NAS/SAN无法达到的高吞吐量及强大的水平扩展

　　能力。

　　SDFS通过元数据和存储数据分离，控制流和数据流分离，通过负载均衡和数据并发访问策略，在普通硬件条件下获得高效的传输速率以及PB级的存储容量，SDFS针对音视频文件进行特别优化，支持

　　分布式集群架构下的音视频文件帧级别的查询及定位。为安防视频监控实现智能分析、智能检索奠定基础。

　　监控存储分布式文件系统技术特点

　　分布式文件系统SDFS(SkyDistributedFileSystem)满足安防视频监控的新要求，解决城市级海量视频数据存储、检索难题，以视频、图片文件存储和管理为核心的面向大规模数据密集型应用的、可

　　伸缩.

　　1、多服务器同时对外服务

　　SDFS性能优异，支持高并发、带宽饱和利用。云存储系统将控制流和数据流分离，数据访问时多个存储服务器同时对外提供服务，实现高并发访问。自动均衡负载，将不同客户端的访问负载均衡到

　　不同的存储服务器上。系统性能随节点规模的增加呈线性增长。系统的规模越大，云存储系统的优势越明显，没有性能瓶颈。有利于超大规模城市级监控网络的形成。

　　2、多数据块副本实现冗余

　　高度可靠，采用多个数据块副本的方式实现冗余可靠，数据在不同的存储节点上具有多个块副本，任意节点发生故障，系统将自动复制数据块副本到新的存储节点上，数据不丢失，实现数据完整可

　　靠;并支持通过编解码算法的方式实现高度可靠，任意同时损坏多个存储节点，数据可通过算法解码自动恢复。该特性可适用于对数据安全级别极高的场合，同时相对于副本冗余的可靠性实现方式大大

　　提高了磁盘空间利用率，不到40%的磁盘冗余即可实现任意同时损坏三个存储节点而不丢失数据。

　　元数据管理节点采用多机同步热备份的高可用方式容错，其中任一台服务器故障，可无缝自动切换到另一台服务器，服务不间断。整个系统无单点故障，硬件故障自动屏蔽。

　　3、动态增减存储节点

　　SDFS(SkyDistributedFileSystem)云存储系统所有管理工作由云存储系统管理监控中心完成，使用人员无需任何专业知识便可以轻松地管理整个系统。通过专业的分布式集群监控子系统对SDFS所有

　　节点实行无间断监控，用户通过界面可以清楚地了解到每一个节点的运行情况。

　　在线伸缩，可以在不停止服务的情况下，动态加入新的存储节点，只需简单操作，即可实现系统容量从TB级向PB级平滑扩展;也可以摘下任意节点，系统自动缩小规模而不丢失数据，并自动将摘下

　　的节点上的数据备份到其他节点上，保证整个系统数据的冗余数不变。并同步提升读写及网络性能。

　　4、降低建设和运营成本

　　降低建设和运营成本，作为整个平台的基础层，文件系统和数据仓库以廉价的高存储PC或者单板机代替以往的小型机，联合提供极高的运算能力和极低的存储成本!采用分布式计算和存储，结合优

　　化的硬件，通过集群化运维管理系统，实现计算，存储，网络等资源的动态分配及部署，大大提高资源使用率。

　　云存储将推动安防视频监控系统向着集通信、运算、存储及应用于一身的统一平台发展，而不是整体系统中重复建设的一个IT子系统。

　　关于分布式文件系统

　　分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个

　　典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客

　　户机来说就象使用本地驱动器一样，下面是三个基本的分布式文件系统。