云存储PPT培训版_IT/计算机_专业资料。安防监控迈入云存储时代 安防监控迈入云存储时代 安防监控迈入云存储时代 背景篇 行到水穷处,坐看云起时 安防监控迈入云存储时代 大数据时代下的云存储 这是一个大数据的时代 大数据时代

安防监控迈入云存储时代 安防监控迈入云存储时代 安防监控迈入云存储时代 背景篇 行到水穷处,坐看云起时 安防监控迈入云存储时代 大数据时代下的云存储 这是一个大数据的时代 大数据时代的4V特征 安防监控迈入云存储时代 Veracity 真实准确 利用数据挖掘和分析得出真实准确的信息 海量数据需要快速的处理和检索 有各类文本、图片、视频等数据, Velocity 实时性 Variety 数据种类繁多 而且非结构化数据越来越多 Volume 海量数据 从TB级别,增长到PB级别 大数据时代,对存储系统提供更高要求 高可用 安防监控迈入云存储时代 高效率 大容量 大数据时代,现有存储系统面临的难题 安防监控迈入云存储时代 以智慧城市的建设为例…… ① 海量数据存储,如何统一管理和统一调度 数以万计的监控点,存储容量已经达到PB级别 安防监控迈入云存储时代 除视频监控数据外,各类应用系统的数据也需进行融合 白色小型车 车牌信息数据库 红色上衣 人员聚集告警 黄色衬衫 图像资源信息库 沪FW6461 北纬31°.3′ 东 经120°.6′ 人员信息数据库 移动警务 闯红灯 逆行 红色小型车 人脸抓拍图片 移动警务 行车轨迹 移动警务 智能分析抽离出的图片、文字、摘要视频等,数据种类多种多样。 ② 大容量并发读写,设备性能成为瓶颈 安防监控迈入云存储时代 在并发读写时,存储设备的性能瓶颈在控制器或CPU处理能力上。为提升并发处理能力,必须不断的 进行硬件升级。 单台最大并发处理能力 300路高清 200路高清 100路高清 存储设备 升级内存 存储设备 升级CPU 存储设备 ③ 设备故障须及时修复,维护成本激增 某块硬盘发生故障时,例如 RAID 5,只允许设备 中有一块硬盘失效。而 RAID 恢复时间往往需要十 几个小时,期间再坏盘,就无法恢复了。因此,需 要立即更换或修复故障硬盘。 安防监控迈入云存储时代 某台设备发生故障时,虽可以用负载均衡技术分担 给其它设备,但需要立即更换或修复故障设备,否 则存储于其中的数据无法读取。 存储设备 存储设备 故障 1 RAID 热备 硬盘 硬盘 硬盘 硬盘 故障 硬盘 硬盘 存储设备2 硬盘 硬盘 硬盘 硬盘 硬盘 硬盘 硬盘 硬盘 存储设备3 容量达到“PB”级别,维护就成为最大的难题 ④ 不同的应用系统间数据难以融合 安防监控迈入云存储时代 各个应用系统,都建设独立的一套存储调度系统,可移植性和重复利用率较差。而且,不同的应用系统 需要各种类型的存储系统,NAS、IPSAN或集群NAS,难以融合。 卡口平台 图像资源数据库 监控平台 NAS存储设备 NAS集群存储设备 IP SAN存储设备 NAS存储设备 NAS集群存储设备 IP SAN存储设备 NAS存储设备 NAS集群存储设备 IP SAN存储设备 如何解决些难题? ① 海量数据存储,如何统一管理和统一调度 ② 大容量并发读写,设备性能成为瓶颈 ③ 设备故障须及时修复,维护成本激增 ④ 不同的应用系统间数据难以融合 安防监控迈入云存储时代 云存储应运而生…… 安防监控迈入云存储时代 概念篇 只在此山中,云深不知处 什么叫做”云”? 使用者按需获取资源,无需关心资源在何处,如何构建。 —— 就像从“云端”获取资源 安防监控迈入云存储时代 Cloud 云 什么叫做”云”? 像是拧开水龙头取水,打开开关获取电一样便捷,用户也可以方便的使用“云”资源。 安防监控迈入云存储时代 什么是云存储? 用户按需使用存储资源,无需关心存储设备在何处,如何构建。在视频监控领域,云存储作为基础资 源,其“用户”为各类业务系统。 安防监控迈入云存储时代 统一数据平台 图像资源数据库 卡口平台 智能应用系统 视频监控平台 海量存储 弹性伸缩 云存储 Cloud Storage 高性能 高可靠性 统一访问空间 高可用性 难题的解决之道 ① 海量数据存储,如何统一管理和统一调度 安防监控迈入云存储时代 ① 提供分布式文件系统,数据调度与存储分离 ② 大容量并发读写,设备性能成为瓶颈 ② 将单打独斗升级为团队作战 ③ 设备故障须及时修复,维护成本激增 ③ 由及时维护转变为定期维护 ④ 不同的应用系统间数据难以融合 ④ 将各种数据融合,提供统一接口 安防监控迈入云存储时代 架构篇 有形不累物,无迹却随风 云存储的系统架构 云存储的系统架构,分为“控制节点”和“存储节点”两个部分。 控制节点 安防监控迈入云存储时代 控制节点 控制节点 存储节点 存储节点 控制节点采用集群架构,存储元 数据,对存储节点进行调度 存储节点对数据进行分布式存储, 可进行复制或者RAID备份 存储节点 存储节点 注:元数据(metadata),包括文件目录组织、属性维护、访问控制 信息、甜蜜之家视频文件操作日志记录、文件到块的映射信息、块当前所在的位置等。 云存储的工作流程 存储节点的数据进行复制或RAID备份 控制节点间进行元数据同步备份 控制节点与存储节点间同步调度与存储信息 数据经由网络,到达存储节点进行分布式存储 业务系统向控制节点申请存储资源,控制节点回复调度信息 安防监控迈入云存储时代 控制节点 控制节点 控制节点 同步 调度 申请 业务系统 1 2 3 4 调度 存储节点 存储节点 数据 网 络 1 3 备份 存储节点 存储节点 4 2 云 存 储 系 统 海量存储,弹性伸缩 安防监控迈入云存储时代 相比传统的存储设备,云存储可支持的存储节点数以千计,支持的容量达百PB级别,并可弹性伸缩,无缝扩展。 控制节点 控制节点 控制节点 存储节点 1 6 4 存储节点 5 8 存储节点 7 2 存储节点 9 6 存储节点 4 3 3 5 1 7 6 2 8 9 增加存储节点 ,数据自动重组 减少存储节点 ,数据自动恢复 高并发读写性能,摆脱单台设备能力束缚 大数据时代下的云存储 传统的存储设备并发读写性能,受到NAS机头、CPU或控制器的能力限制,而云存储系统采用控制与数据分离 的架构,脱离了单台设备的能力束缚,整个系统的性能主要受到网络吞吐能力的限制。 控制节点 控制节点 数据流不经过控制节点 存储节点 存储节点 存储节点 千兆交换网络 万兆交换网络 控制节点 存储节点 存储节点 高并发读写性能,摆脱单台设备能力束缚 安防监控迈入云存储时代 传统的存储设备并发读写性能,受到NAS机头、CPU或控制器的能力限制,而云存储系统采用控制与数据分离 的架构,脱离了单台设备的能力束缚,整个系统的性能主要受到网络吞吐能力的限制。 300路高清 存储设备 30000路高清 云存储 已经撑不住了 毫无压力 高可靠,系统业务不中断 安防监控迈入云存储时代 云存储系统的控制节点采用集群架构,单点发生故障时,可无缝切换,系统业务不会中断。 工作节点 备份节点 控制节点 控制节点 备份节点 控制节点 统一访问入口,多用户并行访问 安防监控迈入云存储时代 云存储可为多个业务系统同时提供服务,内部架构对其透明,提供统一的访问入口,利于数据共享与融合。 业务系统1 业务系统2 业务系统3 业务系统4 控制节点 控制节点 控制节点 存储节点 存储节点 存储节点 存储节点 存储节点 云存储的特点---高可用,由及时维护变为定期维护 丢失,闪送电脑版下载系统运行不受影响。 安防监控迈入云存储时代 云存储系统摆脱单台束缚,采用数据冗余存储机制,硬盘或存储节点损坏时,其余节点可自动重组,数据不 云存储的特点---高可用,由及时维护变为定期维护 维护人员仅需定期检查受损硬盘或节点,更换或修复即可。 安防监控迈入云存储时代 一个月后… 安防监控迈入云存储时代 应用篇 多谢好风吹起后,化为甘雨济田苗 科达云存储系统--- KCloudStor 安防监控迈入云存储时代 ? 19英寸4U 机架式 ? 支持16 盘位,支持热插拔,支持不同容量磁盘混插 ? 单台设备既可作为控制节点,也可作为存储节点 ? 控制节点支持三台以上集群部署,业务不受中断 ? 存储节点支持双份、多份复制或RAID的方式,确保数据完整 ? 支持数百PB级存储容量 科达云存储系统--- KCloudStor1000 ?KCloudStor1000-48T 2折售价 ¥80000 3T企业硬盘 ?KCloudStor1000-S48T 3T监控硬盘 2折售价 ¥75000 部署模式与关键特性 控制节点与存储节点合一,工程部署时自由选择三台设备作为控制节点,在做为控制节点的 同时,它也可以作为存储节点使用。 KCloudStor1000内置: ?控制模块 控制节点 手动启用 手动启用 ?存储模块 KCloudStor在视频监控系统中的应用 安防监控迈入云存储时代 智慧城市对云存储的要求 海量存储,弹性伸缩 视频监控主平台 智慧城市的监控点规模从几千个到几十万个不等, 一般存储30天,存储容量可达数百PB。 高并发写性能 LAN 智慧城市中所有的摄像机以平均码率2Mbps4Mbps并发存储,并发写数据量巨大。 高可用,高可靠 智慧城市对可靠性要求高:7×24小时不间断存储, 系统业务不中断,数据损坏可恢复。 云存储 视频监控从平台 KCloudStor在卡口和电警解决方案中的应用 安防监控迈入云存储时代 卡口&电警解决方案对云存储的要求 海量小文件存储 视频监控平台 卡口平台 每台卡口式电警一年的抓拍量约在300w张左右,对于存 储系统来说,需要管理大量的小文件。KCloudStor可以 管理的文件数量达百亿级别,完全符合需求 图片与视频数据共享 LAN 卡口平台存储图片与车牌信息,视频监控平台存储视频 码流,图片和视频可存储在同一系统中,便于相互调度。 快速检索与读取 违章记录通过网站发布,应用系统从云存储系统中直接 读取违章图片,供市民查询,要求云存储系统有快速检 索与读取性能,满足并发读取的需求。 云存储 违章查询系统 KCloudStor在视频图像信息数据库中的应用 图像侦查系统 实战应用系统 卡口平台 安防监控迈入云存储时代 视频图像信息数据库对云存储的要求 视频监控平台 移动警务 统一访问空间 信息数据库库中的数据可由不同的业务系统并发写入和 读取,云存储系统可提供统一访问空间,无需在各类业 务系统间进行调度,极利于数据的融合与共享。 海量存储,高可用 LAN 信息数据库中的数据需要永久保存,数据量可达数百PB 级别。为保证数据不丢失,通常采用复制方式进行备份。 云存储 图像资源库 安防监控迈入云存储时代 竞争篇 曾经沧海难为水,除却巫山不是云 存储系统的发展历程 首先,我们来回顾一下存储系统的发展历程 安防监控迈入云存储时代 DAS 优点:部署简单 缺点:不易于扩展, 已被淘汰 SAN NAS 业务系统 操作系统 业务系统 操作系统 优点:基于块存储, 性能高,速度快 缺点:不易于用户 访问和数据共享 FC或IP 业务系统 IP 优点:基于文件存储, 可多用户访问和共享 缺点:性能较低,不 利于扩展 SCSI、FC、SAS 操作系统 磁盘柜 磁盘柜 磁盘柜 磁盘柜 “集群NAS”的诞生 “集群NAS”。 安防监控迈入云存储时代 为了同时满足快速存储与数据共享的需求,业内很多厂家集合了“SAN”“NAS”和“集群”概念的,推出了 集群NAS 管理节点 交换节点 …… 交换节点 “NAS”机头,可以集群,2-32台服务器不等。 LAN 存储节点 存储节点 存储节点 存储节点 利用“SAN”技术,采用数据“块”存储方式 “集群NAS”的局限性 近年来,业内厂家利用“集群NAS”技术来打造“云存储”产品,但它真正是“云”么? 安防监控迈入云存储时代 业务系统 业务系统 业务系统 1 2 3 4 性能易出现瓶颈 控制与存储数据均需要通过交换节点,交换节点可以集 群部署,2-32个节点不等,但无法无限扩展。 集群NAS 管理节点 交换节点 …… 交换节点 数据可靠性差 数据存储节点一般为数据“块”存储,利用RAID进行冗 余存储。RAID重构时间在十几小时左右。期间若再有一 块硬盘损坏,就无法恢复了。 LAN 存储节点 存储节点 存储节点 存储节点 对设备依赖性强 数据均需通过交换节点,对交换节点性能要求极高; 存储节点采用RAID机制,对硬盘性能要求较高 友商分析之海康 海康威视云存储系统是海康威视监控云平台和云存储系统的结合,其系统设计之初就融合了海康威视 视频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式 文件系统(HDFS),对于构建针对视频流应用的监控云存储系统具有天然的应用优势。 具体的应用场景为: l视频监控:平安城市项目或大中型企业厂区视频监控; l网络电视节目:海量扩展,用于存放网络IPTV内容的数据; l高性能分析:公安视频业务应用数据,要求大量可访问的命名空间作分析和非常高的性能计算; 友商分析之海康 海康威视云存储系统是海康威视监控云平台和云存储系统的结合,其系统设计之初就融合了海康威视视 频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式 文件系统(HDFS),对于构建针对视频流应用的监控云存储系统具有天然的应用优势。 ?基于流媒体的文件管理结构和Hadoop分布式文件系统 IPSAN CVR (网络直存) 云存储 ?自主第二代流媒体直写技术 友商分析之海康 ? 产品形态管理与存储分离 ?管理节点(元数据节点)采用相互热备、负载 云存储管理 服务器 LAN 前端设备 均衡机制,同时工作。 ? 强调自己是在开发一套符合视频监控特点(与 时间强关联)的流式云存储文件系统。 ?云存储与云计算的基本数据单元应在格式、大 小和标准上保持一致,减少云计算的系统消耗。 ?融合快速索引引擎,可实现图片和视频I帧快速 检索 ?应用开发接口,例如录像标签、I帧回放和图片 存储设备集群 存储设备集群 缩放 海康的“云”产品 海康习惯于在架构和接口制定完善的基础上,搭积木一样,组合成符合市场需求的可独立使用的产品或整个 系统解决方案。 海康的“云”,目前的产品为“云存储”与“视图库”,前者是分布式存储,后者是分布式检索。而上层监 控平台和业务系统架构维持不变,可兼容各类“云”和“非云”的技术和产品。 监控平台 业务系统 视图库 分布式 数据库 普通存储 云存储 海康非常注重于实用功能。 友商分析之海康 具体的应用场景为: l视频监控:平安城市项目或大中型企业厂区视频监控; l网络电视节目:海量扩展,用于存放网络IPTV内容的数据; l高性能分析:公安视频业务应用数据,要求大量可访问的命名空间作分析和非常高的性能计算; 宣传点为: 云存储产品作为独立的产品进行推进, 强调符合安防监控需求的,流式云存储文件系统, 竞争分析是与集群NAS作对比,强调其更适合安防监控需求。 友商分析之宇视 十分怀疑宇视是否有自己的独立的云存储产品,柔然的作品在任何可见的资料中,宇视均强调其“云”监控概念, 弱化“云”存储概念。 近期推出的DM8500-E云存储管理服务器与原有的数据管理服务器无论是硬件规格还是产品型号均 是相同的。这款DM8500-E和原来的数据管理服务器相比,新增的特性有: 1、由双机热备升级为多级备份 2、具有全局统一命名空间 3、超级多媒体块的多备份 与原来的数据管理服务器相比,相同的特性有: 1、支持128个数据节点 2、业务功能集成,支持录放像相关的一系列功能的分配和管理功能,RTSP/ONVIF 3、存储接入要求iSCSI或NAS,需要存储设备端支持RAID5 两种可能: ?集群NAS(数据经过DM8500-E) ?基于原有的数据管理服务器做了统一命名空间 的封装(数据不经过Dm8500-E) 宇视的“云”产品 宇视近年来的口号就为“云监控,易安防”,是业内最早提出云概念的厂家。宇视与海康的设计思路相 反,强调的是“大数据” ,注重于“云监控”系统的整体交付。 宇视原来的系统架构忽悠的成分占多,今年展会上推出的第一个具有“云”特性的产品是其“云计算” 产品。宇视的云计算产品硬件产品是2U的机箱设备,分为元服务器和计算节点进行集群。下图是宇视资 料上发布的数据,大体上看就是UniHadoo Hadoop SQL(PS:感觉像卡口平台) 宇视的“云”产品 云计算产品 友商分析之宇视 具体的应用场景为: 专门针对平安城市等对“大数据”“云”等关键词较敏感的应用场景,交付整体“云监控”解决 方案。 宇视应该还没有其“云存储”产品,基于分布式检索的“云计算”产品,也应该还在酝酿之中。 宣传点为: 云存储产品不作为独立的产品单独宣传 强调“云监控”整体交付 友商对于“云”的理解 分布式计算 海康 宇视 烽火 √ 分布式存储 √ √ 分布式数据库 √ √ 虚拟化平台 平台化程度 以存储和检索为核心提供平台 化方案 以云计算为核心提供平台化方 案 √ 以虚拟化为核心提供平台化方 案 博康 大华 √ √ 不开放云计算平台,主要开发 应用 独立的云存储产品 安防监控迈入云存储时代 安防大数据时代 科达云存储 邀您一起,云中漫步