[00651643]基于内容感知的智能大数据存储系统研发

随着视频监控技术从模拟视频监控过渡到数字视频监控及网络视频监控、SDI高清模拟监控，视频文件的存储介质也由原先的磁带录像机(VCR)、数字硬盘录像机(DVR)发展到网络视频录像机(NVR)。数字视频监控的存储主要是通过数字硬盘录像机(DVR)实现，但随着人们对视频质量和保存周期的需求越来越高，DVR也无法满足海量存储的要求。NVR的出现则顺应了时代和视频监控技术的要求，在其存储模式上可以充分利用存储的DAS、NAS和SAN架构实现后端大容量存储，并依靠存储软件实现海量存储的高级功能。举例来说：某城市平安城市计划建设3000个点，录像保存一个月，所有摄像头采用D1分辨率(2Mbps的码流)进行录像，单通道视频录像保存一个月需要大约648GB，则3000个点共需要大约1944TB，再加上部分磁盘冗余及热备，总空间将达到大约2PB之多。由此可见在视频监控对存储容量的需求可谓是成TB级增长。除了对容量有较大的需求外，视频监控对存储的可靠性及稳定性也要求极为苛刻。采用分级跨域存储技术，支持PB级以上的高清视频流存储。为了满足城市级高清监控的海量数据需求：万节点以上规模，100PB级以上存储容量。定义云高清视频监控文件系统(Cloud-HSFS)。采取有别于传统分布式文件系统的设计，支持跨域、自治的分级存储策略。基于无主机模式的分布式哈希树内存数据库集群系统DHT-Redis，可满足城市级交通视频平台的实时事件数据存、取需求。该方法是为了解决大型分布式系统由集中管理导致的扩展性和鲁棒性差的问题，利用改进的结构化对等网组织分布式计算资源，构造一个SRDM(可扩展资源映射模型)，可满足城市级百万以上设备和视频实时监测网络。该技术同时可以解决存储动态扩容的问题。采用分级式模式识别。摄像头采集图像后，基于CodeBook算法进行运动图像的背景建模，用减背景法提取运动目标后，通过boost-SVM集成学习，实现视频中车辆目标的精确分类，为交通数据调查提供车流、车型、车速、密度、跟车比等实时数据采用级联分类器和分布式识别技术，对图像传感和传感融合数据进行现场判别+云计算过滤的阶梯式智能算法。结合浮动车调查法和固定点调查法组合模型的交通量数据采集系统。定义了一组可方便扩展的视频事件检测机制，包括常用的单绊线入侵检测、进入/退出区域检测、围栏入侵、徘徊检测、场景变化事件侦测、遗留物检测以及各类交通事件检测。根据系统配置策略，选择将事件视频集中存储于服务中或者分布式存储于节点上。视频的事件标注为系统快速索引监控录像历史数据提供了便捷有效手段。对于复杂的事件判定，在前端设备标注事件的基础上，可进行服务器端的二次过滤提高准确性。或者与后台的云数据库对接，实现人脸匹配、复杂行为识别等功能。视频浓缩技术。为了解决海量的视频数据存储，课题组提出了视频浓缩技术。通过视频浓缩技术，可以将高清的SDI视频进行高比压缩，并基于交通事件自动标注的视频流式存储机制，写入视频流的同时自动获取交通事件，形成视频语义标注信息，将非结构化的视频监控数据提炼为可检索、可分析、可以应用的结构化数据仓库。