由于IT信息技术的飞速发展，人们可以随时随地记录生成的各种数据，与此同时，数据存储成本正以前所未有的速度下降，大数据时代悄然来临。根据IDC的预测，世界在2010年正式进入ZB时代，全球数据量大约每两年翻一番，这意味着过去两年中人类产生的数据量等于全部数据量之前产生的。
数据的爆炸性增长正将人类推入大数据时代。大数据正在迅速增长，并且很难使用现有的数据库管理工具来管理所有数据收集。
这些数据包括：社交媒体，移动设备，科学计算以及部署在城市中的各种传感器，其中视频是数据量的最大部分。在大型网络和高清视频监控的推动下，视频监控业务不可避免地进入了数据洪泛时代。
如图1所示。图1全局数据规模预测。
视频监视数据具有两个含义-大量和非结构化。视频监控数据量巨大，随着高清和超高清趋势的加剧，视频监控数据的规模将呈指数级增长。
与通常的结构化数据不同，视频监控业务生成的数据非常庞大，其中大多数都是基于非结构化数据，这给传统的数据管理和使用机制带来了巨大挑战。数据“泛滥” to视频监控数据的快速增长使传统的视频监控系统架构，数据管理方法，数据分析应用等面临新的困难。
如图2所示。图2视频监控大数据时代面临的难题难题1，数据量的快速增长与IT投资之间的矛盾。
根据IT行业法则：在满足客户需求的前提下，技术成本通常越低，其生命力就越强。由于数据量的快速增长以及随之而来的对大规模计算的需求的增长，盲目使用高端硬件使得硬件投资成为客户难以承受的负担，并且客户越来越希望在满足他们需求的前提下满足他们的需求。
需求。使用低端硬件代替高端硬件。
难题二，海量数据与有效数据之间的矛盾。相机7＆amp; TImes;全天24小时工作，并记录镜头覆盖范围内发生的所有事情。
仅记录信息是不够的，因为大多数信息对于客户而言可能是无效的，并且有效信息可能仅在短时间内分配。根据数学统计，信息具有幂律分布，也称为信息密度。
信息密度越高，对客户的价值越大。难题三，资源利用与效率之间的矛盾，串行计算与并行计算之间的矛盾。
视频监控业务联网后，网络中的设备越来越多。空闲计算资源的使用以最大化资源的使用与计算效率有关。
在视频监控领域，视频分析的效率通常决定着价值。较低的延迟和更准确的分析通常是“安全城市”等客户的普遍需求。
随着数据量的增加，即使对于数据分析和以太字节数据为单位的视频内容的检索，串行计算模式也可能需要数小时的计算，远远不能满足及时性的需求。视频分析和检索不能依靠传统方法。
优化了海量数据的效率，并行计算是智能视频分析的唯一出路。由于大数据带来了许多实际问题，为了解决这些问题，需要进行新的技术变革，并且需要新一代的数据库技术，业界称之为大数据技术。
IDC对大数据技术的定义如下：大数据技术的设计目的是通过快速（快速）收集，发现和分析从大规模（数量），多类别（多样性）中经济地使用，从中获取价值。数据）将是IT领域中新一代的技术和架构变化。
oop技术就是在这种背景下诞生的。经过几年的积累，Hadoop已发展成为一个强大的生态系统。
它不仅衍生了HDFS，HBase，Hive和其他子项目，而且已成为
