论虚拟存储技术及其在视频网络中的应用
中国西部地区电视技术协会2003年年会电视技术论文评比二等奖一、存储需求催生虚拟存储
随着围绕数字化、网络化开展的各种多媒体处理业务的不断增加，电视台的媒体数据正日益膨胀。数据存储变成了新的难题，存储系统网络平台已经成为各种网络系统中的一个核心平台。视频网络中的各种应用对存储网络平台的要求也越来越高，它不仅表现在对存储容量的要求，还包括对数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面的要求。具体表现有一下几点：
1、支持从异构主机到异构存储系统的透明访问。即服务器可以运行异构操作系统,例如Windows、Unix或Linux等等。存储设备可以来自不同的供应商，无论是EMC、康柏、HP、还是StorageTek的存储设备，都可以顺利地接入系统。
2、支持24×7小时的数据可用性。我们知道，电视台网络系统的时效性是很强的，这样就要求网络系统必须具有极高的可靠性。首先要求系统有较高的容错性，例如控制器要有高可容错性，存储子系统要求具备容错冗余；其次故障恢复时间要求很短，或尽可能做到进行系统维护、设备更换时，不中止应用程序的使用。
3、高性能的数据访问。非线性制作网络中的编辑工作站任何时候都需要无阻碍的实时、快速的获得所需要的各种数据。
4、数据安全性。只允许有访问权的用户进行相应数据的访问，同时能够提供灵活的备份方案和措施，支持数据保护和恢复；
5、平滑的存储容量扩展。视频网络的建立是受建网时所处的技术、具体工作需要所限制的。任何单位都要或多或少地面对网络升级的问题，我们希望存储网络上添加存储设备的过程是透明，而且任何工作站都不需停机。
6、简化管理、降低管理成本。客户是产品的使用者，所以越来越多的系统操作环境，使用不同厂商的硬件和软件产品，且彼此不能兼容，管理起来的确不是一件轻松的事情。操作友好、管理简单是未来产品的发展目标。
这些对存储网络平台的要求归结起来就是：如何以有限的人力、物力资源，经济有效地管理不断增长的数据，简化管理异构操作环境的复杂性。虚拟存储技术以其独特的优势成为广播电视行业应对上述挑战的最佳解决方案。
二、虚拟存储的概念及特点
一段时间以来，不同版本的虚拟存储（Storage Virtulization）概念相继涌现，有从软件角度诠释的，也有从硬件角度进行例证的。每个厂商都有根据对虚拟技术的理解向用户提供的实用产品。在虚拟存储方面真可谓百家争鸣，所以很难对虚拟存储的概念给出一个清晰而准确的描述。
尽管如此，总结一些虚拟存储的共同特性可以看出，所谓虚拟存储，就是把多个存储介质模块（如磁盘、磁盘阵列）通过一定的手段集中管理起来，所有的存储模块在一?quot;存储池"（Storage Pool）中得到统一管理。在虚拟存储环境下，无论后台物理存储是什么设备，服务器及工作站看到的都是其熟悉的存储设备的逻辑镜像。即使物理存储发生了变化，这种逻辑镜像也不会改变，系统管理员不必关心后台存储，只需专注于管理存储空间，所有的存储管理操作，例如系统升级、建立和分配虚拟磁盘、改变RAID级别、扩充存储空间等都比以前容易的多，存储管理变得轻松简单。
从用户的角度来看，可以用一句更简单的话来概括虚拟存储--使用存储空间而不是使用物理存储硬件（磁盘、磁带），管理存储空间而不是管理物理存储硬件。
虚拟存储具有以下几个特点：
1、虚拟存储可以大大提高存储系统的整体访问带宽，这也是其对于视频网络系统来说最有价值的一个特点。我们知道，视频网络的存储系统一般是由多个存储模块组成，而虚拟存储系统可以很好地进行负载平衡，把每一次数据访问所需要的带宽合理地分配到各个存储模块上，这样系统的整体访问带宽就增大了。例如，一个存储系统中有4个存储模块，每一个存储模块的访问带宽为50MB/s，则这个存储系统的总访问带宽就可以接近各存储模块带宽之和，即200MB/s。
2、虚拟存储提供了一个大容量存储系统的集中管理手段，由网络中的一个环节 (如服务器)进行统一管理，避免了由于存储设备扩充而带来的管理方面的麻烦。例如，使用一般的存储系统，当在增加新的存储设备时，整个系统(包括网络中的诸多用户设备)都需要重新进行繁琐的配置工作，这样才可以使这个"新成员"加入到存储系统中。而使用虚拟存储技术，在增加新的存储设备时，只需要网络管理员对存储系统进行较为简单的系统配置更改，客户端无需任何操作、只是感到存储系统的容量增大了。
3、虚拟存储技术为存储资源管理提供了更好的灵活性。它可以将不同类型的存储设备集中管理使用，保障了用户以往购买存储设备的投资。
三、虚拟存储的实现方式
随着越来越多的厂商都在发展各自的技术，虚拟存储技术已经融合到存储系统结构的各个环节中。从系统的观点看，有三种主要的虚拟存储实现方式：基于服务器的虚拟存储、基于存储设备的虚拟存储以及基于存储网络的虚拟存储。如图1所示。
下面对这三种虚拟存储的实现方式分别进行介绍。
1、基于服务器的虚拟存储
基于服务器的虚拟存储是通过将虚拟化层放在服务器上实现的。这种实现方式不需要额外的特殊硬件，虚拟化层以软件模块的形式嵌入到服务器的操作系统中，将虚拟层作为扩展驱动模块，为连接服务器的各种存储设备提供必须的控制功能。
这种方法有其自身不可避免的缺点：首先，兼容性不好，由于虚拟化层驻留在服务器上，因而软件模块就必须能嵌入到各种类型的操作系统中，增加了软件实现的难度。因此，这种方法往往适合配置在系统采用同一个厂商的服务器，甚至是一个同构的存储环境中。这显然增加了用户的设备依赖性和局限性；其次，需要采用集中管理策略，这种虚拟化的技术实际上是在一个分布式的环境中实现的，当任何一个服务器对数据进行恶意或非法的操作时，就可能会影响到所有连接到存储设备的数据的完整性和一致性，因此需要适当的集中管理策略； 最后，这种实现方法从客观上造成了主机的负载和复杂度的增加。
但是，因为不需要任何附加硬件，基于服务器的虚拟实现方式最容易实现，其成本最低。目前已经有成熟的这类软件产品。这些软件可以提供便于使用的图形界面，方便地用于存储的管理和虚拟，在主机和小型存储系统中有着良好的负载平衡机制。从这个意义上看，基于服务器的存储虚拟是一种性价比不错的方式。
2、基于存储设备的虚拟存储
基于存储设备的虚拟存储是将虚拟化层放在存储设备的适配器、控制器等上来实现的。这种实现方式从理论上说性能是最优的，它能够充分考虑存储设备的物理特性，并且将服务器从虚拟存储的实现工作中解放出来，直接在存储设备上实现，方法简单，也为用户和系统管理员提供了最大的方便性。但是，基于存储设备的虚拟存储对存储容量的扩展有很大限制，同时，对于包含多家厂商存储设备的存储系统来说，这种方法的运行效果并不是很好。
最典型的虚拟存储璞甘谴排陶罅校≧AID）。RAID的虚拟化是由RAID控制器实现的，它将多个物理磁盘按不同的分块级别组织在一起，通过CPU及阵列管理固件来控制及管理硬盘，解释用户的I/O指令，并将它们发给物理磁盘执行，从而屏蔽了具体的物理磁盘，为用户提供了一个统一的具有容错能力的逻辑虚拟磁盘，这样用户对RAID的存储操作就像对普通磁盘一样。
3、基于网络的虚拟存储
从技术上讲，在网络端实施虚拟存储的结构形式有以下两种：对称式与非对称式，下面就对这两种结构形式分别加以介绍：
（1）对称式虚拟存储
从图2可以看出，对称式虚拟存储就是指进行虚拟存储管理和控制的高速存储控制设备（High Speed Traffic Directors，缩写为HSTD）置于网络系统的传输通道上。HSTD与存储池子系统（Storage Pool）集成在一起，组成存储区域网络应用系统（SAN Appliance）。
在该虚拟存储形式中HSTD在服务器与存储池数据交换的过程中起到了核心作用。其虚拟存储过程可以这样描述：由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元（LUN），并进行端口映射（就是指定某一个LUN能被哪些端口所见），在服务器端，将各个可见的逻辑存储单元映射为操作系统可以识别的盘符。当服务器向存储网络系统中写入数据时，用户只需要将数据写入到指定为自己所用的映射的盘符（LUN），数据经过HSTD的高速并行端口，先写入高速缓存，HSTD中的存储管理系统自动完成目标位置由LUN到物理磁盘的转换，在此过程中用户见到的只是虚拟逻辑单元，而不必关心每个LUN的具体物理组织结构。该存储形式具有以下主要优点：
·采用大容量高速缓存，显著提高数据传输速度。缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当服务器从存储设备中读取数据时，会把与当前数据存储位置相连的数据读到缓存中，并把频繁调用的数据保留在缓存中；当服务器读数据时，在很大几率上能够从缓存中找到所需要的数据。这样就可以直接从缓存上读出，我们知道从缓存上读取数据的速度要远大于从硬盘中读取数据的速度；当服务器向存储设备写入数据时，先把数据写入到缓存
