EMC新华人寿保险的存储解决方案 - 金融行业 - ITPUB论坛－专业的IT技术社区

wangjia

对于保险行业来说，业务数据固然是企业业务运行的血脉，是企业至关重要的资产。但近年来，保险公司的数据正在急剧增加，据统计，在过去的五年里，数据正在以每年200%的速度增长，其
规模已经从GB级向TB级膨胀，急剧增加的数据成了越来越麻烦的事情。这是因为大多数数据是一些一旦存储起来就永远不再或者不能更改的所谓 静态数据 ，比如电子邮件存档、扫描图形文档、财务/合同文件、数码图像、在线音像出版物等等。为了满足不断增长的数据存储需求，企业需要增加存储容量来满足数据增长需求，同时为了满足快速访问的要求，信息主管一般会让所有数据能够在线访问，而不是离线存储。这样造成的结果就是企业在存储设备上的总体拥有成本（TCO）在不断上升。如果按传统的做法将经常不用的数据存放到成本较低的存储介质上，比如磁带库，则又会产生另外一个问题：数据格式在更改后再迁移就比较麻烦，而且在追求快速、透明地访问存储系统上的数据的趋势面前，用备份方式存放到磁带系统上的解决方案是不可能满足要求的。
因此，保险公司需要一个高效、快捷的存储解决方案。通过这个解决方案，保险公司可以动态、透明地访问电子邮件、X光扫描图形文档、财务/合同文件、数码图象、在线音像出版物等等大量静态数据，以充分发挥静态数据的整体效率。
新华人寿保险存储需求分析：
新华人寿保险股份有限公司成立于1996年，经营范围包括各类人寿保险、健康保险和人身意外伤害保险业务。截至2003年上半年，新华人寿保险股份有限公司共有29家分公司和65家中心支公司，营销服务部达到381家，营销业务规模人力85000多人，银行代理网点达到12559个，客户群数量127万人，年度保费突破100亿元，市场份额占4.81%，目前完成了全国性机构战略布局，跨入了全国大中型寿险公司的行列。
新华人寿保险股份有限公司目前保存着几百万用户的原始保险单据，并且每周还要平均新增加4000份新文件，这些单据和文件在保险合同有效期内需要妥善保存，并要随时准备调出查阅，另外这些单据和文件都是以纸面文挡的形式存在，不但在保存和检索方面过于麻烦，而且容易使文件破损。因此，新华人寿保险股份有限公司决定将原始单据扫描后变成数字文件的方式进行保存和检索，纸面单据只用做最终证据。由于新华人寿保险的一个用户会产生大约5~10张不等的原始单，总数据量在5个TB左右。根据新华人寿保险的业务特点，其存储的数据具有以下特点：1）静态：所有文件一旦产生，就不会再做修改，归档方式存储。2）在线：文件随时要保持在线状态，以利于前端业务系统的查询。2）访问量少：在线的数据访问量很小。
根据业务数据特点的分析，新华人寿保险股份有限公司认识到自己是一个典型的HSM方案用户，根据需求，新华人寿保险股份有限公司选用Legato DiskXtender产品来构建这个数据分级存储系统。
Legato的存储：
位于美国加州硅谷的Palo Alto城的存储及备份软件制造商Legato 公司成立于1988年，在被全球信息存储领域领导厂商-EMC收购以后，作为EMC公司的一个软件部门来进行运作，专注于存储软件的开发与研究，力争将最安全可靠的存储产品分享给广大的客户。在数据存储领域，Legato公司提供了一些在业界具有广泛影响的领先技术。1）它的OpenTape Format数据存储格式标准成为国际采用的事实标准，使得不同平台的存储介质可以通用；2）它独一无二的并行流技术使存储设备和服务器能最充分地发挥其最高速度，解决了大数据量集中备份所需要的效率要求，成为业界处理该类技术的标榜；3）它提供的SmartMedia技术成为各存储设备厂商检测其产品自动化程度和可靠性的工具。由于领先的地位、超前的技术、日益增长的需求，Legato公司的产品在市场上扩展很快，众多的系统厂商选择了Legato的存储产品作为其数据存储管理解决方案。目前Legato存储产品的用户遍布工业，金融，通讯，医疗，航空与制造业等行业，拥有AMD，Apple, Intel，HP，BMW, GE, Mobil Oil，Bank of America， Salomon Brothers，AT T，Northern Telecom，Boeing,FAA等知名厂商。自进入中国市场以来，已在银行、证券、保险、税务、电信、航空、石油等领域被广泛采用，其存储产品的优异质量、完善的解决方案获得了众多用户的青睐。正是由于Legato 的存储产品具有极高的性能和广泛的平台支持能力，在中国市场上拥有的主导地位。新华人寿保险股份有限公司才选用Legato DiskXtender产品来构建HSM（分层存储管理）方案。
Legato DiskXtender数据管理系统
Legato DiskXtender提供了数据的智能迁移和保护功能，数据迁移技术将高速、大容量的非在线存储设备作为硬盘的下一级设备，然后将硬盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。数据迁移通过自动迁移文件到存储设备，以确保数据管理的简便、应用的整合以及较高的性能，同时扩展了存储空间，为企业客户提供无限存储空间。它使用单独的介质服务管理存储设备中的介质，也就是独立的存储设备管理软件。因此，所有的存储设备（光盘库、磁带机等）能够被介质服务控制和最优化，这样，DiskXtender就可以集中精力管理文件。
DiskXtender提供了一个全面的文件管理空间，一个单一的管理点，Xtender将所有保存在这个空间中的数据按照一定规则组织起来，在用户访问数据的时候，只需要提供很少的相应数据的线索，Xtender就可以检索到这个确定数据的名称，成倍的提高在整个海量空间中确定文件的读取效率。
DiskXtender不仅可以把在线数据保存为离线数据，还把离线数据模拟成在线数据。也就是说，从用户角度看，数据 一直 在线。另外，那些竞争系统资源的进程，如介质恢复、压缩和将文件迁移到介质的工作可以在方便的时间进行，它也监视系统的警告、错误，并且可以将警告发送给特定的用户或计算机。
使用DiskXtender，可以减少磁盘所保存的数据量，提高备份操作的速度。备份数据量降低后，备份所需的等待时间也相应减少。由于一旦管理策略被指定之后，系统管理员只需很少的时间对系统环境进行管理。数据的自动加载使用户检索也变的很容易。另外，它还可以将数据移动到相对廉价的存储设备，并支持业界的标准硬件设备、介质类型和技术，包括光介质、磁带介质、NAS和SAN，使企业可合理利用现有的IT资源。
其应用领域主要是拥有巨大历史数据量的用户，如医疗、气象、媒体、专利、保险、图书、金融行业等。
新华人寿保险的DiskXtender解决方案
根据未来数据存储系统的管理层级，新华人寿保险将整个DX方案也分为两个功能相对独立的模块：Data Manager和Media Service。Data Manager用来管理用户的一级存储设备（硬盘阵列），以及将所有用户数据级别的划分和数据迁移策略。Media Service用来管理用户网络上所有的存储设备，包括磁带，光盘等等。其主要功能是在这些外部存储设备上创建文件系统，使用户可以透明的访问到这些空间。
用户原来保存在纸张上的文件，经用户的转换系统（如：模拟-数字采样系统，扫描设备等），变成数字文件，先保存在Data Manager的硬盘阵列上。然后由系统管理员根据自己系统的需求，制定合适的数据迁移规则，当这些规则发生作用的时候，保存在Data Manager上的数据将被迁移到连接在Media Service上相应的存储设备上。但在数据被迁移到了这些外部存储设备上之后，Data Manager仍然在本地的硬盘阵列中的MTF记录-这些信息目前-所在的位置，使得需要访问这些数据的客户端，仍可以直接对这些数据进行透明的访问，从而满足了用户的第一个要求。
由于新华人寿保险将整个DX系统采用了将一级存储设备（硬盘）和二级存储设备（DVD-RAM光盘）结合使用的方式。使那些二级存储设备将原有的方便扩容的性能带进了这个存储空间，对磁带这类设备的扩容只需要简单的添加设备就可以实现，大大降低了硬盘扩容的周期，满足了新华人寿保险对这个系统的容量扩容要求。
采用DiskXtender后，新华人寿保险的系统管理员必须针对自己具体的环境需求，为用户设定系统数据的一系列规则。
1）数据的迁移存储规则。在系统真正实施以前，新华人寿保险已经知道有两种数据在未来的环境中访问的频率比较高。第一种：较近期的文挡资料，对前端业务而言，目前还有许多后期事物需要处理的业务以及目前出现-业务量（如已经启动了理赔程序）旧的保险单据文件和材料。这些数据在一定情况下（如理赔业务结束后）就将被迁移到二级存储中去。第二种：由于用户将同时利用这个系统将保存一些对前端业务经常调阅的如公司近期相应的政策这类文件等。这些文件将较长期保存在磁盘中，而且当他们失效的时候，也没有必要迁移到后端保存，而是将其删除，因此，将这类数据保存在RAID上面，其他的数据将被迁移到-光盘库中去。
2）系统的保护规则。系统管理员必须利用DiskXtender所提供的设置恢复工具，定期创建系统的配置修复盘（REPAIR DISK），以备系统发生意外后的系统的恢复。
3）硬件的选用：根据用户的要求，该DX系统将JVC MC 8600 DVD-RAM光盘库各一个作为二级存储设备。其中，录入产生的数据文挡。二级光盘库将用来接纳数字化用户票据表单数据文件。
系统的方案拓扑图如下：

结束：
Legato DsikXtender通过将主存储和二级存储虚拟为一个无限磁盘，为新华人寿保险的商业数据提供了全面的存储管理方案。DiskXtender通过合理利用现有存储设备及降低系统复杂程度，从而减少了新华人寿保险的数据存储成本。
在这个硬盘价格急剧下降的时代，有必要搞那么复杂吗？个人觉得用两组高端存储＋1组LTO3磁带库是最简单、好管理的方案。他既解决了速度的问题，也解决了高可用及备份的问题。当然，等有了资金，还是应该搞一个异地数据和应用容灾。
以前用过一些光盘库，出错率挺高的，而且不同容量的兼容性也存在问题，我想应该再过10年等他们稳定了再说采用的事。
我看新华的方案挺复杂的，不明白为何这是一个简化管理的方案。复杂的方案出错的概率也是大增的。
个人意见，供参考，不表明别人的方案不好！