请教：关于历史数据归档及查询问题 - 金融行业 - ITPUB论坛－专业的IT技术社区

wangjia

以保险业为例，随着业务发展和时间累积，生产系统中的数据增长很快，有些数据，比如照会记录、收费记录或者一些过度性的旧记录数据量非常大，这些在线的数据对生产系统的性能影响很大，但查询概率却很小。应该如何将这类数据进行归档存放呢，同时不影响业务系统本身的功能，而又有相应途径在需要的时候能查询到这些历史数据，并且能与在线数据一起做统计。
1.多级存储，数据按照访问频率存贮在不同级别的介质中。
2.放入数据仓库中，历史数据通过数据仓库进行查询，降低生产系统的负荷。
主要看你的需求而定，仅仅是简单数据查询，建议使用行者无疆所说第一种方法，毕竟构造数据仓库是需要一定的投入的。如果希望达到数据分析，统计等目标或为以后需求考虑，则需要构建数据仓库。
对于业务流水可以按保存期限转存到另外的系统或数据库，或表中，然后提供业务部门需要的查询功能；对于帐户交易明细则需要永远保存，只不过可以根据帐户性质和访问特点把这些明细归类并存放（需要业务部门设计strategy policy）,并尽量使其在原有的系统中可以在线访问；只要是业务数据就不能降级存储到低安全性的介质中，除非你有很好的备份/恢复方案。总帐历史明细等垃圾数据可以随时删除。另外，数据仓库可不是垃圾场啊！！！
同意Viewsys说法，我认为在主机可以拆离规定时间段的历史明细，但需提供一个平台给业务部门查询客户的明细信息。但不知有何办法可以保存这些大量的数据，而保证业务较快速查询？
原来在某个系统设计时对于与交易无关的数据为了提高性能都分为历史表和当前表，并且历史表中也只保留两年的数据。
对于数据仓库中保留的数据，短期需要完成其实是不太现实的。一是构建dw成本太高，二是如果需要满足olap需求，需要从dw中进行转换到dm中，一般不能直接从dw中查询的。