银行IT系统运维风险控制有哪些手段？ - 第2页 - 金融行业 - ITPUB论坛－专业的IT技术社区

wangjia

现在在某投行做运维，每次出现downtime的时候，后面立即就冒出一堆从来也见不到的领导，汗。。。 一直潜水，这次冒出来分享一下工作中的体会吧，欢迎讨论
首先想说的第一点可能跟运维没有直接的关系，却是运维和information system中最基础的，那就是建立良好的帐号和帐号权限的管理（system database application）。例如数据库中IT support应当使用只读帐号，对业务数据进行修改的时候才能使用有权限的账户。 这样就减少误操作的可能性。同时对所以的帐号和操作进行审计，出现问题后可以方便的找到root cause和解决的方法。法兴银行那个亏了49亿欧元的trader就是通过使用跳槽同事的帐号在系统中掩盖他的亏损。
我负责的系统60%左右的事故跟研发的变更有关。大家都是凡人，写个bug也是难免的。而且有些研发对Production的情况并不了解，在构架和开发中经常会忽略性能，兼容，灾备等方面，导致产品最终上线后问题不断，运维天天加班收拾残局。所以运维在提高质量中也可以起到很大的作用。在大项目中，运维需要从整个项目的立项开始就要参与讨论，提出可能存在的问题。这样既可以减少上线后的风险，有对新的项目进行了培训，方便以后的维护。最重要的是运维要对项目是否上线有否决权，运维的最根本的职责就是保证production的平稳运行（每次说NOGO的都知道下场很惨，可还是得硬着头皮上）。
除去30%的硬件网络等第三方问题，每年总还是有不到 5%的事故跟人为操作失误有关，出的问题也是千奇百怪。但是总结起来还是有几个方法可以减少出错：
建立良好的文档（最简单也是最难的）
除了个别紧急情况，对production的普通变更都要提前至少5天进行计划和审核。5天时间可以给对变更的准备跟其他部门沟通流出时间。
使用相应的工具和平台，既可以提高效率也可以减少人为失误（当然也不断的更新工具）。
周末或放假前尽量少动production，用这些时间来进行改进系统。
还有一点就是把将出现的错误纳入ITIL的问题管理，针对每一个问题作出相应的改进。
运维人员的素质目前普遍不如开发，有了经验之后，再辅之以流程，制度，管理平台，激励机制，效果会好很多。当然开发、测试的质量的提高，尤其是针对可维护性方面的设计也可以极大的提高运维的效率。
peng0 发表于 2012-7-25 02:27

现在在某投行做运维，每次出现downtime的时候，后面立即就冒出一堆从来也见不到的领导，汗。。。 一直潜水 ...
现在大部分银行都有带班领导的制度，出现这种现象不奇怪。
问题减少，靠的是流程合理，规格控制到位来实现的，不能靠个人优秀素质
jiasui 发表于 2012-7-19 06:37

运维更多还是要追求系统的稳定和安全。如果运维的负责人不能搞清楚每一个潜在的风险点，那么只能通过复杂的 ...
现在还有运维外包的趋势，运维的评价会进一步下降的
在权限控制上，可考虑想核弹管理那样，一个人拿钥匙，一个人掌握密码，只有两个配齐了才能操作，比如运维人员直接操作数据库，DB上有专门的维护账号，密码由领导掌握。一般情况下他没有DB操作权限，需要时领导提供，完后立刻更换密码（运维账号不是管理员账号，只配置基本可用的权限）。
如果要自动化一些，甚至可以边个DB管理小程序，自动生成密码，自动让密码过期。
家住海淀 发表于 2012-7-19 09:21

我们现在有一些管理制度和规章，但是变得越来越复杂，管理成本和投入越来越多，效率却没有提升
同感。不但效率没有提升，效果也未必见得就比原来好多少。
peng0 发表于 2012-7-25 05:27

现在在某投行做运维，每次出现downtime的时候，后面立即就冒出一堆从来也见不到的领导，汗。。。 一直潜水 ...
ITIL 就算了，就是扯淡。 以前没ITIL，大家问题管理不也是做的好好的，运维质量我看不比现在差。
loll_gg 发表于 2012-7-25 08:49

运维人员的素质目前普遍不如开发，有了经验之后，再辅之以流程，制度，管理平台，激励机制，效果会好很多。 ...
这话说的，打倒一大片啊。
说说，素质都高在哪里了
workaholic 发表于 2012-7-25 15:53

ITIL 就算了，就是扯淡。 以前没ITIL，大家问题管理不也是做的好好的，运维质量我看不比现在差。
ITIL本身并没有问题，ITIL只是个框架，一个从很多实践中总结出来的好的经验。
一般问题都出现在实施中，并不是所有的地方都适合。 当IT部门规模变得越来越庞大，bussiness对IT部门的要求越来越高的时候，就需要有一定的统一的流程制度来管理。当然ITIL也不能解决所有问题，对于真正干活的人来说还要花更多的时间来处理一些行政的事情，但是总比粗放行的管理好多。