大数据时代，ETL快速膨胀，企业级统一调度平台大势所趋 - 第2页 - 金融行业 - ITPUB论坛－专业的IT技术社区

wangjia

ygjygj 发表于 2013-2-2 00:11

统一调度平台？这是什么？
就是能集中管理具有周期性作业的平台(control-M架构类似于informatica，也有designer，EM，monitor...). 传统作业（比如SQL脚本，HQL脚本，python脚本，perl脚本，AWK脚本...）可能会分布在各自的系统下进行各自的调度. 面对BIG DATA趋势，control-M或许将逐渐替代ETL工具大部分功能，毕竟ETL的主要功能还是HQL/SQL脚本里实现. 某*司已经把用hadoop处理的ETL过程迁移到了control-M平台实现.
jiasui 发表于 2013-1-31 17:39

排队听听？
大数据在银行的应用还不是很明朗吧。
请教一下，为什么不明朗？因为数据量问题？毕竟很多银行系统都是最近几年才建立起来。提高数据质量才能体现出大数据处理的价值。估计不是大数据工具本身的问题，因为其在电信、电商上算是运营良好。请斧正！thx！
qzyang007 发表于 2013-2-4 12:06

请教一下，为什么不明朗？因为数据量问题？毕竟很多银行系统都是最近几年才建立起来。提高数据质量才能体 ...
银行在采用新技术方面一向是比较谨慎的；拿云计算举例，据我所知，也就是某大行在一个小的项目中再慢慢试探使用~；大数据对银行来说太时髦了，呵呵
lvsherry 发表于 2013-2-4 12:18

银行在采用新技术方面一向是比较谨慎的；拿云计算举例，据我所知，也就是某大行在一个小的项目中再慢慢试 ...
所言极是，新技术产品补丁多；升级版本，迁移数据都累坏好多人.
qzyang007 发表于 2013-2-4 12:06

请教一下，为什么不明朗？因为数据量问题？毕竟很多银行系统都是最近几年才建立起来。提高数据质量才能体 ...
银行比较保守是一个原因。
但是我觉得更重要的原因是，大数据到底能够给银行带来什么？现在大数据功能主要体现在商业智能，但是现在大部分银行躺着都赚钱，这方面动力不足，大数据投入产出比在银行还是不理想。
如果有一个激进的银行，能够利用大数据开展新业务，例如信用评级，收益大大高于同行，业务量大增，那么大数据在这个行业马上就能铺开。
jiasui 发表于 2013-2-4 14:57

银行比较保守是一个原因。
但是我觉得更重要的原因是，大数据到底能够给银行带来什么？现在大数据功能主 ...
一针见血！银行躺着都赚钱！

其实银行间还是存在竞争的，没其他行业那么残酷；而电商一般属于消费类行业，所以需要大量网络消费行为数据去研究消费者的消费偏向，制定相应策略，有针对性去刺激消费以提高竞争收入！
科技部门是3流的支持部门，跟着业务部门转来转去，尤其是和客户无直接接触，安全要求银行，能接触的系统的机会都非常少。
我理解的ETL主要工作不是数据挖掘，而是数据的加工与集中处理。
一般而言，ETL主要是为数据仓库提供一个加工数据的源，用好ETL对基于数据仓库的信息系统会带来便利