某央企银行北斗系统(China Merchants Bank Beidou System)创新性地提出了适应银行业务系统特点的分布式链路追踪技术规范,同时基于大数据技术,建立了商业银行新一代全链路业务流监测和分析系统。


Ø 项目创新点


1)行业内首创的分布式链路追踪技术规范


基于Open Tracing理论实现的链路追踪在互联网企业中已有成熟的技术方案,但银行业务系统由于主机架构应用还占据着重要地位,使得互联网那套基于微服务架构的链路追踪方案并不能直接照搬应用到银行业务系统中。因此,通过对包括HTTP协议、TCP+XML协议、TCP+JSON协议、主机203协议的适应性改造,使得传统架构和微服务应用架构应用间的链路追踪有了可行性依据。


2)在复杂的银行应用环境生态下首次大规模安全改造落地


银行应用生态复杂多样,覆盖系统是传统主机与云架构混部、商业软件与行内自研并存的现状,尽管涉及面广,应用改造量巨大,但平台经过一年多的推广实施,已推动改造业务系统数超过XXXX 套,涉及的应用集群节点超过XXXX个,全行业务系统监测覆盖度超过九成,TOP30系统覆盖度达到100%。这在业内是第一次如此大规模的安全改造落地。


3)银行异构环境下的数据采集


银行异构环境下,数据的采集需要有不同的手段,项目创新地使用了“日志打印”与“旁路抓包”结合两种模式,解决了主机上无法落日志的问题。将全业务流链路串联起来。


4)实时大数据处理基础平台


在基础数据湖之上,建立的实时大数据平台,日处理日志量超过10TB,实时处理能力可达每秒1000万条日志,数据指标的实时计算精细到分钟级。


基于spark streaming框架实现对原始日志清洗、转换、统计、入库。spark streaming是一个内存计算引擎,特点是速度快、可靠性高,同时,灵活的时间窗口设计模式和延迟数据处理机制,可以保证其聚合计算的灵活性和高流量下的可靠性。


5)智能监控告警


以动态基线智能算法库、故障树告警根源推理算法库和事件窗口告警聚合算法库三大算法库构建的监控告警平台,告警实时性达到分钟级,故障定位时间控制在5分钟以内,有效告警发现率提升13.56倍。


6)赋能分行业务创新运营增长体系建设


针对弱编程能力的业务数据分析师,平台提供了系统化的数据运算、排版工具、低代码工具。该平台工具简单易用,有三大特点:


一是拖、拉、拽式的数据可视化框架,分析师在进行页面布局、数据可视化时均可通过拖、拉、拽方式实现,所见即所得;


二是类SQL的启发式查询接口,交互式界面,启发式查询接口,逐层提示、填充,易读、易懂、易用;


三是运算核心支持可扩展。以上海分行网金、个贷营销回流分析场景为例,分行从上线活动到部署页面到获取分析数据,在短短半天时间内就上手搞定,平台对营销效能提升帮助显著。



银行智能运维相关文章:

海量用户全业务链路监测

新一代全链路业务流监测和分析系统

全链路追踪为业务赋能