四、未来发展趋势
随着黄金眼系统的逐步完善平台化是大势所趋,我们已经完成了初步的平台化工作,后续还回进一步在自动化,智能化方向深挖。
1、自动化
1)数据自动接入
未来的数据是自动接入的,每一个核心的实时数据回有一个监控报警的开关,用户只需要打开这个开关就可以自动的配置到黄金眼的监控平台中,节省开发量,用户只需要关心维度即可。尽管在V3的状态下用户已经可以只需要关注日志的parse和书写对应的sql就可以完成对应的实时sum了,对开发同学已经很简便了,但对很多运营同学提出了更高的的要求。而且运行同学的监控需求是非常普遍的,经常需要关注某几个id下的流量变化,所以如何让他们快速的使用我们的黄金眼系统便成为一个挑战,而且我们的接入效率基本也在开发测试2-3天左右,如果更加快速的开发,提高接入效率了,能否将接入效率提高到1天以内接入。我们参考了开源的可视化的做法,后续将会逐步退出基于web拖拽方式的自动接入系统,方便所有用户的接入。目前已经针对V3版本实现了Web的自动化配置接入(半自动),后续会逐步优化用户的使用习惯,实现完全的自动化接入。
2)实时任务自动发布
当用户的任务自动配置完成后,只需要点击“自动发布”功能即可发布到对应的jstorm集群上,实现一键的任务起停,彻底改变我们目前依赖start/stop脚本手工起停任务的方式。完全的把我们的PE同学解放出来。
3)指标自动展示
用户在自动接入阶段已经配置好了所有的维度,指标等信息,这些信息会被记录到mysql中,用于后面自动展示。用户只需要配置对应的中文名称,具体含义,即可展示,做到即配即用。同时对于用户统计的val1, val2等指标我们定义为直接指标,而用户可以在系统内部方便的定义间接指标例如val3=val1+val2, val4=val1/val2,做到灵活可用。
4)指标自动报警
随着阈值模型的进一步完善,后续会逐步的开发自动报警功能。用户数据自动展示到页面后,只需要拖拽2根线选定作为报警的上限和下限,同时选择报警的方式是动态阈值或者是变点检测等预测算法产出阈值即可,后台会根据用户的选择直接配置生成报警规则,做到自动报警目前我们已经走在自动化,平台化的大路上。
2017年初我们已经初步完成了第一版的设计,用户可以在我们的web页面上实现自动配置、半自动发布、自动展示、自动报警等功能,后续还会持续在交互设计上进行优化,为用户提供更好、更准确的监控服务。
2、智能化
1)智能调整参数
每天的流量高峰,流量低谷会出现在不同时段,基本上测试好一定的配置参数可以很好的应对。但是如果经历季度的变化、出现大促等流量升高等情况都需要我们对拓扑的参数进行调整。所以后续会采集每天的流量QPS变化数据,根据QPS变化数据的预警值调整拓扑的配置参数,进行流量自适应。
2)智能算法模型
监控报警,阈值预测是我们黄金眼平台的核心功能,实时计算和存储系统为它提供了非常好的平台支撑。未来我们会在架构上不断的优化智能算法模型,不断挖掘计算存储的能力,为业务的快速发展保驾护航。