十亿级数据读写毫秒级时延 浪潮领衔打造智慧交通大数据解决方案

北京2020年10月23日 /美通社/ -- 随着城市化进程加快，经济和社会活动日益频繁，城市交通在人、车、路、环境等方面面临资源失衡、行车难、停车难、拥堵频发等问题，亟需城市交通管理者找到适合的疏解方案。

作为智慧交通领域先行者，浪潮合作伙伴易华录以数据湖为主体，发展大交通，致力于为客户提供智慧大数据解决方案，建设城市数字经济基础设施，努力降低全社会长期保存数据的能耗和成本，构建数字孪生城市，实现数字永生。

智慧交通系统面临海量数据快速读写挑战

在智慧交通大数据业务中，智慧交通系统对各类违法车辆进行实时监控抓拍，快速智能识别各种违法行为，并第一时间通知一线民警对违法车辆进行拦截以及现场处罚，能够有效监督和消除车辆违法行为，净化交通环境。

在易华录智慧交通业务中，广泛使用Redis集群缓存配置下发及中间结果数据，系统对于Redis读写并发性、实时性以及数据持久化要求都较高。Redis是一个高效的key-value内存数据库，基于其高并发下较高的数据查询效率，是易华录智慧交通大数据平台中不可缺少的组件。

图一为典型的智慧交通业务，系统采集海量的设备、下级平台及视频结构化产生的车辆及人像特征数据，经ETL清洗转换，借助Spark流计算框架，与Redis中缓存的黑白名单数据按照空间、时间及其它逻辑规则，进行比对产生各类告警数据。该业务场景下面临的主要挑战为：

• 作为流计算的支撑外部数据源，Redis集群中缓存大量的黑白名单配置数据及中间计算结果，单位时间读写并发数较高，该操作需要低延时，其中缓存数据规模在数十亿级别，客户要求读写时延在毫秒级；
• Redis中缓存了业务计数等中间计算结果，这些数据通常以分钟/小时粒度周期性同步至关系型及MPP数据库中，因此缓存数据需持久化到硬盘中，防止因集群故障、断电等异常情况，导致数据无法恢复。同时，因为涉及到交管核心业务，当系统异常情况产生后，迫切需要快速恢复集群，并确保异常前后数据一致性，其中数据持久化存储和性能是一个亟需解决的问题。

智慧交通大数据解决方案实现高吞吐率、低延时、高耐用

浪潮与易华录联合推出Redis解决方案，以易华录交通大数据平台为高效数据处理平台，面向城市数据湖、新型智慧城市业务、政府及企业用户提供更高效、更低成本的智慧交通大数据解决方案。

相较于传统DRAM方案，新方案提供了行业领先的高吞吐率、低延时、高服务质量和超高的耐用性，新增内存扩展打破服务器内存容量限制而优化，单机内存容量可以扩展1.5TB，较之前的单机内存容量大幅提升200%。

同时，易华录还实施了多种调优方案。首先在数据读取场景中，通过采用非一致内存访问节点绑定的方式（NUMA进程绑定），避免内存在进行数据存取时，在不同的NUMA节点间切换，以实现更好的读写性能。

其次，新设计的Redis服务获得秒级的故障恢复速度，与之前分钟级的恢复速度相比，提升达几十倍之多。而且还能帮助易华录交通大数据平台的TCO 降低30%。

测试结果显示新方案吞吐能力可提升200倍

为了验证新方案的应用优势，浪潮与易华录共同围绕Redis数据库的常规操作以及用户最关心的业务性能指标进行了测试。测试使用了benchmark工具，选取SET、GET等10余条Redis数据库常用命令，全面覆盖Redis五种数据结构，每个操作执行 32次并发，共640万次的性能测试。测试结果显示新方案在总吞吐能力和延迟上相较于传统的DRAM方案性能有100~200倍的性能提升。

该方案能够有效支撑城市数据湖中海量数据采集、加工、治理、建模各环节对Redis持久化、高效读写等共性需求，与易华录城市大脑、葫芦APP、交通大脑等核心业务存在广泛的契合点，帮助易华录解决智慧交通大数据平台系统中面临的Redis难题。