公司介绍您的位置:首页 > 关于我们 > 公司介绍 >
接入量破百万 | 理工新源讲述新能源汽车国家监管平台技术架构
时间:2018-07-09 16:12来源:北京理工新源 作者:北京理工新源
1
建设背景

新能源汽车国家监测与管理平台在高性能硬件处理平台基础上对海量结构化及非结构化数据的并行处理架构设计,并具备柔性扩充、协议兼容、安全性强等优势。平台采用全项抽样监控、核心项全样监控以及多频与变频采样监控相结合的数据采集技术,可以实现200万辆以上新能源汽车的实时监控能力以及平台间数据的实时交互接口,对新能源车联网海量数据分析提供有力支撑。

2
技术架构

新能源汽车国家监测与管理平台大数据架构可实现资源池化、按需自助服务、弹性可扩、负载均衡、服务可度量等特性,实现三级架构各级业务系统在云中大数据的高效整合,打破既往的“烟囱”式业务部署模式,真正实现数据互联互通、共享。通过大数据技术与云计算微服务技术相结合,可对海量的新能源汽车数据进行高效处理分析并实时给业务系统返回分析结果,实现新能源汽车的多业务系统联动,及快速响应能力。

IT架构基于Hadoop大数据生态、微服务设计。总体架构由身份认证与授权层、数据处理系统、大数据基础系统、数据分析系统、应用服务系统、大数据可视化系统组成,如下图所示:

 

图1:技术架构

1
身份认证及授权服务:针对业务系统及每个子系统间的系统、用户、管理员提供认证安全及授权服务,实现平台间各个系统的单点登录认证。
2
数据处理服务:数据处理系统是平台数据的收集层。负责接收省平台、企业平台、抽检车辆以国标GB/T 32960-2016第3部分格式标准进行上报的数据。
3

大数据基础能力系统:大数据基础能力系统分为7部分子模块,分布如图2所示。

图2:大数据基础能力系统模块

1)高速队列消息模块

高吞吐量的分布式发布订阅消息系统,保障系统内部各个模块间消息的正常传输与备份。

2)数据实时计算模块

通过数据接收、数据预处理合法性检查、故障的预判断分析、数据的存储等功能完成对数据的接收、解析和存储工作。通过安全数据的存储、安全事件通知等功能完成对上报的安全数据存储与通知功能。

3)实时缓存模块

高吞吐量的分布式缓存模块,保障系统内部各个模块间能调用系统公用的缓存数据。

4)数据总线接口模块

负责提供大数据系统内部各个子系统间的实时数据调用及消息传递。

5)分布式文件库存储模块

分布式HDFS文件数据存储服务,主要采用parquet列式格式进行存储,满足灵活化数据扩展及挖掘需求,可以横向扩展满足百万PB级别的数据规模存储。

6)分布式索引数据库模块

采用高可靠性、高性能、面向列、可伸缩的分布式存储系统,可搭建起大规模结构化存储集群。团队提出创新的跨地域Hbase大表技术,支持数据存储在不同地域的多个数据中心,而用户所见为虚拟的单一数据中心,方便管理和使用,同时,每个数据中心互为备份,在全局范围内提供更高可用性。

在Hbase顶部加入SQL层,对大量交通数据提供实时分析服务,并且对同一组数据同时支持互动式查询和离线统计;在Hbase中加入全文本索引和近实时搜索,可以实现对分布式数据库里的结构化数据提供全文本搜索的能力,并且内建索引以确保交通数据和索引始终同步;在Hbase里加入高效大对象存储,采用标准的Hbase接口,提升了交通图像数据的存储性能。

7)分布式关系数据库模块

主要存储关系型数据例用户、充电设施、汽车、报表统计、故障处理等关系型的数据。提供分布式横向扩展,可满足百亿级的数据扩容。

4
大数据分析系统:平台将成熟的R语言、python语言库引入Spark、HDFS和HBase,降低了开发复杂的数据挖掘逻辑的难度。利用实时计算引擎、离线计算引擎、图计算引擎、机器学习引擎使用规则模型对原始数据进行数据清洗过滤、充电行为分析、续航能力分析、驾驶行为分析、故障追溯、里程核查、数据稽查、日报表、月报表等统计及分析。
5
大数据可视化展示系统:针对展厅屏幕要求设计对应的三级架构管理体系宏观展示界面、全国数据分布界面、地方区域数据展示界面、企业数据展示界面。包括大屏幕监视系统、移动端APP系统和微信服务系统。

 

3
关键技术
 
1

通讯高并发核心技术:

为了解决200万辆新能源汽车高并发接入的通讯难题,自主研发了ICH(Intelligent Connected Hub)智能网联网关系统。ICH基于新能源汽车数据接入平台提供终端、平台接入高并发处理能力。如图3所示。

 

图3:ICH通讯架构

ICH在通讯兼容性上具备灵活扩展的能力,既实现了GB/T 32960协议的终端接入与平台转入功能,还具备基于T/CEC协议与充电平台间的数据互联以及与信息中心间https模式的数据互联互通对接能力。

ICH在通讯服务器的设计上,监控平台多采用多路复用技术实现异步非阻塞通讯。

以上解决了海量数据并发时的线程切换问题、内存抖动问题,以及线程死锁问题。采用基于任务的按需协程处理方法,实现了200万或者以上级别的海量高并发数据接入能力及扩展能力。

2

信息传输安全技术:

为保障平台间数据交换安全,采用安全传输层协议(TLS),确保在不安全环境下的数据传输安全。协议设计组成如图4图5所示:

 

图4:安全通讯协议栈

 

图5:平台间安全

基于TLS特性并且结合国密算法SM1、SM2、SM3、SM4等加密方式可形成ECDHE_SM1_SM3、ECC_SM1_SM3、ECDHE_SM4_SM3、ECC_SM4_SM3等认证及加密组合模式。在TLS连接的基础上,按照GB/T 32960.3规定的平台传输流程进行数据交换,总体基于TLS实现认证安全以及基于SM加密实现传输数据安全,保障平台间的安全传输。

3

基于大数据挖掘的新能源汽车远程故障诊断技术:

监控平台可以对新能源汽车运行数据进行远程实时采集,其中包括动力电池系统最高总电压、最高单体电压、最低单体电压、最高温度探针序号、最低温度探针序号、驱动电机控制器温度、驱动电机转速、转矩等。通过实时采集新能源汽车数据,进行新能源汽车远程数据分析,对各个子系统的故障级别进行划分,对每一个被监控参数进行统计分析并结合车辆及企业提供的安全阈值,进而得出更加合理的安全阈值。对于发生的车辆预警信息进行业务处理记录和预警解除操作。

 

图6: 故障预警及解除流程

基于新能源汽车大数据,对新能源汽车动力电池系统等模块进行大数据故障诊断建模。通过新能源汽车国家监测与管理中心获取数据,基于已知的数据存储形式以及数据格式,对得到的车联网数据进行集中处理,使之成为可以用于进一步数据建模以及数据挖掘的格式。并且对其中一些失效数据、无意义数据进行清洗,从而提高数据分析质量。

故障诊断体系对车辆运行状态模型进行分类分析,形成动力电池系统故障类型、故障位置、故障发生频次进行系统性统计和精细化分析,提高新能源汽车故障诊断效率及准确性。通过对过往数据和同车型数据时间的比较,结合机器学习、统计学、离散数学等相关算法,建立的统计学诊断和大数据算法诊断模型。基于新能源汽车车载终端所传输的电池系统内部各点的温度数据,结合前期建立的统计学诊断模型,进行针对电池温度的潜在温度故障分析和挖掘对各个子系统的潜在故障进行挖掘和分析,对严重故障进行预测和预警。基于不同时间维度下新能源汽车车载终端所传输的单体电压数据,分析各个时间维度下的单体电压数据分布情形来判定动力电池单体的异常。具体流程如图8所示,若各时刻下数据服从正态分布,采用简单高效的拉伊达准则定位异常单体;若各时刻下数据不服从正态分布,采用熵权重方法进行来定位异常单体。

 

 

 

 

图7: 不同数据分布下的异常电池单体的定位流程

为提高大数据的动力电池系统远程故障诊断效率,通过对电池数据的采集,运用高斯分布的规律以及3σ置信准则等方法,找出数据规律,形成低维度数据处理、高维度统计建模的方法。结合3σ故障诊断算法,可有效的对新能源汽车电池系统进行远程故障诊断、潜在故障挖掘、隐藏固有故障挖掘等。具体流程如图8所示。

 

图8: 基于大数据的动力电池系统远程故障诊断流程图(整月)

综上所述,通过数据的采集和分析,结合智能算法,可以实现电动汽车的远程故障诊断。

 

4
技术赋能
 

 

车联网大数据平台是汽车生产企业数字化转型的关键基础设施,是智能网联车的“数字引擎”,新源ICH(Intelligent Connected Hub)智能网联网关产品为车企转型提供“四大赋能” 

 

1

联接赋能:为汽车、充电设施、路网、气候、运营商等数据接入提供安全可靠联接,支撑亿级海量连接和百万级高并发以及提供产业下、中、上游的智能设备联接适配能力。通过全球可达的公有云适配部署能力,为车企业务全球化的运营服务做有力支撑。

 

图9:ICH智能网联网关助力企业使能

2

数据赋能:通过建设企业大数据分析、人工智能系统建设,并有效的激活数据潜在的价值,通过新源核心数据挖掘分析引擎可协助赋能企业如下4大效应: 

1) 赋能重现效应:赋能企业针对车辆故障前的场景重现及追溯。

2) 赋能关联效应:通过对新能源汽车数据的联想分析、聚类分析等分析方法,可以协助企业发现深层次的数据、业务、管理间的关系。

3) 赋能溢价效应:基于新能源汽车原始数据的多维分析后,可产生多维的数据集合、数据仓库,通过多维分析有利于企业更快速的发现事物变化的现象及总结内在规律。

4) 赋能预测效应:基于数据的历史规律及环境因素预测数据,利用大数据分析对新能源汽车的寿命进行预测分析。

3
生态赋能:打通企业平台信息化数字化孤岛,通过链接融合供应商体系、客户合作伙伴、资源合作商平台,帮助车企建设数字资产,汇聚第三方内容和应用生态,构筑以车企为中心的生态系统。
4

创新赋能:协助企业在万物网联、大数据的基础建设上,以智能为目标提高企业自身核心技术竞争力。从人、车智能到车、路、人协同智能,到未来的能源、人、车、智能设备(X)协同智能,使能未来智能制造(工业互联网)、智能交通、智慧城市的建设,为企业在产业创新道路上抢占先机。

 

勤思·践行·务实·创新

 

成立于2015年的北京理工新源信息科技有限公司,是一家依托于北京理工大学电动车辆国家工程实验室的学科型高科技互联网公司,专业从事新能源汽车车联网应用与服务。作为新能源汽车国家监测与管理平台建设及技术支撑单位,理工新源技术实力雄厚,已获得高新技术企业证书,拥有发明专利30余项,软件著作权40余项。公司致力于为大规模车辆的信息化提供完整的解决方案,研发实时、精准的车辆数据采集终端产品,以及建设集数据分析、存储、挖掘、管理于一体的大数据云服务车联网平台,为客户提供精细化的管理服务,实现成本控制、管理透明、安全保障、效益提升的目标。






菠菜人DJBET