T/JSJTQX08-2019团体标准T/JSJTQX08-2019高速公路交通数据融合实施指南Guidelinesfortheimplementationoffreewaytrafficdatafusion2019年12月28日发布2020年01月01日实施ICS35.240.99R85江苏省交通企业协会发布T/JSJTQX08-2019目录前言.....................................................................................................................................................................I1范围..................................................................................................................................................................12规范性引用文件..............................................................................................................................................13术语和定义......................................................................................................................................................14基本要求..........................................................................................................................................................14.1数据传输.......................................................................................................................................................24.2数据融合原则...............................................................................................................................................25技术要求..........................................................................................................................................................25.1总体架构.......................................................................................................................................................25.2高速公路交通数据预处理...........................................................................................................................25.3多源异构数据融合.......................................................................................................................................45.4配置与管理...................................................................................................................................................45.5融合日志记录...............................................................................................................................................4附录A(资料性附录)基于交通事件分类和交通拥挤分类的高速公路运行信息系统.................................6附录B(资料性附录)基于贝叶斯组合框架和高阶马尔可夫过程的多源异构交通数据融合算法.............7T/JSJTQX08-2019I前言本标准按照GB/T1.1-2009给出的规则起草。本标准由南京理工大学江苏省智能交通信息感知与数据分析工程实验室提出。本标准由江苏省交通协会归口。本标准起草单位:南京理工大学、江苏省智能交通信息感知和数据分析工程实验室、江苏长天智远交通科技有限公司、江苏省无线传感网安全组网及其应用工程技术研究中心、江苏省军工产品科研生产大数据智能分析及应用军民融合公共服务平台、中设设计集团股份有限公司、苏交科集团股份有限公司、江苏长天智远交通科技有限公司、南京莱斯网信技术研究院有限公司、江苏智城慧宁交通科技有限公司。本标准主要起草人:戚湧、张伟斌、申明磊、杜鹏桢、李千目、王维锋、崔录库、高潮、万剑、戈权民、贲伟、王印海、何流、周竹萍、赵学龙、黄炎焱、高宁波、徐兰花、刘镇江、高盼军。T/JSJTQX08-20191高速公路交通数据融合实施指南1范围本标准规定了高速公路交通数据融合的术语定义、基本要求和具体技术要求。本标准适用于高速公路交通数据融合方法的设计和系统建设。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是标注日期的引用文件,仅限所注日期的版本适用于本文件。凡是不标注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T30679-2014高速公路交通数据报表格式GB/T36625.1-2018智慧城市数据融合第1部分:概念模型GB/T37722-2019信息技术大数据存储与处理系统功能要求3术语和定义3.1高速公路交通数据FreewayTrafficData由高速公路交通运行和管理直接产生的数据(即交通流量数据、事故及其处理数据、路面运行状况数据和对外交通的线圈、北斗、GPS、视频等传感器采集的相关数据)与高速公路交通相关行业领域的数据(即气象、环境、人、车载设备等采集的相关数据)所构成的数据集,包含格式化与非格式化数据。3.2多源异构数据Multi-sourceheterogeneityData具有多源性和异构性特点的高速公路交通数据,其中多源性体现于交通数据来源于多种分布式的网络感知传感器,异构性体现在高速公路交通数据在类型、性质、形式和内容上均存在较大的差异。3.3自适应数据分类AdaptiveDataClassification在定义数据分类规则的基础上,通过异步的自动检测机制控制分类结果,将不同的数据按数据源、数据相关类型划分成不同的数据类别,将统一类别数据按照相同的检测方案进行数据分类分库存储。3.4多源数据融合Multi-sourceDataFusion从多源异构高速公路交通数据语义层的特征中得到逻辑一致的数据。4基本要求T/JSJTQX08-201924.1数据传输高速公路交通信息传输应采用HTTP、FTP等方式。4.2数据融合原则4.2.1实用性高速公路交通数据融合的模型算法应满足数据使用方的应用需求。4.2.2统一性对同一高速公路交通数据提供方的数据融合方式应统一,公共数据的代码应参考国家相关标准。4.2.3可扩展性高速公路交通数据融合设计时应充分考虑数据范围扩充、时间增量等问题。4.2.4完整性高速公路交通数据融合应充分保留数据原始信息,不做主观删减等特殊化处理。5技术要求5.1总体架构高速公路交通数据融合总体架构如图1所示。对于现有高速公路交通数据集应首先通过预处理形成多个交通信息分类库,然后输入多源异构数据融合算法,最后将算法结果形成融合信息库。现有高速公路数据源高速公路交通数据预处理交通信息分类库1交通信息分类库2交通信息分类库m源1源2源n…源1源2源n…源1源2源n…多源异构数据融合融合信息库…图1高速公路交通数据融合总体架构5.2高速公路交通数据预处理5.2.1总体流程高速公路交通数据预处理流程如图2所示。基于交通事件分类和交通拥堵分类的高速公路运行信息系统参见附录A。T/JSJTQX08-20193现有高速公路数据源(如交通流数据、气象数据、环境数据、路面运行状态数据等)通信网络传感器网络部署和网络密度寻优基础数据库基础数据库交通数据获取交通数据清洗自适应高速公路交通数据分类高速公路运行数据融合需要清洗无需清洗交通信息分类库1交通信息分类库2交通信息分类库m……分类规则误差检测改进规则图2高速公路运行数据预处理流程图5.2.2数据感知高速公路数据感知部分应采集海量高速公路运行基础数据,并反映高速公路运行状态。数据采集应当遵守GB/T36625.1-2018中规定的数据采集方案要求。5.2.3交通数据清洗应对来自于多种数据源的高速公路交通数据进行清洗,过滤空值、偏差过大值和无效值等不达标数据。5.2.4自适应数据分类T/JSJTQX08-20194应将清洗后数据自动检测归类,基于不同的数据类别,输入交通数据自动检测分类器,最后将同类数据存储至分类数据库中。通过编码指定的自动分类检测器需自适应不同数据类型。检测器接收的数据应遵守GB/T30679-2014中规定的报表字段描述。5.2.5交通数据信息库多源异构数据经过清洗、检测后最终应形成多个同类数据库。数据信息库以时间、路段、数据源等维度划分存储,数据存储应满足GB/T37722-2019中规定的大数据存储要求。5.3多源异构数据融合数据融合流程如图3所示。多个交通信息分类库中的多源高速公路交通数据作为算法输入,结合实际情况,选用适当的方法,例如统计算法、机器学习算法等,将融合后数据存入高速公路交通信息融合数据库中。融合算法可参考附录B。数据源1数据源2数据源n...高速公路交通信息融合数据库多源异构数据融合算法图3高速公路交通数据融合流程图5.4配置与管理应根据当前网络状态、系统负载情况等对系统资源进行配置和管理。5.5融合日志记录融合日志记录应针对每个自动检测后的分类数据库进行,系统应将这些日志数据存储在数据库中,至少需保存最近6个月日志记录。融合日志数据中至少应包括:1)时间戳;2)数据类别;3)数据源编号;4)融合算法名称。T/JSJTQX08-20196附录A(资料性附录)基于交通事件分类和交通拥挤分类的高速公路运行信息系统现有高速公路数据源高速公路交通流数据高速公路气象数据高速公路环境数据高速公路路面运行状况数据通信网络传感器网络部署和网络密度寻优基础数据库基础数据库交通数据获取交通数据清洗交通事件自动检测器交通拥挤自动检测器预处理数据库交通参数预测预测数据库实际交通拥挤信息库预测交通拥挤信息库交通事件信