同济大学学报(自然科学版)

作者：王耀，赵炯，周奇才，熊肖磊，陈传林，张恒

单位：1.同济大学 机械与能源工程学院，上海 201804;2.同济大学 浙江学院，浙江 嘉兴 314051;3.上海地铁盾构设备工程有限公司，上海 200233

关键词：数据清洗,工业大数据,时序数据,速度约束,周期性

基金：上海申通地铁集团有限公司科研计划（JS-KY21R003-3）

为了高效清洗具有时序性、周期性等特点的工业数据，首先利用分布式组件设计了一套流式清洗系统，系统以Mosquitto作为采集数据的汇集中心，以Flume为连接组件，以Kafka为缓冲组件，对接数据清洗组件，使系统具有高吞吐、大缓冲等优势。然后基于速度约束模型，设计了一种周期性数据清洗算法，综合工业数据的时序性、周期性、物理意义等特性，在原有速度约束算法基础上增加周期性检测和数据切片机制，以解决速度约束算法处理周期性数据的失真问题，提高可用度。最后文中以盾构掘进数据集为样本，验证了系统和算法的有效性，以及改进算法的适用性。

来源：2024年第3期

《同济大学学报(自然科学版)》期刊编辑部

查看同济大学学报(自然科学版)杂志2024年第3期