2025年10月22日

星期三

科学技术
联系我们
江苏省钢铁行业协会
协会地址 : 南京市御道街58-2号 明御大厦703室
咨询热线 : 025-84490768、84487588
协会传真 : 025-84487588、84490768
神户制钢数据分析平台Datalab®的构建与应用

2025-09-09 15:04:04

来源:世界金属导报精华版

浏览171

信息和通信技术以及人工智能(AI)技术的进步对于提高企业在现代商业环境中的竞争力至关重要。特别是运营数据和产品数据的利用在新产品开发、产品改进、市场战略规划和改善客户体验等诸多领域,对企业的发展都起着至关重要的作用。

神户制钢构建了数据分析平台(DataLab®),该平台提供从数据存储到预处理和分析的功能,为数据和技术诀窍的统筹管理以及在全公司范围内推进有组织的数据利用奠定了基础。

构建DataLab®的目的是为整个公司提供一个可处理尚未被结构化的大数据的平台,其中包括在过去很难得到有效利用的研发数据和来自运行设备的时间序列数据。为此,我们构建了一个可以快速收集和存储庞大数据,并根据需要灵活添加和轻松访问资源的环境。还采用先进的数据分析工具和人工智能算法,有效地从数据中提取信息,加快创造新的价值。

1Datalab®的概要

构建数据分析基础平台的重要方面包括数据的整合与管理、允许对计算资源灵活变更的基础架构、先进的分析工具和技术、数据的安全保护与操作的简便性。

特别是数据整合和管理对于确保数据的准确性、完整性和可靠性,并使其成为有效的分析信息至关重要。从业务系统和设施等各种数据源收集的数据可能格式不一致或不完整,因此需要通过进行数据清洗(纠正格式和不完整的数据)、数据转换(将数据转换为通用或标准格式)和数据存储(存储数据以适应后续业务逻辑或分析)来提高数据的质量。

其次,构建可扩展的基础平台,灵活应对数据量和计算处理量的增加。利用云服务对实现这种可扩展性非常有效。

此外,通过引入先进的分析工具和技术,可以应用特定目的的分析方法,如统计分析、机器学习和深度学习,从而有效地从数据中提取信息。还可以通过严格控制数据访问和引入加密技术来解决数据的安全防护问题。

最后,通过融入通用数据可视化工具,让更多人更容易进行分析,让决策者能快速、直观地理解信息情报分析结果并付诸行动。

DataLab®是一个具备数据分析所需功能的平台,主要分为用于存储数据的数据库层和用于数据分析和解决方案开发的解决方案层(图1)。

1.1数据库层

原始数据分散存储在个人终端、设备内部计算机和共享文件服务器等不同位置是数据管理的主要问题。此外,由于数据之间不存在关联规则,这意味着需要大量人工将数据转换为适合分析的格式,并将不同人就同一主题创建的数据关联起来。另外,存储在设备内部控制计算机中的数据受到计算机数据容量的限制,可能在几个月内就会丢失,会产生需要的数据不存在或不可用的问题。

为了进行有效的分析,还必须将收集到的原始数据转换成与分析课题相匹配的格式,并将其存储到符合分析目的的数据库中。

DataLab®的数据库层允许将各种格式的原始数据集中存储在同一数据收集区域。

另外,通过将从数据收集到数据库层存储的过程实施标准化,数据的收集和存储不仅变得更加方便,同时还提供了数据关联功能,大大减少了数据分析预处理过程所需的时间和精力。这样,原始数据就可以在未经处理的状态下存储,并可进行后续追加,以满足未来更多的分析需求。这些数据存储在云中,可以无限量存储。

经过以上处理完成格式转换并存储在数据库层的数据可被下述解决方案层创建的模型或工具参考引用。

1.2解决方案层

解决方案层的目的是以存储的数据为基础开发具体的业务解决方案。解决方案层利用公司开发的分析工具、市售分析软件、BI(商业智能)工具和其他可视化工具进行应用程序的开发和分析。

公司独立开发的分析工具中融入了由数据专家根据不同类型的分析课题进行机器学习和调整的模型,从而能够对数据库中存储的数据进行高水平的分析。

可视化工具还通过访问上述数据库获取所需的数据并将其可视化,为用户的决策发挥辅助作用。

在确保安全的前提下,还可以与外部数据分析服务进行数据链接,这样就可以方便地利用其他公司制作的数据分析模型。因此,即使没有开发人员或人工智能方面的专业知识,也可轻松进行数据分析和预测。

2应用案例

在数据分析中,单一系统很难满足所有的分析需求,因此需要为材料开发或设备诊断等各种大型课题设计和应用优化的配置。例如,材料开发过程中处理的数据大多是非常规的、数量较少的数据,而设备诊断过程中处理的则是大量的常规数据,因此数据整理顺序和最佳数据结构也不相同。

2.1材料开发

在材料开发过程中,通常会产生与新材料开发和现有材料改进相关的各种实验数据。其中包括物理性质、化学反应、耐久性测试等数据,每种数据都以不同的格式记录。通常情况下,数据由不同的负责人管理,数据整理方式大多没有根据负责人、实验时间和内容进行标准化。因此,即使条目名称相同,与该条目相关的数据也可能因负责人的不同而不同,反之,即使数据含义相同,条目名称也可能不同,需要花费大量的时间和精力将数据整理成可供分析的形式。

为了便于整理,将收集到的数据进行自动分析,对相关数据进行分类,并将其系统地存储到用于分析的数据库中。

在材料开发过程中,根据特定规则描述的csv文件等实验数据被保存在数据汇总区。对数据进行分类,创建新的表格,并根据关键项提取表格之间的相关性,将其结构化为反向星形模式。然后,数据被存储在关系数据库中,所需的数据表可以自由组合,从而获得分析数据。

在分析数据时,需要使用的数据会根据目的以表格的形式进行分组,并采用市售的电子表格软件、BI可视化工具以及神户制钢独立开发的工具(该工具融入了由数据专家通过机器学习和调整制作的各种模型)进行分析。利用该工具,分析人员可以选择对应目的的模型,输入变量和条件,并执行计算以预测材料特性和搜索目标材料的设计。此外,高级计算可在云中进行,从而实现独立于本地终端规格的快速计算。

2.2设备诊断

在设备诊断领域,为了提高工厂设备的开工率并确保安全运行,需要实时收集来自各种传感器的数据。这些数据包括设备运行状态、温度、压力、振动等级等信息,可用于监测设备健康状况和性能,以及预防性维护和故障预测。

传感器数量非常多,采集周期极短,这意味着需要处理的数据量非常大。另一方面,需要采集的数据都是标准化数据,因此一旦构建了数据采集机制,就可以很容易地扩展到其他设备中使用。此外,市面上有许多用于设备诊断的开发工具,通过将市面上的工具与公司独立开发的软件相结合,可以开发出高效的分析系统。

在数据收集方面,采用配置了DataLab®数据传输软件的网关设备。该设备预装了向DataLab®传输数据的功能和存储位置,只要将其连接到数据源的控制装置(DCS或PLC)即可将数据传输到DataLab®。传输的数据以规定格式作为原始数据存储在数据汇总区。数据经过处理后以标准格式数据的形式存储,便于在后续分析模型和分析解决方案中进行分析。

在设备诊断的情况下,会从连接到每台设备上的各种传感器中收集各种数据,从而导致数据结构中的数据类型数量庞大,而对于实际异常检测模型的有效数据仅限于需要监测的每个异常。在本研究中,作为用于设备诊断的分析数据库,时间序列数据按预定的时间间隔划分,并存储在指向列的数据库中,以兼顾分析的便利性和性能。

作为分析解决方案,安装了带有市售工具和预先准备的算法的异常监测模型,并具有能够基于正常运行数据实施异常预警的监测功能,也可以利用Python或其他统计分析程序构建和安装个性化的分析软件。系统还配置了数据可视化工具,用于设备监控。

3未来展望

DataLab®将扩展到其他事业部,并增加一些新的功能,包括对检查提供支撑和材料开发过程中经常需要调用的图像数据。

在工厂设备和个人电脑等不同地方存有大量的数据,这些数据在未来都有可能创造价值,通过数据汇总可以实现部门之间的数据链接。

此外,由于每个人的手头都积累了一定数量的数据,存在进行简单的数据分析的需求,因此期待能够利用DataLab®推进数据可视化支持,技术诀窍的积累和共享,使更多的人都能轻松地进行数据分析。

4结语

本文介绍了可促进企业内部数据充分利用的DataLab®概念,包括其设备开发、应用诊断等应用案例。数据利用对于提高制造能力至关重要。因此,将通过利用DataLab®来促进各工厂车间和设备以及实验数据的积累与分析,由此提高企业的制造能力。