咨询热线

020-38870471

当前位置:首页 > 新闻动态 > 行业资讯

MES系统数据挖掘应用——质量分析和优化

  • 作者: admin
  • 时间:2020-12-11 17:46:48

引言
在最近的几年中,信息化建设可谓高潮迭起,电子政务和制造业信息化成为两大亮点。在制造业信息化领域,钢铁、汽车、石化等行业的龙头企业,纷纷加大了信息化建设的力度;中型制造业企业的信息化建设稳步推进;小型企业的信息化逐渐成为被关注的热点;制造业企业对信息化建设的认识渐趋理性、务实;国际制造业信息化厂商看好中国制造业信息化市场,加大了在中国的投入力度;我国制造业信息化软件产业实现了平稳发展,走向了务实经营;第3方制造业信息化咨询服务初露锋芒;而制造业信息化技术,也在竞争中实现了新的发展。

但是,也应清楚地看到目前制造业信息化的建设仍有许多不尽人意之处,如:许多制造业信息化项目往往只注重对数据的统计汇总,而真正涉及到预测、决策及优化方面的工作较少,结果只是充当了手工劳动的替代品,并没有充分发挥制造业信息化项目的效益。信息系统中保存的大量业务操作数据要么被闲置、要么充当统计汇总时的一个基数,数据中隐藏的大量有价值信息被白白地浪费了。

从最初的各类MIS到近几年流行的ERP、CRM、MES等,用户的数据积累已达到了一定的程度,很多行业的用户面对越来越激烈的市场竞争,需要对自己的数据(用户、市场、产品、生产)进行分析,挖掘出潜在的商机,降低公司的运作成本,这成为数据挖掘技术应用最主要的动力。而数据挖掘就是要从用户的业务数据中挖掘出有价值的信息,并提炼成为辅助管理的知识,即智能。


数据挖掘

1 数据挖掘技术背景
1.1 数据挖掘的发展历程

数据挖掘(DM:Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。图l说明了数据挖掘过去40年的发展历程。数据挖掘是一门交叉学科,它会聚了数据库、人工智能、统计学、可视化、并行计算等不同学科和领域。数据挖掘的技术类型主要包括发现型数据挖掘和预测型数据挖掘。

数据挖掘技术的发展历程

图1 数据挖掘技术的发展历程 

 
执行数据挖掘时使用的技术在计算上非常复杂,为了找到大型数据集内存在的模式,必须执行大量计算。在最近10年中,大型业务数据库(特别是数据仓库)使用量的增长以及对这些数据的理解和解释的需要,再加上相对廉价的计算机的供应,导致数据挖掘在各种业务应用中的使用急剧增长。

1.2 数据挖掘应用的方法论
通常一个数据挖掘项目包含七个步骤,分别为:定义业务需求;定义数据模型和数据需求;数据预处理(清洗和过滤);探索型数据分析(数据探索);选择挖掘功能并建模;解释挖掘结果;在业务决策中运用所获结果和新知识。

定义业务需求是一个数据挖掘项目的初始阶段,在这个初始阶段,需明确阐述项目目标和客户业务需求,目的是明确数据挖掘问题。任务包括:明确业务目标、定义响应变量、对项目计划做必要的调整。

在定义数据模型和数据需求这个阶段要搜寻并检查客户数据,作为以后分析挖掘时所用变量的简略一览表。同时从数据总体中抽样生成训练集、验证集和测试集。任务包括:数据来源、数据映射、准备数据评估、数据的必要聚合、数据抽样。

预处理数据(清洗和过滤)阶段需要对迁移到数据模型中的数据进行预处理。任务包括异常数据清洗”、数据过滤”和数据汇总”。探索型数据分析(数据探索)是为了发现在g-+待选的自变量和目标变量之间是否有任何关系。通常,图形分析是全面理解数据的第1步,接着需要对有关数据进行统计分析,以便得到数据分布的更好知识。

选择挖掘功能并建模是选择最合适的挖掘技术的关键步骤。该步骤不仅包括对要使用的适当技术或技术合成定义,还包括技术的应用方式。通常尝试不同的建模技术或结合不同数据集,并衡量模型性能的不同,选出最好的。来自最终用户的业务领域知识在这个阶段是非常关键的,因为他们可以评价和确认模型的结果、理解发现并付诸实际行动。

解释挖掘结果需要业务专家的参与,需要他能够将挖掘结果解释到业务语境中。由于大多数情况下业务专家并不是数据挖掘专家,因此将结果以相对易于解释的方式提供给用户是非常重要的。

在业务决策中运用所获结果和新知识这个阶段,需要用模型的结果来帮助做出业务决定、战略设计和战术实施,收集实施结果反馈,为模型的退化进行监测,更进一步改善模型性能。在利用模型的结果时,复杂的展示层界面通常是不必要的。

2 数据挖掘技术在生产制造中的应用
2.1 工业数据挖掘平台

现代制造企业中大量的计算机系统承担起了生产管理的任务,扮演着MES的角色,各种各样的传感器将大量的实时生产数据传送到MES中,随着生产的持续,数据越来越多,这些数据中往往隐藏着大量有价值的生产管理信息,但是这些信息通常不能通过直观的方式表现出来,而传统的生产管理计算机系统是面向功能的,对数据的分析处理较为简单,无法胜任将这些信息提炼出来的任务,因此必须将智能信息处理技术引入生产过程管理中,从简单的数据处理过渡到智能的数据分析,为生产过程管理提供更有效的支持。数据挖掘技术无疑就成为完成这项任务的主要手段,为了与ERP层对应的商业数据挖掘相区别,在本文中称与MES层对应的数据挖掘应用为工业数据挖掘。

对于工业数据挖掘来说,它的应用重点集中在对制造企业内部信息资源的加工处理,指导企业生产制造的战术策略的实施。具体地说,就是在以客户的需求为价值源泉,以不同的生产工序为价值链的各环节进行数据增值分析,并将分析结果迅速向链条的上一环节传递,调整链条上游的执行达到改善下游环节执行结果的目的,最终形成以客户终端需求为导向的价值增值。 
 
实际上,传统业务系统是面向点的,能给出详细的功能定义。而工业数据挖掘系统是面向面的,用专业术语讲叫主题,因此,很难准确地描述工业数据挖掘到底能实现哪些功能,或只能实现哪些主题。工业数据挖掘的确可以产生报表,但不是事先定义的固定报表,而是经过分析之后的结果展现,所以,在这里并不能精确地定义一个工业数据挖掘系统的功能,一个工业数据挖掘系统应当只是一个应用平台,将它与不同的业务系统相结合,可以扩展成为不同的智能应用系统,如质量分析优化系统等。

2.2 工业数据挖掘的应用范围
工业数据挖掘在MES层的应用有以下几个方面:
辅助生产计划调度。通过工业数据挖掘平台可以对生产过程进行建模,利用这些模型模拟生产过程可以帮助生产调度人员提前判断—个调度计划是否合理,避免在实际执行时由于计划的不合理给企业造成损失。

质量分析优化。通过工业数据挖掘平台可以搭建一个产品质量分析系统,找出与产品质量指标有关的因素,分析产生废次品产生的原因,并有的放矢地实施改进措施,提高产品质量。

设备管理维护。通过工业数据挖掘平台建立设备维护系统,在分析设备运行数据的基础上,建立设备运行模型,预测设备故障时间,以便提前采取维护措施,减少因设备停机造成的损失。

生产工艺优化。通过工业数据挖掘平台构建的生产成本分析系统、质量分析系统等,可以对生产过程数据进行分析、挖掘,建立生产成本模型或质量模型,利用这些模型找出降低生产成本和提高产品质量的工艺措施,优化生产工艺。

生产资源优化配置。通过工业数据挖掘平台建立的生产资源优化配置系统可以挖掘企业的物料和能源消耗数据,找到生产资源配置的不合理之处,并提供优化配置的分析手段。

3 质量分析和优化
产品质量是制造企业的生命,产品质量的控制和改进一直是企业所关心的核心问题之一。现代质量管理体系提供了一整套质量改进方法,用于改善产品质量。随着钢铁企业信息化步伐的加快,企业积累了大量的生产工艺数据,这些数据中包含了大量与产品质量有关的信息,但它们并没有被充分利用,如何从这些数据中挖掘出与产品质量有关的有用信息,并利用这些信息提高产品质量,优化产品质量设计,加快新产品开发周期,是企业更为关心的问题。

冶金自动化研究设计院开发的质量分析优化系统利用数据挖掘技术在质量缺陷分析、新产品质量设计、工艺优化、质量预报、过程质量分析等几个方面为改进产品质量提供决策支持。系统包含了数据抽取、数据预处理、质量分析、质量建模、质量设计、质量预报、工艺优化、机理模型修正、实验设计DOE等九大模块,其中数据抽取、数据预处理模块是基本模块,其他模块都可以根据需要动态增删。质量分析优化系统提供了一套较为成形的流程,用于产品质量设计和预报,如图2所示。 

质量分析、设计、预报流程  
图2 质量分析、设计、预报流程 

 
质量分析优化系统在应用时可以根据具体条件采用不同的应用架构,图3所示为目前比较流行的一种应用形式。 

质量分析优化系统的一种应用架构 
图3 质量分析优化系统的一种应用架构


4 结论
本文介绍了数据挖掘技术的发展背景,分析了数据挖掘技术在生产制造中的应用特点,以及在不同工业领域的应用方向。对数据挖掘技术在质量分析优化方面的应用进行了重点阐述,并介绍了冶金自动化研究设计院开发的质量分析优化系统的应用流程和应用架构。