AI模型训练和开放服务平台的研究与实现

AI模型训练和开放服务平台是面向企业的,易用的一站式AI应用开发工具,通过简化AI应用开发流程,屏蔽技术实现细节,提供数据管理,模型管理和服务管理等功能,帮助企业可以快速,高效,低成本地进行AI产品的开发与应用.但是由于AI应用开发存在着训练数据来源及格式复杂,训练依赖于多类型资源,开发流程繁琐等特性,现今公开的AI解决方案和相关平台仍然存在模型训练数据管理不规范,多类型训练资源调度不公平和没有形成AI应用开发的完整闭环等问题与挑战:1)当前模型训练数据管理存在数据格式混乱,不同数据整合利用繁琐和数据重复利用率低等问题,影响了数据质量和训练效率;2)目前多类型训练资源调度存在分配不公平,资源浪费和作业饥饿等问题,降低了任务执行效率和资源利用率;3)数据侧和服务侧的功能仍存在不足,缺乏数据标注和服务监控等功能,没有形成AI应用开发的完整闭环,降低了开发效率.针对以上问题与挑战,本文重点围绕模型训练数据管理,多种异构资源公平调度策略和AI应用开发解决方案进行研究与分析,完成了 AI模型训练和开放服务平台的研究与实现,主要研究内容包括以下三个部分:1)提出并实现了一种基于JSON的模型训练数据管理方案,用于统一不同模型训练数据格式规范,整合不同的模型训练数据,进行数据的全生命周期管理和版本管理,提高了数据利用率和模型训练效率;2)提出并实现了一种分配均衡的多资源调度策略,该策略整合了所有资源,分别均衡了主资源和非主资源的分配,保证了资源的公平分配和充分利用,提高了任务执行效率和资源利用率;3)研究并实现了 AI模型训练和开放服务平台,该平台集数据上传与标注,模型训练,模型评估,模型测试和服务发布于一体,形成了 AI应用开发的完整闭环,提高了 AI应用开发效率.基于上述研究内容,本文设计并实现了一站式的端到端的AI模型训练和开放服务平台,覆盖全工作流程,帮助企业加速智能化转型.并将其应用于重点研发课题"科技咨询数据资源体系研究与资源建设"中,对平台的功能完整性进行了验证,确保了平台的有效性,可用性和可靠性.

基于大数据智能分析诊断平台(IoT-AI)实现电厂脱硫系统最优化

电厂脱硫设施设备复杂,运行成本和维护难度较高,尤其是在电厂烟气超低排放标准下,脱硫设施的运行压力尤为显现.针对脱硫系统遇到的问题,给出基于大数据智能分析诊断平台实现电厂脱硫系统最优化的方法,从大数据智能分析诊断平台脱硫系统的数据分析,系统框架及其优化的角度,为电厂脱硫优化提供理论支撑.

基于OLAP的工商业务分析系统

随着电子政务的发展,传统的手工操作被计算机替代,窗口业务被网上业务取代。在电子工商领域,每天大量的业务信息进入业务数据库,如何把它们更好的利用起来是信息处理面临的一个问题。传统的OLTP联机事务处理已经不能满足在统筹全局方面的要求,而商业智能是一个很好的解决方案。商业智能通常被理解为将现有的数据转化为知识,帮助管理者做出明智的业务经营决策的工具。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术,从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。 广东省工商局领导查询系统(AICLEAD)是一个面向终端使用者,直接访问业务数据,能够使工商局高层领导从工商业务的各个角度出发分析利用工商数据,及时地掌握该地区企业的运营现状,做出科学的管理决策的系统。领导查询系统可实现从简单的标准报表浏览到高级的数据分析,满足组织内部人员的需求。同时,它是一个结合了数据仓库,OLAP和数据挖掘技术的业务支持平台,作为一个应用模块嵌入工商业务系统(AICMIS),供有权限的用户使用。凭借单点登陆技术,用户只需要在工商业务系统的内部门户上做一次性登陆,进入后链接进入领导查询系统。AICLEAD中的分析数据来源于工商业务系统,根据登记,案件,监管,年检等主题及其子主题建立数据仓库,使用ETL工具将业务数据库(AICMIS)定期提取到领导查询系统数据仓库(AICLEAD),然后使用这些提取得到的数据做分析和展现。 特别地,在工商业务系统(AICMIS)中的年检应用模块当中,对于工商的业务数据可以使用一些数据挖掘的方法来做一些分析。在文中详细介绍了用k-means聚类分析结合SPSS工具来查验年检数据是否真实可靠的实现。即在使用SPSS工具找出适合用来作分析的字段组合后,然后使用该组合对企业年检数据做聚类分析,从而找出前后不一致的数据,予以警示,提醒工作人员重点检查。对此功能,已经做成了EJB组件,可供工商业务系统来调用,并且该业务已经作为试用功能放入了广东省工商AICMIS中,并有专门的入口进入,供有权限的业务人员使用。 由于业务水平的不足,加之对商业智能和数据挖掘的理解有限,该系统仍有较多问题,如功能不足,界面不够美观,实现的分析算法有限等等,都是需要解决的问题。不过相信有了此次的尝试,在以后版本的改进上会逐步解决这些问题。