浅论SSM框架在构建"微农"信息服务中的应用

为了智能地分析和挖掘农产品市场生态信息,开发了一套基于以大数据分析为核心,以SSM为框架的"微农"信息服务平台.该系统分为电脑端的综合信息管理系统和手机端的信息应用系统.文章简述了SSM轻量级框架的特点,指出了选择SSM框架的原因,分析了"微农"信息服务平台的特点和功能结构,阐述了如何采用SSM轻量级框架和构建"微农"信息服务平台的过程,特别是MyBatis框架在解决数据持久化过程中的应用,Spring框架在程序解耦过程中的应用,Spring MVC框架在实现功能分离过程中的应用,以及响应式Web技术在"微农"移动端的应用.初步测试表明系统的灵活性和稳定性都很好,为农产品数据价值的挖掘提供了良好的平台.

面向大数据分析的分布式文件系统关键技术

大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求.设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover.该系统采用基于目录划分和一致性Hash映射的名字空间管理方法,解决了元数据扩展性问题;通过改进的两阶段提交协议,保证了多元数据服务器下分布式元数据操作的一致性;提出了基于共享存储池的高可用机制,通过热备和全局状态恢复机制提高了元数据的可靠性.评测结果表明,Clover的元数据处理能力随服务器的数量线性增长,增加单个服务器的元数据操作性能平均提升了5.13%~159.32%.由于名字空间管理和分布式事务的开销,多元数据服务器会导致复杂操作的性能下降,但是这种下降的幅度很小(小于10%).与HDFS相比,Clover的文件读写带宽与之接近,并能够保证在元数据服务器失效后文件系统快速恢复,适合于构建高可扩展和高可用的存储系统.

基于无线通讯和ASP技术的大数据生产管理系统开发与应用

设计了一种基于无线通讯和ASP技术的服务于电厂化学技术监督的生产大数据管理系统,实现化验数据,缺陷管理,生产任务,技术分析及耗材管理等生产管控流程的高效运作,符合大数据管理的思路.论文设计了以核心三层交换机连接堆叠式网络主机构成服务器,路由器形成环路主干,以接入器和AD hoc模式构建WLAN无线网络基站系统的电厂物理网络拓扑结构.基于ASP脚本环境,ACCESS数据库引擎,SQL读写技术,WAP标准及其定义的WML标记协议开发了满足生产需求的服务器系统.利用基于OCX控件的ASP二次开发方法完成了系统与GSM Mordem的兼容开发,并进行了系统在智能移动终端上的运行调试.

智能地质调查系统开发与推广二级项目成果报告

项目聚焦"突显地质大数据价值,数据驱动精准地质调查","以地质知识的流程化和智能化为核心的建设与应用"等主线,开展了智能地质调查技术和"云+端"软件体系研究.形成了基于大数据-云计算-人工智能的地质调查智能空间整体框架,技术和服务模式,构建了地质调查数据感知服务到认知(知识)框架以及以"大数据+大计算"为特点的地质调查全流程服务链.建立了支持定制化的通用地质数据采集和集成技术.满足零编程并符合各专业采集标准的专业野外数据采集需求,实现了单一字段可集文本,图像,音影,表格等多媒体为一体的数据采集,提高数据采集的智能化和效率.非结构化数据挖掘,空间数据挖掘等关键技术研究取得突破,提升地质人员综合分析与决策能力.积极探索面向地质调查的知识库描述框架构建方法,地质调查对象识别类技术方法和流程,展现了人工智能在未来变革地质调查工作模式具有的巨大潜力.本项目成果促进了由数字地质调查方式向基于大数据-云计算技术的智能地质调查方式的转变.在阿尔金红柳沟-拉配泉地区,二连东乌旗区域,河北永定河区域等十多个不同类型地质地貌区成功开展智能地质调查应用示范,并在东盟,巴西,秘鲁等境外地质调查项目中应用.举办10期班,培训人数超过1000人次.

农贸市场大数据商业智能系统开发

农贸市场留给民众的印象基本上可以概括为“脏”、“乱”、“差”。最近几年,有一些发展较快的城市提出了“农贸市场改造升级”、“农贸市场超市化”等方案但是由于成本太高而无法在全国普遍推广,而且这种转变方式也仅仅是在硬件方面。其实,随着互联网技术的发展,可以将大数据技术、商业智能技术,物联网技术等应用到农贸市场的改造上。比如利用基于物联网技术的电子货架标签系统(Electric ShelfLabel System,ESLs),可以将农贸市场内的商品价格统一管理,可以大大降低甚至避免民众遭遇价格欺诈。这样做还可以将价格数据、民众的购买行为等数据通过互联网上传到统一的数据服务器上,利用商业智能技术对数据进行分析。 本文设计了一个农贸市场大数据商业智能系统原型,系统分为数据来源层,数据的抽取(Extract)、转换(Transform)和加载(Load)(Extract-Transform-Load,ETL)层,大数据存储层,数据分析层和结果展现层五个层次。数据来源层分为两部分,一部分采用佛山市广华合志科技有限公司研发的ESLs来实现商品价格的管理;另一部分是农贸市场的管理系统,从管理系统中收集销售数据。数据ETL层使用Pentaho Kettle引擎来实现,定义了一个完整的ETL作业可以从数据来源层抽取数据。大数据存储层使用MySQL Cluster数据库集群技术来实现,本课题实现了一个四个数据节点、两个SQL节点和两个Manager节点的数据库集群的原型。数据分析层由三部分组成,第一部分通过使用开源的关系型联机分析处理(RelationalOn-Line Analytical Processing,ROLAP)引擎Mondrian来完成联机分析处理On-LineAnalytical Processing,OLAP)的功能;第二部分使用JasperReports报表引擎来实现报表功能,第三部分使用R语言来实现商品关联分析的算法,还可以在R环境中根据需要来实现其他的分析。结果展现层,通过HTML页面、报表、图表三种方式来对最终的结果进行展现。 本文首先介绍了当前我国农贸市场所面临的问题以及国内外农贸市场的现状。第二部分介绍了大数据、商业智能等相关概念和电子货架标签系统。第三部分介绍了数据库设计和大数据存储与分析的方案,第四部分说明大数据商业智能系统原型的设计方案并演示了系统的部分功能。根据测试,本系统原型可以比较稳定的运行,能够满足处理较大规模数据的存储与分析需求,可以在本课题的基础上继续扩展商业智能功能。通过应用本系统将会带来较大的社会效益和经济效益。从社会效益分析,保障了食品安全,改善了购物体验等。从经济效益分析,掌握了大量数据,节约了运营成本,降低了管理难度等,减少了自然损耗。