大数据在智慧城市中的应用_李光亚

Microcomputer Applications Vol. 30, No.12, 2014

文章编号:1007-757X(2014)12-0001-04

专家论坛微型电脑应用2014年第30卷第12期

大数据在智慧城市中的应用

李光亚,张敬谊,童庆

摘要:伴随智慧城市的发展,多源、异构、冗余的大数据应运而生。利用数据挖掘、决策分析等技术,实现大数据转化为数据资产,必将成为大数据时代智慧城市智能化、互联化的必要手段。阐述了智慧城市概念、智慧城市数据资源及大数据处理技术,分析了智慧城市中的大数据综合应用,阐明了大数据在智慧城市重点行业领域的应用现状,并对其进行展望,为未来智慧城市中大数据的深入应用提供解决方案和思路。关键词:智慧城市;大数据中图分类号:TP311.13文献标志码:A

The Application of Big Data in Smart City

Li Guangya, Zhang Jingyi, Tong Qing

(WondersInformation Co., Ltd, Shanghai 201112, China)

Abstract:With the rapid development of Smart City, multi-source, different-structured and redundant big data has been well developed. Technologies such as data excavation and decision analysis provide an opportunity for big data to transfer into data asset which is necessary measures for the intelligence and interconnection of Smart City. Besides, the paper described the concepts, data resource and technologies of data analysis of Smart City. Furthermore, it claimed the synthetic application of big data of wisdom city. What's more, it demonstrated the application status of big data in current key industries and an expectation of its future development. Finally, it provided proposals and ideas for a further application of big data of Smart City. Key words:Smart City; Big Data

・1・

Microcomputer Applications Vol. 30, No.12, 2014专家论坛微型电脑应用2014年第30卷第12期

2智慧城市的数据资源与技术

智慧城市的数据来源广泛、结构多样,涵盖智能交通、智能医疗、智能楼宇、智能电网、智能农业、智能安防、智能环保、智慧旅游、智慧教育、智能水务等大数据资源,涉

[2]

及众多方方面面智慧城市应用范畴。其多是互联网、传感设备、视频监控、移动设备、智能设备、非传统IT 设备等渠道产生的海量结构化或非结构化数据,并且时时刻刻都在

[3]

源源不断地渗入城市日常管理和运作的方方面面。

智慧城市的数据资源体量巨大,但有价值的信息密度低,需要进行深度整合和分析,将不同来源、不同格式、不同类型、不同应用的数据进行规范、融合,形成“智慧城市”的数据资源体系,打破各系统间数据不能共享的现状,实现

[4]

空间信息和非空间信息的统筹管理、统一服务、共享共用。

从智慧城市的业务需求角度来说,一方面,智慧城市管理需要深度整合、分析数据;另一方面,大数据环境下的智慧城市运行体征管理,需要对城市运行状况进行信息的收集和整合。因此,需要从整合现有信息资源并为未来的信息化建设提供统一支撑的角度,打破各个系统间数据不能共享的现状,实现空间信息和非空间信息的统筹管理、统一服务、共享共用。

从业务内容角度来看,智慧城市需要有建立在标准规范之上的信息资源体系,它是一个分层的树状结构,包括元数据资源、数据资源、服务资源三大类,如图1

所示:

图1智慧城市信息资源体系层次结构

从技术实现的角度上来看,对智慧城市数据资源的管理,可采用数据生命周期管理、大数据采集、大数据存储、大数据处理、智慧城市大数据决策分析等技术。

(1)数据生命周期管理。主要对智慧城市业务数据的产生、规范、使用和存档的各个阶段进行有效地监控和管理,以保证数据的共享性、完整性、可靠性和有效性等,并以此为基础提供给上层决策分析系统。

A.数据共享性。采用主数据管理技术,消除“信息孤岛”,加强各系统间关联性,建立规范、统一的数据源,实现数据共享。

B.数据完整性。采用元数据管理技术,从数据格式、源头、服务等方面建立信息资源规范,以确保数据的完整性。

C.数据可靠性。采用数据清洗技术,可以有效的清除脏数据、保证数据的质量。

D.数据有效性。对数据归类和特征分析,利用在线存储、近线存储、归档存储等技术进行选择存储,保证数据的有效[5]性。

(2)大数据采集。主要通过网络数据获取,媒体流获取,日志信息获取和传统应用数据获取等技术在智慧城市场景中获取大数据。

A.网络数据获取。主要利用互联网搜索引擎技术如网络爬虫等实现有针对性、行业性、精准性的数据抓取,按照一定规则和筛选标准进行数据归类,形成数据库文件。

B.媒体流数据获取。媒体流接入服务采用集群的方式,为每个接入源动态确定一个存储服务器,实现视频、音频数据以分布式文件方式落地。

C.日志信息获取。常通过成熟分布式框架如Chukwa、Flume、Scrib等,实现日志信息的分布式收集和统一处理。

D.传统应用数据获取。主要采用ETL 将分布的、异构的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最终按照定义好的数据模型,将数据加载到目标数据库中。

(3)大数据存储。主要利用CAP 原则,通过对大数据特征分析,选择合适的存储方案。

A.数据存储硬件:本地存储、SAN存储和云存储。

[6]

实B.数据存储技术:关系型数据库、No-SQL数据库、

时数据库、分布式文件存储、列式数据库等。

(4)大数据处理。主要是采用基于大数据方案的计算技术、数据挖掘技术和大数据可视化技术实现数据处理。

[7]

A.计算技术:轻量级弹性计算平台、Map-Reduce 离线计算框架、Spark内存计算框架、Storm流式计算框架等。

B.数据挖掘技术:大数据下的频繁模式挖掘技术、大数据下的聚类分析方法、大数据下的分类和预测算法、大数据下的序列挖掘算法。

C.大数据可视化技术:借助于图形化手段,清晰有效地传达与沟通信息。大规模数据的可视化和绘制主要是基于并行算法设计的技术,合理利用有限的计算资源,高效地处理和分析特定的数据集的特性,主要技术:数据流线化、任务并行化、管道并行化、数据并行化。

(5)智慧城市大数据决策分析。主要利用当前成熟的模型技术,对海量冗余的数据源进行抽取转换等操作,以形成高质的智慧城市数据资产,为城市的发展决策提供明确的数据支撑。常见的大数据决策分析技术如下:

A.融合多领域信息的数据知识模型。首先,在标准统一的领域数据知识模型的基础上,建立面向不同主题的多领域数据知识模型。然后,在建立面向领域的和面向主题的数据知识模型的基础上,形成多领域多层次数据知识模型结构。

B.面向智慧城市决策支持的分布式海量数据的管理技术。通过对智慧城市大数据的进行决策分析,实现海量数据管理和决策分析的双向耦合,为决策支持提供数据管理层面的有效支撑。涉及技术有:分布式大数据的平台、基于云计算的海量异构数据的存储管理技术、分布式决策模型、流数据挖掘技术。

C.辅助决策模型的智能组合技术。建立针对模型的规范化描述,使模型分析的结果也可以满足数据知识模型体系的数据标准,从而能够为其它决策分析模型所利用,在此基础上能够建立模型链的实例化应用,扩展辅助决策支持的范围,真正发挥多层级辅助决策支持的能力。包括:决策模型

・2・

Microcomputer Applications Vol. 30, No.12, 2014专家论坛微型电脑应用2014年第30卷第12期

标准化、模型链建立与实例化、模型链评估与优化。

D.高性能多用户协同的辅助决策技术。通过可视化技术,以更直观、有效的方式将数据分析结果展示给用户。主要技术有:决策模型的可视化展现技术、可视化动态分析模型、可视化智能决策方案。

3智慧城市中的大数据综合应用

智慧城市助推大数据的产生,也给大数据提供了广阔的应用市场。智慧城市数据资源多源、异构、冗余,需要从数据采集、整合、分析的整个流程,进行综合数据管理,将其转变为城市的有效、高质的数据资产,发挥大数据在城市建设发展中的最大效用,如图2

所示:

数据利用更加安全、城市数据服务一体化等

(3)大数据决策分析

大数据能提升智慧城市决策支持的能力,形成更智能的趋势分析。建立大数据技术与业务深度融合的模式,简化各领域应用大数据进行分析决策的难度,实现对决策支持的服务。

大数据的分析服务,提供大数据分析的工具引擎,包括多源数据关联分析、数据建模、数据仿真、数据报告等共性功能。深入的分析和挖掘,大数据可以为智慧城市的很多领域服务,包括交通运行、医疗卫生、社会管理、农业、商业、金融以及宏观经济等。如对医疗大数据进行分析,可以帮助政府更科学地进行医保预算,实现医保控费,提升医疗机构的疾病诊断能力,提升市民的健康水平;对应用电子商务大数据进行分析,可以一定程度上预测经济状况,按需生产;对公共大数据的分析,可发挥数据的协同作用。

总之,在智慧城市中综合应用大数据,可以形成趋势判断、数据共享,将有助于智慧城市的创新社会管理、各行业的互联互通、良性竞争与可持续发展。

4智慧城市中的行业应用

图2大数据综合应用

(1)大数据采集

网络大数据和政府部门数据资源是智慧城市大数据资源的主体,对推动城市智能化、创新化、互联化起着举足轻重的作用。

网络大数据采集包含对互联网数据采集、物联网数据采集和个人数据采集。互联网数据的采集涉及页面和后台数据两个层面,页面数据可以通过爬虫程序直接抓取所需的数据,而网站后台数据层次较深、相对较复杂,常通过开放或授权数据接口让各方方便获取数据、开发应用;同时对互联网海量的网页,可以建立大数据抓取集群,实现统一的互联网数据抓取,保证抓取的实时性。物联网数据采集,主要是建设城市统一的数据监测采集系统,实现行业数据如车联网大数据、环境物联网大数据等的统一采集、统一管理,各行业按需调用相应的数据服务即可。个人数据采集,主要是对个人日常活动数据、与政府企业资源设施互动数据等采集,有助于创新社会管理、提升公共服务、建立个性化服务。

政府部门数据资源,共享度低,数据采集重复性高,且易形成“信息孤岛”。进行跨部门大数据管理,以城市一体化为目标,建设城市运营数据的统一采集,建立起跨部门的数据共享体系,为各领域的智慧应用提供大数据统一服务。

(2)大数据开放服务

大数据要发挥巨大价值,开放是关键。智慧城市建立统一的大数据开放服务,有助于打破信息孤岛,并实现数据授权,有助于发展数据产业。智慧城市大数据开放服务的基本思路为:政府数据开放、机器可读;应用云计算等新模式;鼓励社会化的数据再开发;城市一体化而不是部门孤岛。大数据开放服务,将连接居民、政府、社会开放设备和平台,形成一个大数据服务生态环境,将使居民更方便的获取信息、政府实现跨部门数据共享、数据再开发利用使数据增值、

充分利用智慧城市大数据潜能,以满足城市各行业发展

需求。智慧城市中大数据行业应用重点领域有民生、市场监管、政府服务、基础设施等,涵盖了医药卫生、环境保护、智慧教育、交通物流、市民服务、市场监管、公共安全、国土资源、科技服务、文化创意、电子政务等方方面面。

(1)民生领域

智慧城市中采集的人口数据、环境数据、交通数据、健康数据、监控数据、经济数据等是民生大数据的重要组成部分。同时,互联网上用户相关的民生大数据的采集是在用户参与下,由运营商、服务方分别采集完成的。通过民生大数据的开放和共享,构建民生大数据集市,需求方可按需获取数据。

民生大数据将在民生领域的舆情、预测、决策、调控等方面发挥巨大的作用。大数据技术对于把握民生民情民意具有重要意义,可以提炼广大市民的需求,使民生服务领先一步,比市民本人知道得更多、了解得更细、发现得更早,可以分析社会现象本质,揭露潜在的民生问题,还可预测趋势,指导民生决策,使立法、监管先行,防患于未然。

(2)市场监管领域

市场实时数据、历史数据、其他数据源等共同构成市场监管领域大数据集[8]。

通过大数据智能分析算法和数据挖掘技术,实时分析市场数据,以对市场变化及时做出反应。分析历史数据,提取出被监管对象的行为模式、消费者的行为模式以及他们行为模式的趋势,并结合实时数据分析,可对非正常的活动提出预警。将新的数据源整合至监管领域大数据集,可提高对非正常事件进行预警的准确度。对不同行业大数据分析,可支持多行业的监管。

(3)政府服务领域

运用大数据,通过多渠道数据采集、快速综合的数据处理技术,增强社会管理能力,实现政府公共服务的管理创新、

・3・

Microcomputer Applications Vol. 30, No.12, 2014专家论坛微型电脑应用2014年第30卷第12期

技术创新和服务模式的创新。

首先,大数据在政府服务领域的应用。一方面,通过大数据共享性应用,实现政府各部门之间、政府与市民之间的信息共享,提高政府各机构协同办公效率和为民办事效率[9]

。另一方面,大数据价值应用,通过大数据决策分析,展示给人们关注信息之间的关联度,实现信息价值的放大。

其次,应用大数据和云计算等新技术,构建实体社会管理与虚拟社会管理相结合的社会管理一体化模式,实现智慧城市的创新社会管理。

A.动态感知:对现实社会和虚拟社会中的人员、场所、设备设施、活动、舆论等信息进行动态采集。

B.互联互通:实现区、街道镇、居委、商务楼宇等社会综合管理部门的信息共享,并与市级公安、司法、住房等社会管理相关部门信息整合。

C.应用智能:构建社会管理业务模型,对采集的海量大数据信息进行分析处理,形成趋势判断,为社会综合治理提供预警和处理的智能化手段。

D.管理创新:形成虚拟社会管理的综合应用,并对实体社会管理提供支撑。

(4)基础设施领域

城市基础设施是对城市生存、发展所必须具备的社会性

[10]

基础设施和工程性基础设施的总称。

运用大数据,通过对各基础设施如轨道交通、电力设施等数据采集、分析,将有助于促进城市基础设施建设的完善。如在轨道交通领域,通过采集客流信息、轨交数据、监测数据等,形成轨道交通大数据集。通过对大数据的数据挖掘和决策分析,进行大客流预测、事件预警、推送出行路线等,为规划新的路线提供决策支持,为安全畅通提供保证,也将有利于城市综合交通的优化。

(5)医药卫生领域

在医疗改革的国家政策背景下,大数据在医药卫生行业的应用也日显重要。

医药卫生领域,病人个人信息、诊疗信息、处方医嘱、检查报告等共同构成医药卫生的大数据资源。可通过对这些数据源的采集、抽取、转换,形成医疗信息资源库,为居民个人、医生、卫生管理部门提供数据支持。

面向居民,医疗信息资源库为居民提供个性化健康管理,如智能导诊、健康记录、健康问答、个性化保健建议、健康咨询、健康预警、个性化健康教育等。

面向医生,医疗信息资源库为医生诊断提供个性化临床决策支持。如,基于医疗大数据分析提炼病种的关键特征指标,形成糖尿病、高血压、肿瘤几个病种的诊疗模型。

面向卫生管理,医疗信息资源库将有助于精细化卫生管理。如,采用特异群组挖掘技术,针对就医行为大数据,并结合持卡人的多元信息,设计异常就医行为检测算法。

所面临的困难:

政府各个部门之间的数据共享程度低;政府数据开放刚刚起步;

大数据生态环境中各个角色的权利义务不清;数据资产所有权的界定和保护;数据利用中的安全和隐私保护问题;处理大数据能力的技术和平台;大数据相关的人才匮乏。面向未来,在智慧城市的建设过程中如何更好的利用大数据,需要进一步的思考、解决和实践:

(1)建立政府数据开放的机制:参考国外政府大数据开放所遵循的原则,完整性、原始性、及时性、可获取性、可处理性、非歧视性、非专有性、非许可性等;鼓励政府部门共享和开放,建立数据质量评估机制,鼓励第三方挖掘政府信息资源的积极性,出台相关的奖励措施。

(2)加强对数据隐私、安全、知识产权、法律法规、标准规范的研究与制定:建立相关标准规范、法律法规;研究个人数据保护的法律瓶颈;明确拥有者、使用者、第三方社会资源、最终用户等各方的责任、权利和义务;加强对数据主权研究;加强对数据跨境流动监管;加强数据风险分级管理。

(3)加强大数据人才(分析、管理、技术)培养与培育:尤其注重培育跨界复合型人才,既要熟悉政府业务,又要熟悉大数据技术;加强对政府信息化和管理决策部门、对大数据技术人才的相关培训,技术与业务的结合点。

(4)推动技术、产品与服务的加速融合与创新:鼓励多种形式的服务模式的探索和创新;鼓励政府部门购买大数据相关的产品和服务;鼓励社会第三方基于大数据的运营模式探索和创新;支持大数据公共服务平台、专业大数据公共平台、产学研联盟以及相关基础设施的建设。

(5)大数据时代真的已经来临,智慧城市的建设更加离不开大数据相关技术和产品的应用、服务和管理模式的创新、融合业务和运营模式的探索,大数据不仅是引领新一轮城市经济社会发展的重要驱动因素,一定意义上也将是人类社会发展进程中的划时代变革。

参考文献

[1][2]

陈素梅. PACS 存储系统的设计与实现[D].深圳:厦门大学,2013.

Fay Chang,Jeffrey Dean,et al. Bigtable:A Distributed Storage System for Structured Data[J].ACM Trans Comput. Syst., 2008, V ol.26.

Jeffrey Dean,Sanjay Ghemawat Commun. MapReduce:Simplified Data Processing on Large Clusters[J].ACM 2008.

宋杰. 面向多类型数据源的数据仓库构建及ETL 关键技术的研究[D].沈阳:东北大学, 2008.

李明高.“大数据”之于“电子政务”[J].信息化建设,2013(1):18-19.

庞拥军. 城市基础设施建设评价研究[D].天津:天津大学, 2008.

(收稿日期:2014.11.12)

[3]

[4][5][6]

5总结

大数据的使用已经成为一个国家各领域提高生产力、创新能力以及竞争力的关键要素。虽然我国在智慧城市建设、在大数据的开发和利用方面取得了一定的成绩,但是我们要清楚地认识到,在智慧城市的现今阶段大数据的开发和利用

・4・

Microcomputer Applications Vol. 30, No.12, 2014

文章编号:1007-757X(2014)12-0001-04

专家论坛微型电脑应用2014年第30卷第12期

大数据在智慧城市中的应用

李光亚,张敬谊,童庆

摘要:伴随智慧城市的发展,多源、异构、冗余的大数据应运而生。利用数据挖掘、决策分析等技术,实现大数据转化为数据资产,必将成为大数据时代智慧城市智能化、互联化的必要手段。阐述了智慧城市概念、智慧城市数据资源及大数据处理技术,分析了智慧城市中的大数据综合应用,阐明了大数据在智慧城市重点行业领域的应用现状,并对其进行展望,为未来智慧城市中大数据的深入应用提供解决方案和思路。关键词:智慧城市;大数据中图分类号:TP311.13文献标志码:A

The Application of Big Data in Smart City

Li Guangya, Zhang Jingyi, Tong Qing

(WondersInformation Co., Ltd, Shanghai 201112, China)

Abstract:With the rapid development of Smart City, multi-source, different-structured and redundant big data has been well developed. Technologies such as data excavation and decision analysis provide an opportunity for big data to transfer into data asset which is necessary measures for the intelligence and interconnection of Smart City. Besides, the paper described the concepts, data resource and technologies of data analysis of Smart City. Furthermore, it claimed the synthetic application of big data of wisdom city. What's more, it demonstrated the application status of big data in current key industries and an expectation of its future development. Finally, it provided proposals and ideas for a further application of big data of Smart City. Key words:Smart City; Big Data

・1・

Microcomputer Applications Vol. 30, No.12, 2014专家论坛微型电脑应用2014年第30卷第12期

2智慧城市的数据资源与技术

智慧城市的数据来源广泛、结构多样,涵盖智能交通、智能医疗、智能楼宇、智能电网、智能农业、智能安防、智能环保、智慧旅游、智慧教育、智能水务等大数据资源,涉

[2]

及众多方方面面智慧城市应用范畴。其多是互联网、传感设备、视频监控、移动设备、智能设备、非传统IT 设备等渠道产生的海量结构化或非结构化数据,并且时时刻刻都在

[3]

源源不断地渗入城市日常管理和运作的方方面面。

智慧城市的数据资源体量巨大,但有价值的信息密度低,需要进行深度整合和分析,将不同来源、不同格式、不同类型、不同应用的数据进行规范、融合,形成“智慧城市”的数据资源体系,打破各系统间数据不能共享的现状,实现

[4]

空间信息和非空间信息的统筹管理、统一服务、共享共用。

从智慧城市的业务需求角度来说,一方面,智慧城市管理需要深度整合、分析数据;另一方面,大数据环境下的智慧城市运行体征管理,需要对城市运行状况进行信息的收集和整合。因此,需要从整合现有信息资源并为未来的信息化建设提供统一支撑的角度,打破各个系统间数据不能共享的现状,实现空间信息和非空间信息的统筹管理、统一服务、共享共用。

从业务内容角度来看,智慧城市需要有建立在标准规范之上的信息资源体系,它是一个分层的树状结构,包括元数据资源、数据资源、服务资源三大类,如图1

所示:

图1智慧城市信息资源体系层次结构

从技术实现的角度上来看,对智慧城市数据资源的管理,可采用数据生命周期管理、大数据采集、大数据存储、大数据处理、智慧城市大数据决策分析等技术。

(1)数据生命周期管理。主要对智慧城市业务数据的产生、规范、使用和存档的各个阶段进行有效地监控和管理,以保证数据的共享性、完整性、可靠性和有效性等,并以此为基础提供给上层决策分析系统。

A.数据共享性。采用主数据管理技术,消除“信息孤岛”,加强各系统间关联性,建立规范、统一的数据源,实现数据共享。

B.数据完整性。采用元数据管理技术,从数据格式、源头、服务等方面建立信息资源规范,以确保数据的完整性。

C.数据可靠性。采用数据清洗技术,可以有效的清除脏数据、保证数据的质量。

D.数据有效性。对数据归类和特征分析,利用在线存储、近线存储、归档存储等技术进行选择存储,保证数据的有效[5]性。

(2)大数据采集。主要通过网络数据获取,媒体流获取,日志信息获取和传统应用数据获取等技术在智慧城市场景中获取大数据。

A.网络数据获取。主要利用互联网搜索引擎技术如网络爬虫等实现有针对性、行业性、精准性的数据抓取,按照一定规则和筛选标准进行数据归类,形成数据库文件。

B.媒体流数据获取。媒体流接入服务采用集群的方式,为每个接入源动态确定一个存储服务器,实现视频、音频数据以分布式文件方式落地。

C.日志信息获取。常通过成熟分布式框架如Chukwa、Flume、Scrib等,实现日志信息的分布式收集和统一处理。

D.传统应用数据获取。主要采用ETL 将分布的、异构的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最终按照定义好的数据模型,将数据加载到目标数据库中。

(3)大数据存储。主要利用CAP 原则,通过对大数据特征分析,选择合适的存储方案。

A.数据存储硬件:本地存储、SAN存储和云存储。

[6]

实B.数据存储技术:关系型数据库、No-SQL数据库、

时数据库、分布式文件存储、列式数据库等。

(4)大数据处理。主要是采用基于大数据方案的计算技术、数据挖掘技术和大数据可视化技术实现数据处理。

[7]

A.计算技术:轻量级弹性计算平台、Map-Reduce 离线计算框架、Spark内存计算框架、Storm流式计算框架等。

B.数据挖掘技术:大数据下的频繁模式挖掘技术、大数据下的聚类分析方法、大数据下的分类和预测算法、大数据下的序列挖掘算法。

C.大数据可视化技术:借助于图形化手段,清晰有效地传达与沟通信息。大规模数据的可视化和绘制主要是基于并行算法设计的技术,合理利用有限的计算资源,高效地处理和分析特定的数据集的特性,主要技术:数据流线化、任务并行化、管道并行化、数据并行化。

(5)智慧城市大数据决策分析。主要利用当前成熟的模型技术,对海量冗余的数据源进行抽取转换等操作,以形成高质的智慧城市数据资产,为城市的发展决策提供明确的数据支撑。常见的大数据决策分析技术如下:

A.融合多领域信息的数据知识模型。首先,在标准统一的领域数据知识模型的基础上,建立面向不同主题的多领域数据知识模型。然后,在建立面向领域的和面向主题的数据知识模型的基础上,形成多领域多层次数据知识模型结构。

B.面向智慧城市决策支持的分布式海量数据的管理技术。通过对智慧城市大数据的进行决策分析,实现海量数据管理和决策分析的双向耦合,为决策支持提供数据管理层面的有效支撑。涉及技术有:分布式大数据的平台、基于云计算的海量异构数据的存储管理技术、分布式决策模型、流数据挖掘技术。

C.辅助决策模型的智能组合技术。建立针对模型的规范化描述,使模型分析的结果也可以满足数据知识模型体系的数据标准,从而能够为其它决策分析模型所利用,在此基础上能够建立模型链的实例化应用,扩展辅助决策支持的范围,真正发挥多层级辅助决策支持的能力。包括:决策模型

・2・

Microcomputer Applications Vol. 30, No.12, 2014专家论坛微型电脑应用2014年第30卷第12期

标准化、模型链建立与实例化、模型链评估与优化。

D.高性能多用户协同的辅助决策技术。通过可视化技术,以更直观、有效的方式将数据分析结果展示给用户。主要技术有:决策模型的可视化展现技术、可视化动态分析模型、可视化智能决策方案。

3智慧城市中的大数据综合应用

智慧城市助推大数据的产生,也给大数据提供了广阔的应用市场。智慧城市数据资源多源、异构、冗余,需要从数据采集、整合、分析的整个流程,进行综合数据管理,将其转变为城市的有效、高质的数据资产,发挥大数据在城市建设发展中的最大效用,如图2

所示:

数据利用更加安全、城市数据服务一体化等

(3)大数据决策分析

大数据能提升智慧城市决策支持的能力,形成更智能的趋势分析。建立大数据技术与业务深度融合的模式,简化各领域应用大数据进行分析决策的难度,实现对决策支持的服务。

大数据的分析服务,提供大数据分析的工具引擎,包括多源数据关联分析、数据建模、数据仿真、数据报告等共性功能。深入的分析和挖掘,大数据可以为智慧城市的很多领域服务,包括交通运行、医疗卫生、社会管理、农业、商业、金融以及宏观经济等。如对医疗大数据进行分析,可以帮助政府更科学地进行医保预算,实现医保控费,提升医疗机构的疾病诊断能力,提升市民的健康水平;对应用电子商务大数据进行分析,可以一定程度上预测经济状况,按需生产;对公共大数据的分析,可发挥数据的协同作用。

总之,在智慧城市中综合应用大数据,可以形成趋势判断、数据共享,将有助于智慧城市的创新社会管理、各行业的互联互通、良性竞争与可持续发展。

4智慧城市中的行业应用

图2大数据综合应用

(1)大数据采集

网络大数据和政府部门数据资源是智慧城市大数据资源的主体,对推动城市智能化、创新化、互联化起着举足轻重的作用。

网络大数据采集包含对互联网数据采集、物联网数据采集和个人数据采集。互联网数据的采集涉及页面和后台数据两个层面,页面数据可以通过爬虫程序直接抓取所需的数据,而网站后台数据层次较深、相对较复杂,常通过开放或授权数据接口让各方方便获取数据、开发应用;同时对互联网海量的网页,可以建立大数据抓取集群,实现统一的互联网数据抓取,保证抓取的实时性。物联网数据采集,主要是建设城市统一的数据监测采集系统,实现行业数据如车联网大数据、环境物联网大数据等的统一采集、统一管理,各行业按需调用相应的数据服务即可。个人数据采集,主要是对个人日常活动数据、与政府企业资源设施互动数据等采集,有助于创新社会管理、提升公共服务、建立个性化服务。

政府部门数据资源,共享度低,数据采集重复性高,且易形成“信息孤岛”。进行跨部门大数据管理,以城市一体化为目标,建设城市运营数据的统一采集,建立起跨部门的数据共享体系,为各领域的智慧应用提供大数据统一服务。

(2)大数据开放服务

大数据要发挥巨大价值,开放是关键。智慧城市建立统一的大数据开放服务,有助于打破信息孤岛,并实现数据授权,有助于发展数据产业。智慧城市大数据开放服务的基本思路为:政府数据开放、机器可读;应用云计算等新模式;鼓励社会化的数据再开发;城市一体化而不是部门孤岛。大数据开放服务,将连接居民、政府、社会开放设备和平台,形成一个大数据服务生态环境,将使居民更方便的获取信息、政府实现跨部门数据共享、数据再开发利用使数据增值、

充分利用智慧城市大数据潜能,以满足城市各行业发展

需求。智慧城市中大数据行业应用重点领域有民生、市场监管、政府服务、基础设施等,涵盖了医药卫生、环境保护、智慧教育、交通物流、市民服务、市场监管、公共安全、国土资源、科技服务、文化创意、电子政务等方方面面。

(1)民生领域

智慧城市中采集的人口数据、环境数据、交通数据、健康数据、监控数据、经济数据等是民生大数据的重要组成部分。同时,互联网上用户相关的民生大数据的采集是在用户参与下,由运营商、服务方分别采集完成的。通过民生大数据的开放和共享,构建民生大数据集市,需求方可按需获取数据。

民生大数据将在民生领域的舆情、预测、决策、调控等方面发挥巨大的作用。大数据技术对于把握民生民情民意具有重要意义,可以提炼广大市民的需求,使民生服务领先一步,比市民本人知道得更多、了解得更细、发现得更早,可以分析社会现象本质,揭露潜在的民生问题,还可预测趋势,指导民生决策,使立法、监管先行,防患于未然。

(2)市场监管领域

市场实时数据、历史数据、其他数据源等共同构成市场监管领域大数据集[8]。

通过大数据智能分析算法和数据挖掘技术,实时分析市场数据,以对市场变化及时做出反应。分析历史数据,提取出被监管对象的行为模式、消费者的行为模式以及他们行为模式的趋势,并结合实时数据分析,可对非正常的活动提出预警。将新的数据源整合至监管领域大数据集,可提高对非正常事件进行预警的准确度。对不同行业大数据分析,可支持多行业的监管。

(3)政府服务领域

运用大数据,通过多渠道数据采集、快速综合的数据处理技术,增强社会管理能力,实现政府公共服务的管理创新、

・3・

Microcomputer Applications Vol. 30, No.12, 2014专家论坛微型电脑应用2014年第30卷第12期

技术创新和服务模式的创新。

首先,大数据在政府服务领域的应用。一方面,通过大数据共享性应用,实现政府各部门之间、政府与市民之间的信息共享,提高政府各机构协同办公效率和为民办事效率[9]

。另一方面,大数据价值应用,通过大数据决策分析,展示给人们关注信息之间的关联度,实现信息价值的放大。

其次,应用大数据和云计算等新技术,构建实体社会管理与虚拟社会管理相结合的社会管理一体化模式,实现智慧城市的创新社会管理。

A.动态感知:对现实社会和虚拟社会中的人员、场所、设备设施、活动、舆论等信息进行动态采集。

B.互联互通:实现区、街道镇、居委、商务楼宇等社会综合管理部门的信息共享,并与市级公安、司法、住房等社会管理相关部门信息整合。

C.应用智能:构建社会管理业务模型,对采集的海量大数据信息进行分析处理,形成趋势判断,为社会综合治理提供预警和处理的智能化手段。

D.管理创新:形成虚拟社会管理的综合应用,并对实体社会管理提供支撑。

(4)基础设施领域

城市基础设施是对城市生存、发展所必须具备的社会性

[10]

基础设施和工程性基础设施的总称。

运用大数据,通过对各基础设施如轨道交通、电力设施等数据采集、分析,将有助于促进城市基础设施建设的完善。如在轨道交通领域,通过采集客流信息、轨交数据、监测数据等,形成轨道交通大数据集。通过对大数据的数据挖掘和决策分析,进行大客流预测、事件预警、推送出行路线等,为规划新的路线提供决策支持,为安全畅通提供保证,也将有利于城市综合交通的优化。

(5)医药卫生领域

在医疗改革的国家政策背景下,大数据在医药卫生行业的应用也日显重要。

医药卫生领域,病人个人信息、诊疗信息、处方医嘱、检查报告等共同构成医药卫生的大数据资源。可通过对这些数据源的采集、抽取、转换,形成医疗信息资源库,为居民个人、医生、卫生管理部门提供数据支持。

面向居民,医疗信息资源库为居民提供个性化健康管理,如智能导诊、健康记录、健康问答、个性化保健建议、健康咨询、健康预警、个性化健康教育等。

面向医生,医疗信息资源库为医生诊断提供个性化临床决策支持。如,基于医疗大数据分析提炼病种的关键特征指标,形成糖尿病、高血压、肿瘤几个病种的诊疗模型。

面向卫生管理,医疗信息资源库将有助于精细化卫生管理。如,采用特异群组挖掘技术,针对就医行为大数据,并结合持卡人的多元信息,设计异常就医行为检测算法。

所面临的困难:

政府各个部门之间的数据共享程度低;政府数据开放刚刚起步;

大数据生态环境中各个角色的权利义务不清;数据资产所有权的界定和保护;数据利用中的安全和隐私保护问题;处理大数据能力的技术和平台;大数据相关的人才匮乏。面向未来,在智慧城市的建设过程中如何更好的利用大数据,需要进一步的思考、解决和实践:

(1)建立政府数据开放的机制:参考国外政府大数据开放所遵循的原则,完整性、原始性、及时性、可获取性、可处理性、非歧视性、非专有性、非许可性等;鼓励政府部门共享和开放,建立数据质量评估机制,鼓励第三方挖掘政府信息资源的积极性,出台相关的奖励措施。

(2)加强对数据隐私、安全、知识产权、法律法规、标准规范的研究与制定:建立相关标准规范、法律法规;研究个人数据保护的法律瓶颈;明确拥有者、使用者、第三方社会资源、最终用户等各方的责任、权利和义务;加强对数据主权研究;加强对数据跨境流动监管;加强数据风险分级管理。

(3)加强大数据人才(分析、管理、技术)培养与培育:尤其注重培育跨界复合型人才,既要熟悉政府业务,又要熟悉大数据技术;加强对政府信息化和管理决策部门、对大数据技术人才的相关培训,技术与业务的结合点。

(4)推动技术、产品与服务的加速融合与创新:鼓励多种形式的服务模式的探索和创新;鼓励政府部门购买大数据相关的产品和服务;鼓励社会第三方基于大数据的运营模式探索和创新;支持大数据公共服务平台、专业大数据公共平台、产学研联盟以及相关基础设施的建设。

(5)大数据时代真的已经来临,智慧城市的建设更加离不开大数据相关技术和产品的应用、服务和管理模式的创新、融合业务和运营模式的探索,大数据不仅是引领新一轮城市经济社会发展的重要驱动因素,一定意义上也将是人类社会发展进程中的划时代变革。

参考文献

[1][2]

陈素梅. PACS 存储系统的设计与实现[D].深圳:厦门大学,2013.

Fay Chang,Jeffrey Dean,et al. Bigtable:A Distributed Storage System for Structured Data[J].ACM Trans Comput. Syst., 2008, V ol.26.

Jeffrey Dean,Sanjay Ghemawat Commun. MapReduce:Simplified Data Processing on Large Clusters[J].ACM 2008.

宋杰. 面向多类型数据源的数据仓库构建及ETL 关键技术的研究[D].沈阳:东北大学, 2008.

李明高.“大数据”之于“电子政务”[J].信息化建设,2013(1):18-19.

庞拥军. 城市基础设施建设评价研究[D].天津:天津大学, 2008.

(收稿日期:2014.11.12)

[3]

[4][5][6]

5总结

大数据的使用已经成为一个国家各领域提高生产力、创新能力以及竞争力的关键要素。虽然我国在智慧城市建设、在大数据的开发和利用方面取得了一定的成绩,但是我们要清楚地认识到,在智慧城市的现今阶段大数据的开发和利用

・4・


相关内容

  • 科学巨匠 卓越功勋--纪念功勋科学家朱光亚逝世一周年
  • 科学巨匠 卓越功勋 --纪念功勋科学家朱光亚逝世一周年 总装备部科学技术委员会 < 人民日报 >( 2012年02月27日   12 版) 杰出的科学家.我国核科学事业的主要开拓者之一.我国国防科技战线杰出的领导者和组织者,我们科技委敬重的老主任朱光亚离开我们一年了.他的音容笑貌.举手投 ...

  • 朱光亚:星与心的交响
  • 朱光亚,著名核物理学家,"两弹一星"元勋,中国核科学事业的主要开拓者.1924年12月出生于湖北宜昌,1945年毕业于西南联合大学物理系.历任西南联合大学物理系助教,北京大学物理系副教授,朝鲜停战谈判志愿军代表团外文秘书,东北人民大学(现吉林大学)物理系教授,北京大学物理系教授. ...

  • "挑战杯"大学生课外学术科技作品竞赛策划书
  • "挑战杯"全国大学生课外学术科技作品竞赛 策 划 书 科技实践部 二〇一〇年11月 国际商学院团总支学生会 "挑战杯"全国大学生课外学术科技作品 竞赛简介 "挑战杯"全国大学生课外学术科技作品竞赛是由共青团中央.中国科协.教育部.全国学联和 ...

  • 朱光亚之子称父亲严谨细致:从未见他手忙脚乱
  • http://www.sina.com.cn  2011年02月28日 09:01  中国青年报 本报记者 雷宇 实习生 庄郑悦 与老搭档钱学森的远行有些相似,又是一场突如其来的大雪为一代科学大师."两弹一星"元勋朱光亚院士送行.    今天上午虽是风雪交加,但社会各界人士一大早 ...

  • 大数据时代的智慧城市的建设与应用
  • 大数据时代的智慧城市的建设与应用 一.智慧城市:城市可持续发展的必经之路 智慧城市是充分利用物联网.移动互联网.云计算等新一代信息技术,以数字化.网络化和智能化的信息技术设施为基础,以社会.环境.管理为核心要素,以泛在.绿色.惠民为主要特征的现代城市可持续发展理念和实践,并通过在重点领域提供智慧应用 ...

  • 关于奉献的颁奖词10字
  • 一十 吴一男 孩子们,还记得你们刚入校时的样子吗,还记得你们第一天住校时的情况吗,用小手紧紧地抓着妈妈的衣服,哭着说别走,现在,爸爸妈妈送来的时候,你们会很自然地说"爸爸妈妈,再见",老师看到了你们的成长与坚强,应该给你们发一个大大的成长鼓励奖,真为你们的变化而高兴.老师觉得你是 ...

  • 环境监测市场规模高达万亿,关注智慧监测预警管理平台建设!
  • 编者的话 随着中国社会经济的不断发展,城市化规模的迅速扩张,生态环境的恶化也随之而来,环境问题日益突显,主要包括三大方面:(1)大气污染,如PM2.5和二氧化硫;(2)水环境污染,如有机物和重金属;(3)土壤污染,如酸碱盐和重金属.年初,国家制定了更加具有改革精神的环保"十三五" ...

  • 中国外交官的幽默
  • 幽默中释放严肃 周南是香港回归的历史见证人.1984年夏天,中英进行第17轮会谈.这次会谈的开场白,周南谈的是孔雀及埃及神话火凤凰:"大使先生,你进门的时候,有没有看见养在那里的十几只孔雀?"伊文思摇了摇头:"我没有注意到."周南说:"我看雄孔雀比雌 ...

  • 2014-智慧城市中的大数据
  • 第39卷第6期2014年6月武汉大学学报·信息科学版 GeomaticsandInformationScienceofWuhanUniversit y Vol.39No.6 June2014 :/.whuis20140135DOI10.13203jg()文章编号:167188602014060631 ...