徜徉于信息之海，与数字共舞，发现价值，创造未来——大数据时代正向每个人敞开！在国内，“大数据”从一个热门的IT概念到渐为公众所知，有一个人功不可没。他就是旅美信息管理专家、畅销书《大数据》的作者涂子沛。11月13、14日，涂子沛先后做客北京师范大学和新浪网“大数据”沙龙，畅谈他对大数据时代的理解，并就记者关心的问题展开了交流，在此特摘录他的精彩观点与《数据》读者分享。 大趋势：从数据到大数据 从上古的结绳记事到今天充斥在各个领域的统计数据，伴随着人类社会的发展进步，数据的用武之地也日益宽广。涂子沛认为，认识大数据时代，首先要把数据的内涵搞清楚。“之所以出现数据，是人类认识世界、描述世界、改造世界的需要。数据不是数字，是有根据的数字，代表着计算、逻辑、精确、理性、科学、事实。可以说，科学的语言就是数据。” 数据其实一直都在，何以成为大数据呢？涂子沛解答道：“进入信息时代后，数据的体积和内涵都在扩大。数据已不仅仅是有根据的数字，还演变成指代一切存储在电脑中、网络上的信息，包括数字、文本、图片、邮件、音频和视频等等。”他举例说，过去50年《纽约时报》共产生了30亿单词，如今推特（Twitter，知名社交网络及微博客服务网站）一天就能产生80亿单词。 早在上世纪80年代，美国人就提出了“大数据”的概念。涂子沛认为，“大数据”逐渐流行并受到重视与摩尔定律、普适计算、数据挖掘、社交媒体和云计算这五个技术浪潮息息相关。 他就此详解说：随着这些新技术的不断涌现，全世界的数据处理和存储不仅越来越快，越来越方便，还越来越便宜，海量数据的积累最终成为可能。“万物皆联网、无处不计算”正在成为现实。数据挖掘技术则把数据分析的范围从“已知”扩大到了“未知”，并最终推动了商务智能在各行各业的广泛应用。而随着2004年，推特、脸谱（Facebook）等社交媒体的兴起，个人开始贡献大量的行为数据，也就是所谓非结构化的数据开始爆炸式增长。数据总量大量增加，目前世界80%的数据为非结构化数据，我们已不折不扣地进入到了大数据时代。 “这五个因素的共同作用就产生了大数据。到2010年，大数据成了一个很热门的词汇。”涂子沛进一步强调：“‘大数据’之‘大’，不仅在于容量，更在于通过数据的整合和分析，发现新的知识，创造大的价值。也正因如此，‘大数据’正在成为国家和政府层面的发展战略。” 大影响：从信息时代到智能时代 《大数据》一书提到，美国麻省理工学院的教授布伦乔尔森认为大数据的影响就像4个世纪之前人类发明的显微镜一样。“这个新的‘显微镜’将扩大人类科学的边界，推动人类知识的增长，引领新的经济繁荣”，涂子沛如是评价道。“大数据将引领我们从信息时代、知识时代向智能时代迈进。”可见，他对大数据的未来满怀信心。 无疑，人类已进入信息时代，借助各种搜索工具，你可以迅速找到自己需要的信息。而经过系统化整理的信息就构成了知识。“现在网上有大量免费的整理好的信息，比如在线教育，斯坦福大学的一堂课可能同时有十万人在上，而这其中只有100人是坐在教室里听讲的。知识无处不在，所以今天也是一个知识的时代。” 那么，知识再上升一层是什么？涂子沛将之归结为：智慧、智能。“能带来与众不同的知识就叫智慧，智慧可以指导行动、产生新的价值。大数据就是引领我们进入智能时代的基石。”他举例说，国际商业机器公司（IBM）的计算机“沃森”2011年在美国热门益智节目中战胜了两位人类冠军选手。与计算机“深蓝”只会做一件事（下国际象棋）不同，“沃森”从天文地理到明星八卦无所不知，其背后正得益于大数据的支撑，它能处理海量数据并快速回答。谷歌计划几年后上市的无人驾驶汽车同样依赖其强大的数据处理能力。 由此引申，他指出：“在智能时代，人与人之间的合作、任务之间的对接会更精确，整个国家和社会的运行成本会更低。由此不难推断，数据将成为创新的新基础。如今数据已成为生产过程中的基本要素和资产。组织拥有数据的种类、规模、活性以及收集运用数据的能力成为其核心竞争力。基于数据的创新和竞争将成为商业、国家竞争的重要形式。” 大数据时代，数据的价值从何而来？涂子沛认为，海量是基础，整合是关键。他谈道：“从目前的趋势来看，组织所拥有的数据已开始多元化，这包括组织内部通过自身的信息系统所获得的精确数据、社交媒体产生的模糊数据（单条数据可能没有明确的含义），以及组织外部的数据（如公共数据、其他组织的数据）。有效地整合这些数据便可能创造新的财富和价值。” 大挑战：从数据开放到数据权 计算机专业出身，从事过政府部门的统计工作，令涂子沛与数据结下了深厚的缘分。后来到美国，他任职的公司主要为政府提供数据解决方案，又使他得以近距离感受美国社会对数据的重视。在他看来，大数据时代的特点和趋势可概括为“循数管理”和“数据竞争”。 他同时认为，在这些正在发生和演变的趋势中，也蕴藏着对个人、企业乃至全社会的巨大挑战。而最为关键的是：人们应该认识到“大数据时代所昭示的是一个更加开放的时代。”为此，他在多个场合疾呼，开放数据要成为政府以及企业义不容辞的责任。“公共数据有很大一部分是社会的基础性数据，缺少它，数据便无法有效整合；商业的基础数据也应该开放，如公司注册数据、顾客行为记录等。”他介绍说，随着数据的不断开放，创新的力量正在向大众流动，数据也将成为大众的一种权利，英国社会已经明确提出“数据权”的概念。 作为中国人，涂子沛最为关心的还是中国在这个大时代当中所处的位置。他坦言道：“今天的中国是人口大国、互联网大国、手机大国，却恰恰还不是一个数据大国。收集、使用、开放数据，都是我们中国人需要一一面对的挑战。” 不久前，一则有关“中华民族复兴已完成62%，引发民众热议”的消息也引起了涂子沛的关注。他认为，这项宏伟浩大的工程是可以量化和监测的，关键在于决策制定和政策评估的各个环节要推行民意调查的科学方法。“民众的哄笑其实也说明，大众对如何在社会治理中推进科学的评估方法还相当陌生甚至无知。中国社会非常需要在社会治理中普及科学的评估知识和数据的应用。” 政府统计部门作为海量数据的拥有者又如何应对新时代的挑战？“如果说科学的抽样方法的运用是继全面调查之后，使统计技术达到质的提升，那么在大数据时代，处理实时和多元的数据将为统计带来第三次革命，这将能有效改观统计滞后性的弊病。而眼下，政府最需要做的是把基础数据做好，促进数据在部门间的流动和整合。”涂子沛就此中肯地表达了自己的想法。 从培养国民的数据精神到开放型社会建设——中国，请做好准备，迎接大数据的挑战吧。
徜徉于信息之海，与数字共舞，发现价值，创造未来——大数据时代正向每个人敞开！在国内，“大数据”从一个热门的IT概念到渐为公众所知，有一个人功不可没。他就是旅美信息管理专家、畅销书《大数据》的作者涂子沛。11月13、14日，涂子沛先后做客北京师范大学和新浪网“大数据”沙龙，畅谈他对大数据时代的理解，并就记者关心的问题展开了交流，在此特摘录他的精彩观点与《数据》读者分享。 大趋势：从数据到大数据 从上古的结绳记事到今天充斥在各个领域的统计数据，伴随着人类社会的发展进步，数据的用武之地也日益宽广。涂子沛认为，认识大数据时代，首先要把数据的内涵搞清楚。“之所以出现数据，是人类认识世界、描述世界、改造世界的需要。数据不是数字，是有根据的数字，代表着计算、逻辑、精确、理性、科学、事实。可以说，科学的语言就是数据。” 数据其实一直都在，何以成为大数据呢？涂子沛解答道：“进入信息时代后，数据的体积和内涵都在扩大。数据已不仅仅是有根据的数字，还演变成指代一切存储在电脑中、网络上的信息，包括数字、文本、图片、邮件、音频和视频等等。”他举例说，过去50年《纽约时报》共产生了30亿单词，如今推特（Twitter，知名社交网络及微博客服务网站）一天就能产生80亿单词。 早在上世纪80年代，美国人就提出了“大数据”的概念。涂子沛认为，“大数据”逐渐流行并受到重视与摩尔定律、普适计算、数据挖掘、社交媒体和云计算这五个技术浪潮息息相关。 他就此详解说：随着这些新技术的不断涌现，全世界的数据处理和存储不仅越来越快，越来越方便，还越来越便宜，海量数据的积累最终成为可能。“万物皆联网、无处不计算”正在成为现实。数据挖掘技术则把数据分析的范围从“已知”扩大到了“未知”，并最终推动了商务智能在各行各业的广泛应用。而随着2004年，推特、脸谱（Facebook）等社交媒体的兴起，个人开始贡献大量的行为数据，也就是所谓非结构化的数据开始爆炸式增长。数据总量大量增加，目前世界80%的数据为非结构化数据，我们已不折不扣地进入到了大数据时代。 “这五个因素的共同作用就产生了大数据。到2010年，大数据成了一个很热门的词汇。”涂子沛进一步强调：“‘大数据’之‘大’，不仅在于容量，更在于通过数据的整合和分析，发现新的知识，创造大的价值。也正因如此，‘大数据’正在成为国家和政府层面的发展战略。” 大影响：从信息时代到智能时代 《大数据》一书提到，美国麻省理工学院的教授布伦乔尔森认为大数据的影响就像4个世纪之前人类发明的显微镜一样。“这个新的‘显微镜’将扩大人类科学的边界，推动人类知识的增长，引领新的经济繁荣”，涂子沛如是评价道。“大数据将引领我们从信息时代、知识时代向智能时代迈进。”可见，他对大数据的未来满怀信心。 无疑，人类已进入信息时代，借助各种搜索工具，你可以迅速找到自己需要的信息。而经过系统化整理的信息就构成了知识。“现在网上有大量免费的整理好的信息，比如在线教育，斯坦福大学的一堂课可能同时有十万人在上，而这其中只有100人是坐在教室里听讲的。知识无处不在，所以今天也是一个知识的时代。” 那么，知识再上升一层是什么？涂子沛将之归结为：智慧、智能。“能带来与众不同的知识就叫智慧，智慧可以指导行动、产生新的价值。大数据就是引领我们进入智能时代的基石。”他举例说，国际商业机器公司（IBM）的计算机“沃森”2011年在美国热门益智节目中战胜了两位人类冠军选手。与计算机“深蓝”只会做一件事（下国际象棋）不同，“沃森”从天文地理到明星八卦无所不知，其背后正得益于大数据的支撑，它能处理海量数据并快速回答。谷歌计划几年后上市的无人驾驶汽车同样依赖其强大的数据处理能力。 由此引申，他指出：“在智能时代，人与人之间的合作、任务之间的对接会更精确，整个国家和社会的运行成本会更低。由此不难推断，数据将成为创新的新基础。如今数据已成为生产过程中的基本要素和资产。组织拥有数据的种类、规模、活性以及收集运用数据的能力成为其核心竞争力。基于数据的创新和竞争将成为商业、国家竞争的重要形式。” 大数据时代，数据的价值从何而来？涂子沛认为，海量是基础，整合是关键。他谈道：“从目前的趋势来看，组织所拥有的数据已开始多元化，这包括组织内部通过自身的信息系统所获得的精确数据、社交媒体产生的模糊数据（单条数据可能没有明确的含义），以及组织外部的数据（如公共数据、其他组织的数据）。有效地整合这些数据便可能创造新的财富和价值。” 大挑战：从数据开放到数据权 计算机专业出身，从事过政府部门的统计工作，令涂子沛与数据结下了深厚的缘分。后来到美国，他任职的公司主要为政府提供数据解决方案，又使他得以近距离感受美国社会对数据的重视。在他看来，大数据时代的特点和趋势可概括为“循数管理”和“数据竞争”。 他同时认为，在这些正在发生和演变的趋势中，也蕴藏着对个人、企业乃至全社会的巨大挑战。而最为关键的是：人们应该认识到“大数据时代所昭示的是一个更加开放的时代。”为此，他在多个场合疾呼，开放数据要成为政府以及企业义不容辞的责任。“公共数据有很大一部分是社会的基础性数据，缺少它，数据便无法有效整合；商业的基础数据也应该开放，如公司注册数据、顾客行为记录等。”他介绍说，随着数据的不断开放，创新的力量正在向大众流动，数据也将成为大众的一种权利，英国社会已经明确提出“数据权”的概念。 作为中国人，涂子沛最为关心的还是中国在这个大时代当中所处的位置。他坦言道：“今天的中国是人口大国、互联网大国、手机大国，却恰恰还不是一个数据大国。收集、使用、开放数据，都是我们中国人需要一一面对的挑战。” 不久前，一则有关“中华民族复兴已完成62%，引发民众热议”的消息也引起了涂子沛的关注。他认为，这项宏伟浩大的工程是可以量化和监测的，关键在于决策制定和政策评估的各个环节要推行民意调查的科学方法。“民众的哄笑其实也说明，大众对如何在社会治理中推进科学的评估方法还相当陌生甚至无知。中国社会非常需要在社会治理中普及科学的评估知识和数据的应用。” 政府统计部门作为海量数据的拥有者又如何应对新时代的挑战？“如果说科学的抽样方法的运用是继全面调查之后，使统计技术达到质的提升，那么在大数据时代，处理实时和多元的数据将为统计带来第三次革命，这将能有效改观统计滞后性的弊病。而眼下，政府最需要做的是把基础数据做好，促进数据在部门间的流动和整合。”涂子沛就此中肯地表达了自己的想法。 从培养国民的数据精神到开放型社会建设——中国，请做好准备，迎接大数据的挑战吧。