当前，全球大数据产业日趋活跃，技术演进和应用创新加速发展，各国政府也逐渐认识到大数据在推动经济发展、改善公共服务，乃至保障国家安全方面的重大意义，纷纷积极出手推动。在全球大数据蓬勃发展的大背景下，我国也面临难得的发展机遇。当前也正是我国全面建设小康社会的关键时期，是深化改革开放、加快转变经济发展方式的攻坚时期。国家电子政务发展面临新的环境和要求，正处于转变发展方式、深化应用和突出成效的关键转型期。如何充分利用大数据理念和技术，进一步加快电子政务建设，提升政府管理能力和服务水平，是电子政务领域当前面临的紧迫课题。
大数据的应用和技术是在互联网快速发展中诞生的，起点可追溯到2000年前后。当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数达到40亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。当时搜索引擎要存储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统(GFS，Google File System)、分布式并行计算(MapReduce)和分布式数据库(BigTable)等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。
伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。2011 年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。
目前对大数据还没有标准的定义，一般认为它是一种数据量很大、数据形式多样化的非结构化数据。
维基百科定义为：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
百度百科定义为：大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。从各种各样类型的数据中快速获得有价值信息的能力，就是大数据技术。
IBM 从三个基本特性角度来定义大数据，即：“3V”：体量（Volume）、速度（Velocity）和多样性（Variety）。也有人认为大数据包括三个要素，即：大分析（Big Analytic）、大带宽（Big Bandwidth）和大内容（Big Content）。
电信研究院认为，认识大数据，要把握“资源、技术、应用”三个层次。大数据是具有体量大、结构多样、时效强等特征的数据；处理大数据需采用新型计算架构和智能算法等新技术；大数据的应用强调以新的理念应用于辅助决策、发现新的知识，更强调在线闭环的业务流程优化。因此说，大数据不仅“大”，而且“新”，是新资源、新工具和新应用的综合体。
尽管大数据定义不一，但总的来说，大数据具有如下几个特征：
首先是数据规模浩大。数量巨大是大数据最显著的特征，且数据量仍以前所未有的速度持续增加。国际数据公司（IDC）的研究报告称，未来十年内，全球大数据将增加50倍，到2020年，全球将达到35ZB（约3.5万亿GB）的数据信息量。
其次是大数据技术需要处理的数据类型日趋复杂，数据类型由传统的结构化数据向原先无法用常规软件进行深入分析处理的非结构化数据转变。随着互联网的飞速发展，各种新型应用不断涌现，如社交网络、电子商务、位置服务等，以文本、图形、语音、视频等为代表的非结构化数据的增长速度也越来越快，远远大于结构化数据的增长速度。未来大数据主要通过对非结构化数据的分析处理来获得价值。
再次是大数据的数据创建、分析和处理的速度在不断加快。目前，数据以传统系统不可企及的速度在传播，在短短的60秒内，YouTube用户会上传长达48小时的视频；Google会收到200万次搜索请求并能极快地回馈结果；Twitter需要处理100万条Tweets信息；AppStore有4.7万次的应用下载；全球新增网页达到571个。这对数据的处理也提出了更高的要求，数据处理的速度需越来越快，甚至是实时处理。
最后是大数据目前仍处于数据价值密度很低的阶段。尽管数据的价值不可估量，但受传统思维和技术的限制，人们很难充分发掘数据所蕴含的巨大价值，大数据的价值利用密度仍然较低。
一些发达国家已经在政府部门开始推广大数据应用。主要进展包括三个方面：
一是国家法律和政府政策推动。美国站在大数据时代的浪潮前沿，积极探索利用大数据发展电子政务的道路。 2000 年，美国通过《数据质量法》；2007 年通过《开放政府法》；2009年奥巴马上任首日签署首份总统备忘案《透明和开放的政府》；2012年发布《大数据研究和发展计划》，同时组建“大数据高级指导小组”，投资2亿美元，将大数据提升至联邦政府战略层面。2006年，英国“数据运动”拉开序幕；2010 年首相卡梅伦又提出“数据权”概念，推出新的执政纲领，积极推进政府数据开放，提高大众社会参与度。2011年，韩国总统国家ICT战略委员会发布了“大数据倡议”。2012年，欧盟委员会在《欧洲数字化议程及其挑战》中提出了大数据战略，强调公共数据安全及挖掘公共机构数据的价值潜力的必要性，同时要求加强个人数据安全保护。
二是建设政府数据开放网站。世界各国(地区)政府在应对大数据时代发展电子政务最为直接的举措和最显著的标志就是建设政府数据开放门户网站，进行数据开放。目前，主要发达国家的政府信息共享已经开始步入开放数据阶段，2009年，美国政府数据开放门户网站Data.gov上线；2010 年，英国 Data.gov.uk上线；中国香港也积极推出公共数据开放网站Data．One。2012年，新加坡建设了data.gov.sg，50多个政府部门的5000多个数据集通过此网站向公众开放。目前全球有50多个国家已经建立了专门的数据开放网站，围绕民生需求逐步向公众开放免费的可机读数据集，鼓励开发人员基于数据集开发应用程序，带动全社会创新，已成为大势所趋。
三是组建以大数据为核心的国际政府联盟。2011年9月20日，美国、英国、挪威、墨西哥、印度尼西亚、菲律宾、巴西、南非八大发起国成立“开放政府联盟”(OGP，Open Government Partnership)，发布《开放政府宣言》，为世界各国政府应对大数据时代进行数据开放做出示范。截至2014年2月10日，全球已有63个国家加入开放政府联盟。
作为智慧政府的关键技术之一，大数据的发展将对政府部门的行政管理和公共服务产生深刻的影响。
一是提高政府决策科学化水平。大数据大大拓展了政府决策的信息边界条件，并创新了决策的方法。在大数据的环境下，政府将从基于“经验”的决策模式走向基于“实证”的决策模式，为政府科学和精准的决策提供支持。
二是促进跨部门信息共享和业务协同。大数据的包容性将有助于打破政府各部门间、政府与公民间的固有边界，信息孤岛现象将有可能大幅度削减，数据共享有望成为现实，提高政府各机构协同办公的效率和为民办事的效率，有利于改善服务体验并降低行政成本。
三是增强政府危机管理的预警能力和应急能力。加强电子政务大数据的管理不仅能动态监测而且还能深度分析和挖掘网络舆情和危机事件的动态，提高政府危机预警能力和应对能力。
四是提升政府公共服务水平。大数据的信息粒度更细，使得差别化甚至是个性化的信息提供和服务成为可能，进一步提升居民对政府服务的满意度。
五是促进政府管理更加开放和透明。数据高度开放和大规模强力流动，意味着知识在政府管理中得到深度挖掘和更加广泛的利用，这将促使政府的管理和服务更加开放和透明。
一是中国政府的数据量已经初具规模。经过十多年的电子政务建设，各级政府部门积累了大量数据。人口、企业法人、空间地理和宏观经济等基础信息库建设取得一定进展。绝大多数中央部委和省级政府部门的核心业务都有数据库支撑，核心业务数据库覆盖率超过80%。
二是大数据产业链及技术逐步成熟。近年来，IBM、Google等国际跨国IT企业积极开展大数据技术研发、企业并购和产品推广，达梦、神舟通用、人大金仓等国产数据库软件企业也积极跟进，在数据分析等方面寻求突破。
三是国际和商业领域大数据应用为电子政务大数据应用提供经验借鉴。大数据应用起源于互联网，正在向以数据生产、流通和利用为核心的各个产业渗透。目前金融、零售、电信、公共管理、医疗卫生等领域在积极地探索和布局大数据应用。
2012年以来，科技部、发改委、工信部等部委在科技和产业化专项陆续支持了一批大数据相关项目，在推进技术研发方面取得了积极效果。2013年6月工信部发布的《电信和互联网用户个人信息保护规定》，根据《全国人民代表大会常务委员会关于加强网络信息保护的决定》，进一步界定了个人信息的范围，提出了个人信息的收集和使用规则、安全保障等要求，为大数据应用中的个人信息保护设立了法律法规屏障。2014年《政府工作报告》明确提出，“以创新支撑和引领经济结构优化升级；设立新兴产业创业创新平台”，在新一代移动通信、集成电路、大数据等方面赶超先进，引领未来产业发展。
2013年以来陆续出台了推进计划。总体上看各地大数据发展政策各有侧重，形成了不同的模式。
模式一是成立大数据管理机构。广东率先启动大数据战略推动政府转型。广东省政府于2014年2月26日印发了《广东省经济和信息化委员会主要职责内设机构和人员编制规定》（以下简称《规定》），设立广东省经济和信息化委员会，下设广东省大数据管理局。其具体职责是：研究拟订并组织实施大数据战略、规划和政策措施，引导和推动大数据研究和应用工作；组织制定大数据收集、管理、开放、应用等标准规范；推动形成全社会大数据形成机制的建立和开发应用；承担企业情况综合工作，负责企业数据收集和存储；组织编制电子政务建设规划并组织实施；组织协调政务信息资源共享；组织协调省级重大电子政务项目建设，组织协调网上办事大厅等电子政务一站式服务建设；负责统筹政务信息网络系统、政务数据中心的建设、管理；统筹协调信息安全保障体系建设；承担信息安全等级保护、应急协调和数字认证相关工作。上海市经济和信息化委员会（上海市经信委）也正在积极研究成立大数据局，成立后将推进上海政府层面的数据公开和信息共享，通过大数据挖掘来更好发挥政府管理职能。
模式二是注重公共信息资源开放共享。如上海市《推进大数据研究与发展三年行动计划》提出，将在三年内选取医疗卫生、食品安全、终身教育、智慧交通、公共安全、科技服务6个有基础的领域，建设大数据公共服务平台。上海政府数据服务网（www.datashanghai.gov.cn）作为开放统一入口，提供数据查询、浏览、下载等功能，来自28个市级政府部门的190项数据内容成为重点开放对象。2012年10月，北京政务数据资源网（http://www.bjdata.gov.cn/）开始试运行。该网站致力于提供北京市政务部门可公开各类数据的下载与服务，为企业和个人开展政务信息资源的社会化开发利用提供数据支撑，推动信息资源增值服务业的发展以及相关数据分析与研究工作的开展。此外，其他地方也都在积极为政府数据开放做准备。
模式三是以大数据引领产业转型升级。如北京中关村《关于加快培育大数据产业集群 推动产业转型升级的意见》提出，要充分发挥大数据在工业化与信息化深度融合中的关键作用，推动中关村国家自主创新示范区产业转型升级。
模式四是强调建立大数据基地，吸纳企业落户。如重庆、贵州、陕西、湖北等地都提出建设大数据产业基地的计划，力图将大数据培育成本地的支柱产业。在地方积极推动大数据发展的同时，也应警惕将“大数据”简单等同于“大数据中心”、盲目上马大规模园区建设的潜在过热风险。
一是电子政务大数据应用缺乏统筹规划，各地一窝蜂，容易形成新一轮盲目投资热潮；二是政府的意识仍不到位，大量数据尚未开放，需要加强引导和激励；三是政府大数据相关法规缺乏，数据安全与隐私问题值得关注；四是电子政务大数据应用的模式需要探索，产业链尚未形成。
以民生重要领域和政府决策支持为应用突破口，重点选取辅助决策、农业服务、医疗卫生、食品安全、教育、交通、公共安全、城市管理、科技服务以及金融、电信、能源、传媒等重要且数据量大的行业领域，建设大数据公共服务平台，试点先行、逐步推进。
·辅助决策。围绕科学决策、应急指挥、统筹协调、政策分析等工作，收集和汇聚各类政务信息，建立大数据决策分析模型，增强对重大突发事件、自然灾害及重要舆情的监测、预警、研判和处置能力，提高决策的科学性和有效性。
·医疗卫生。针对临床质量分析、医疗资源分配、医疗辅助决策、科研数据服务、个性化健康引导的需求，汇聚整合医疗、药品、气象和社交网络等大数据资源，形成智能临床诊治模式、自助就医模式等服务模式创新，为公民、医生、政府提供医疗资源配置、流行病跟踪与分析、临床诊疗精细决策、疫情监测及处置、疾病就医导航、健康自我检查等服务。建设电子诊疗档案库，形成PB级的医疗健康大数据资源，实现支撑跨地区多名医生同时在线诊疗的辅助能力。
·食品安全。针对食品安全和管理的需求，汇聚政府各部门的食品安全监管数据、食品检验监测数据、食品生产经营企业索证索票数据、食品安全投诉举报数据，建成食品安全大数据资源库，进行食品安全预警，发现潜在的食品安全问题，促进政府部门间联合监管，为企业、第三方机构、公众提供食品安全大数据服务。
·终身教育。针对全民学习、终身教育的需求，积累数字教育资源，收集教育服务平台学习者行为数据和学习爱好数据，为千万级学习者提供个性化的终身在线学习服务，提高教育资源的共享和利用率，实现因材施教，优化教学过程，提高教学质量，为教育政策调整提供决策支持。建立基于大数据支撑的优质教育资源开发、积累、融合、共享的服务机制，为全体学习者提供个性化选择与推送相结合的终身学习在线服务模式。
·智慧交通。针对交通规划、综合交通决策、跨部门协同管理、个性化的公众信息服务等需求，整合道路交通、公共交通、对外交通的大数据资源，汇聚气象、环境、人口、土地等行业数据，逐步建设交通大数据库，提供道路交通状况判别及预测，辅助交通决策管理，支撑智慧出行服务。
·公共安全。针对公共安全领域治安防控、反恐维稳、情报研判、案情侦破等实战需求，汇聚融合涉及公共安全的人口、警情、网吧、宾馆、火车、民航、视频、人脸、指纹等海量业务数据，建设公共安全领域的大数据资源库，全面提升公共安全突发事件监测预警、快速响应和高效打击犯罪等能力。
·科技服务。针对科技服务数据整合、交互式服务、发展趋势预测、战略决策支持等需求，汇聚科技成果、项目、人才、服务、互联网创新创意等大数据资源，支撑研发设计、技术转移转化、创新创业、科技咨询、科技金融等方面的科技服务。探索科技服务链整合、众包分包、供需对接的交互式平台型服务模式，建立科技服务业资源共享体系，建设跨领域科技服务与工程创新平台。
·行业应用领域。面向金融、电信、能源、传媒等数据量大的行业领域，大力开展数据采集和监测，提供数据挖掘和分析、商业智能及横向扩展存储等软硬件一体化行业大数据应用解决方案。
一是建立政府大数据采集更新机制。明确电子政务建设和政务数据资源管理的综合协调部门，以政务应用需求为导向制定数据资源规划，建立公共基础数据资源的标准，完善数据资源采集、共享、利用和保密等相关制度，完善政务信息资源目录体系，扩大数据的采集和交换共享范围。建立数据更新策略，通过条块结合比对、第三方验证的方法，同时引入数据涉及到的个人和企业、其它部门的相关数据加以校验，以提高数据的完整性、准确性和及时性。
二是构建国家政府大数据基础平台。构建统一的data.gov.cn，促进数据开放和共享，奠定国家大数据应用的基石。基于该平台，一方面，是数据开放，把政府及其支撑机构掌握的非涉密信息进行开放，鼓励社会力量积极参与政府数据资源的深加工和再利用，从而扩展电子政务大数据的应用范围，盘活政府信息资源价值，把政府大数据转化成社会财富。另一方面，是数据汇集，把相关企业、研究机构（尤其是互联网企业）形成的大数据进行汇集和整合，供决策参考。
三是积极推进电子政务大数据示范应用。以跨部门综合性应用为重点，通过试点示范，快速形成一批电子政务大数据应用案例。
四是加强电子政务大数据应用的安全保障。一是加强核心技术自主可控。大数据的安全风险更大，应加强政府数据中心的管理，通过国家重大科技项目，下更大力气推进国产 CPU、操作系统、大型数据库管理系统等核心技术的研发及大规模商用。只有掌握了大数据核心技术和关键技术，中国政府的大数据工作才能在信息安全方面得到保障。二是加强数据安全和隐私保护，加快推进大数据的立法工作，防止政府大数据被滥用。
分享
打印