采集记录足够多的数据，使工作更加针对化和精准化，这是大数据吗？这不是大数据而只是数据化。

什么是大数据呢？例如洛杉矶警方曾对以往的刑事案件做了统计，通过算法得出了第二天的高概率犯罪地点，然后有针对性的派警察去该处巡逻，从而使得当地的犯罪现象下降20%。这是大数据。

再比如，经济学家都认为股票无法预测，而一位剑桥大学毕业的博士搞了个公司，对有史以来几乎所有的证券交易的数据进行记录，然后通过算法进行分析。

他对什么国家政策、公司业绩、行业走向等等一眼都不看，100%地排除主观意志的，只根据计算结果来进行投资，最后赚了大钱。这是大数据。

大数据的精髓并不在于数据的精准和数量，而在于对内在规律的挖掘和对未来趋势的预测。其思路是：一个结果是有很多原因的，原因作用的强度可能是随机的，我们对其中作用的机理并不清楚。

我们难以找出规律性，但知道规律性就蕴含在结果数据之中，如果我们能建设合适的模型，写出好的算法，就有可能把这个规律性提炼出来，从而能科学地发现真相和预测未来。

今天上午在贵州省大数据中心看到了大数据应用的事例。

金润建设和鹏润达这两家企业分别投标200多次，一次也没中过，依然积极地投。投标是要成本的，这两家公司那里来的动力？

通过大数据的知识挖掘技术，发现了它们总是陪着固定的一家公司一同招标，最后总是那家公司中标。围标、串标、陪标的秘密被大数据挖掘出来了??

数据蕴含着无穷的价值，大数据就是“钻石矿”，但必须善于挖掘。

「大数据」(big data)和「资料科学家」(data scientist)是近年来商业界的热门关键字。不过，你感受到大数据的重要性，却未必真正了解大数据和你我的工作、和企业的关联性是什么？以下5 张图，让你快速了解大数据的商业应用。

A : 狭义的定义是指，符合「3V」条件的数据资料，分别是：

• Volume(大量)：以过去的技术无法管理的资料量，资料量的单位可从TB(terabyte，一兆位元组)到PB(petabyte，千兆位元组)。
• Variety(多样性)：企业的销售、库存资料；网站的使用者动态、客服中心的通话纪录；社交媒体上的文字影像等企业资料库难以储存的「非结构化资料」。
• Velocity(速度)：资料每分每秒都在更新，技术也能做到即时储存、处理。广义的定义，《大数据的获利模式》作者城田真琴认为，还要包括具备储存、处理与分析这些资料的技术，和能够从这些资料中取出有用资讯或洞见的人才和组织。

A : 美国顾问机构顾能(Gartner)分析师霍华?瑞斯纳(Howard Dresner)在1980年代提出「商业智慧」概念，指有系统地储存企业内、外部资料，并加以分析，辅助商务决策。瑞斯纳认为，经理人应该亲自经手资料，以达到迅速决策与提高生产力的目标。

商业智慧可分析过去发生什么事，以及为什么会发生这件事，像是利用统计学回归分析，从Ａ产品过去一年的销量结构，找出销售下滑的原因。大数据则可根据目前发生了什么事，预测未来将发生什么事。例如，电商可即时监控销售情况，预测顾客回购周期。

A :《大数据的获利模式》作者城田真琴将企业能取得的资料分为4 种：

1. 公司本身的事业活动资料：属于公司的核心资料，例如便利商店的POS 系统资料。
2. 公司背景资料：比方说员工的通讯录或财务报表，但是对服务顾客没有帮助。
3. 其他公司或顾客的资料：像是顾客在社交网站上的活动纪录，就是企业即使花钱也想拿到的资料，因为对自己很有用。
4. 公开资料：通常可以免费取得，企业应该积极运用例如政府的公开资讯，例如政府的公开资讯。

A : 阿里巴巴副总裁车品觉提出了数据的5 大价值：

1. 识别与串联：能够辨识出用户的资讯(手机、生日、e-mail等)
2. 描述：举凡用户搜寻的关键字、企业的营运数字、网站活动的相关数据，企业都可以用来做为营运的仪表板。
3. 时间：从用户的行动时间轴推测他的行为，例如刚搜寻过旅馆的使用者，在拜访其他网站时，也能即时看到旅馆广告。
4. 预测：可以帮助公司预测销售，影响公司经营策略。
5. 产出数据：将现有数据组合产生新的数据，像是将网路卖家的各项表现(物流、商品、客服等)，综合在一起形成店铺评分机制。

A : 基于前述资料的特性，大数据的储存、处理和分析绝非易事，通常需要团队支援，才能发挥出资料的最大效果。

大致来说，资料分析领域包含5 个关键职务：资料工程师与软体工程师负责资料的清理、储存和处理；资料分析师将资料视觉化，供资料科学家分析；资料科学家依据想要解决的商业命题建构模型，供决策参考；领域专家则是熟悉领域专业知识，提供专业见解供资料科学家分析参考，扮演发展决策的桥梁。

关于大数据，只需要了解这几点。

第一：什么是大数据

简而言之，大数据是指大数据集，这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。数据量不在多，只要足以得出可靠的结论即可。

第二：如何获取大数据

大数据无处不在，随着时间的推移，一个简单的Google搜索就能够找到几乎所有的数据存储库。里面不知道有多少数据可用于访问和分析。我现在这里提供一个可供学习的数据集列表：（https://www.kdnuggets.com/datasets/index.html）

第三：用这些数据做什么

数据采集、数据存储、数据清洗、数据分析、数据可视化

1.数据采集

在发生任何事情之前，需要一些数据。这可以通过多种方式获得，通常通过对公司Web服务的API调用。尤其是我们在工作中遇到的数据很多都是来自系统内的数据，来自数据库的数据来自日志的数据。

数据采集常用的手段有：SQL／Python，其中SQL是数据分析的必备技能，Python是加分项。

2.数据存储

大数据的主要难点在于如何管理数据的存储。这完全取决于负责建立数据存储的预算和个人具备的专业知识，因为大多数需要一些编程知识来实施，一个良好的数据库能让我们直接地存储和查询数据。

3.数据清理

采集来的数据一般是不规整的，字段缺失或者有错误是常有的事情，如果我们不对这些数据进行清洗，分析出的结果就会出现各种异常。在数据清洗这一块就需要用到一些简单的统计学基础。

4.数据挖掘

数据挖掘是发现数据库内的见解的过程。这样做是为了能用掌握的数据提供预测和做出一些正确的决定，这部分往往涉及一些算法，也是最困难的部分。

5.数据分析

一旦收集完所有数据，就需要分析以寻找数据的模式和趋势，发现一些不同寻常的地方，比如异常点或增长点、下降点。

6.数据可视化

也许最重要的是数据的可视化。这是先完成所有工作并输出理想情况下任何人都能理解的可视化的部分。最常使用某种编程语言（如Plot.ly、d3.js）或软件（Tableau）来完成。

第四：就业前景

就根据教育部近日公布的2017年度高校本科专业备案和审批结果显示，新增2311个专业中，“数据科学与大数据技术”、“机器人工程”等专业热度最高。大数据和人工智能一定是未来有美好前景的专业。从谷歌搜索热度看，自2010年左右热度只增不减。

欢迎各位或者各位的孩子们加入数据分析师的队伍！

大数据（Big Data）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中提出，指不用随机分析法（抽样调查）的捷径，而是采用所有数据进行分析处理。大数据有4V特点，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

对于“大数据”（Big data）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

这里从大数据和AI人工智能关系层面做个简单的分享！

大数据：人工智能背后的基石

大数据是人工智能的基石，目前的深度学习主要是建立在大数据的基础上，即对大数据进行训练，并从中归纳出可以被计算机运用在类似数据上的知识或规律。

简单而言何为大数据？

虽然很多人将其定义为“大数据就是大规模的数据”。

但是，这个说法并不准确！

“大规模”只是指数据的量而言。

数据量大，并不代表着数据一定有可以被深度学习算法利用的价值。

例如：地球绕太阳运转的过程中，每一秒钟记录一次地球相对太阳的运动速度、位置，可以得到大量数据。可如果只有这样的数据，其实并没有太多可以挖掘的价值！

大数据这里我们参阅马丁·希尔伯特的总结，今天我们常说的大数据其实是在2000年后，因为信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据：

信息交换：据估算，从1986年到2007年这20年间，地球上每天可以通过既有信息通道交换的信息数量增长了约217倍，这些信息的数字化程度，则从1986年的约20%增长到2007年的约99.9%。在数字化信息爆炸式增长的过程里，每个参与信息交换的节点都可以在短时间内接收并存储大量数据。

信息存储：全球信息存储能力大约每3年翻一番。从1986年到2007年这20年间，全球信息存储能力增加了约120倍，所存储信息的数字化程度也从1986年的约1%增长到2007年的约94%。1986年时，即便用上我们所有的信息载体、存储手段，我们也不过能存储全世界所交换信息的大约1%，而2007年这个数字已经增长到大约16%。信息存储能力的增加为我们利用大数据提供了近乎无限的想象空间。

信息处理：有了海量的信息获取能力和信息存储能力，我们也必须有对这些信息进行整理、加工和分析的能力。谷歌、Facebook等公司在数据量逐渐增大的同时，也相应建立了灵活、强大的分布式数据处理集群。

大数据在应用层面：大数据往往可以取代传统意义上的抽样调查、大数据都可以实时获取、大数据往往混合了来自多个数据源的多维度信息、大数据的价值在于数据分析以及分析基础上的数据挖掘和智能决策。

美国《大西洋月刊》公布的一段A.I.聊天记录截图

延伸阅读：聊天机器人竟自创语言“对话” 脸书将其紧急关停

实际上人工智能的发展，离不开海量数据进行训练，究其根本大数据的循环往复无数次的训练和深度学习才有了人工+智能！

实际上人工智能、大数据、物联网以及云计算，彼此之间皆存在着千丝万缕的“亲缘”关系！！！

大数据是我的主要研究方向之一，同时也在带大数据方向的研究生，所以我来回答一下这个问题。

首先，大数据技术是一系列围绕数据价值化的技术总称，包括数据采集技术、数据存储技术、数据分析技术、数据呈现技术以及数据应用技术等，其中大数据技术与物联网技术、云计算技术、边缘计算技术和人工智能技术有紧密的联系。

按照目前大数据产业链的分布来说，大数据技术是从数据采集技术开始的，目前主要的数据采集渠道包括物联网系统（占比百分之90以上）、Web系统（含App）和传统信息系统，比较常见的数据采集方式就是通常“爬虫”等方式来实现，另外涉及到数据清洗技术，重点在于Sql语言的学习和掌握。

数据分析是目前大数据技术的重点，数据分析技术有两种常见的方式，分别是机器学习方式和统计学方式，不论采用哪种方式都需要具备一定的数学基础和编程基础。以机器学习方式为例，首先要掌握常见的机器学习算法，包括决策树、k-mean、SVM、Apriori、EM、PageRank、kNN、朴素贝叶斯等，接下来需要通过编程语言完成算法实现，目前Python语言在机器学习领域有广泛的使用。

通过Python语言来进行数据分析需要掌握一些比较常见的库，包括Numpy、Scipy、Matplotlib（用于结果呈现）、pandas等。Python语言借助于大量的库能够为数据分析人员节省大量的时间，而且调整起来也比较方便。目前大数据比较常见的落地应用就是数据分析，尤其是结合具体行业的场景大数据分析。

在产业互联网领域，由于企业的数据具有高度的机密性，所以通常对于数据的应用边界有严格的要求，此时就需要采用云计算和边缘计算相结合的数据处理方式，让数据在网络边缘进行处理，把结果返回到云端。

随着大数据技术和5G网络的逐渐落地应用，大数据技术也将被赋予更多的含义，相信未来大数据技术体系会越来越庞大，相关的研究方向也会越来越多。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网方面的问题，或者考研方面的问题，都可以咨询我，谢谢！

由于互联网的存在大数据收集才成为可能！所谓大数据就是从海量的互联网信息中通过运用统计学、概率论的原理，去伪存真得出有用信息经过云计算成为指导有关部门的决策依据！当然必须分门别类的收集大数据，政治、军事、经济、文化、社会、各行各业等等均有所侧重！具体如何实现请问这方面的專家学者！

1989年，当万维网出现之后，给我们带来了第四次传播革命，互联网以其海量的空间、互动的方式，使得信息数量急剧增加，根据ZDNET的数据显示，2013 年中国产生的数据总量超过0.8ZB，2 倍于2012 年，相当于2009 年全球的数据总量，而预计到2020年，中国产生的数据总量将达到16ZB。尤其在“摩尔定律”使得存储能力极速提升、社交媒体的出现使得生产数据的能力高速发展、新数据挖掘技术使得数据分析能力大大扩展三大动力的推动下，全世界进入了大数据时代，2013年也被称为大数据元年，意味着大数据开始进入商用阶段。在大数据时代，DT+将成为大势所趋。

大数据及其本质特征

大数据是指以服务于决策为目的，需要新型数据处理模式才能对其内容进行采集、存储、管理和分析的海量、高增长率和多样化的信息资本。

大数据具有如下本质特征：一是根本目的是服务于决策，大数据能够帮助各类组织和个人大幅度提升决策能力，做出更好的决策和判断；二是量度大，大数据通常是指100T以上的数据量，这难以依靠传统的计算手段有效计算，而必须依靠新的计算手段和数据挖掘工具；三是频率高，大数据是用户参与与互动而产生的数据，根据用户的网络痕迹来及时地了解用户的相关数据，这种数据是按照天甚至小时来计的高频数据。而传统的数据频率都很低，很多数据是按照月甚至按照年份来计算的；四是速度快，大数据是实时性的数据，能够实时反应。例如，在百度搜索框输入一个关键词，能够瞬间呈现，而传统的数据收集方式则是严重滞后的；五是维度丰富多样，大数据是全样本数据、多维度数据、非结构化数据，既包括普通的结构化数据，又包括视频和音频等非结构化数据。正是因为大数据的维度多样性，其也更为复杂。六是永远在线。在线是大数据的前提条件，从这个角度来说，大数据是永远在线的，能够随时被调用的。大数据通过分析各种网络终端上的用户痕迹，能够更好地分析用户的行为、情感、思想、爱好与需求，来更好地进行决策和分析。七是本质是信息资本。大数据是能够为政府和企业带来未来经济利益的信息资源，其本质是信息资产，而且随着大数据的应用越来越广，其价值会越来越大。因此，不应该仅仅把大数据看成成本，而把其看成和土地、资本、人才等一样的新生产要素。

政府数据公开是大数据发展的保障

大数据的重要组成部分是政府数据，因此政府数据公开的程度和广度将在很大程度上决定着大数据的发展水平。目前，美国等西方发达国家大力推进数据开放运动，在数据公开程度上居于世界前列。2011年9月20日，美国、巴西、印度尼西亚、墨西哥、挪威、菲律宾、南非、英国等八个国家（G8）联合签署了《开放数据声明》，在纽约发起“开放政府联盟”（OGP），以向本国社会开放更多的信息。2013年6月，8国集团首脑签署了《开放数据宪章》，制定开放数据行动方案，并设定了开放数据宪章的五大原则：开放数据为默认；为激励创新发布数据；为改善治理发布数据；注重数量和质量；让所有人可用。尤其需要指出的是，其中最重要的一条就是“开放为默认，不开放为特例”的原则，这就约束政府部门尽最大可能地公开所有数据，而反观我国，由于政府数据开放的程度很低，各部门基于自身的利益，基本上采取的是“开放为特例，不开放为默认”的原则，这也导致形成一个个的“信息孤岛”。

2007年，国务院通过了《中华人民共和国政府信息公开条例》，国务院办公厅印发的《2015年政府信息公开工作要点》更加明确地强调推进行政权力清单、财政资金、公共服务、国有企业、环境保护等九大领域的信息公开工作。2015年8月19日，国务院总理李克强主持召开国务院常务会议，通过《关于促进大数据发展的行动纲要》。目前，我国的政府数据开放存在着五大挑战：一是开放与安全，在实践中，很多人以数据安全为由来反对数据开放，这是一种很片面的观点；二是人才和文化，我国的数据人才在量和质上都存在重大缺陷，而且也没有形成“数据文化”；三是政策标准不统一；四是政策法规不健全。

我国在政府数据开放方面，我国存在三大主要问题：一是我国尚未建立起全国统一的大数据平台，导致形成一个个的信息孤岛，影响了政府数据开放的成效；二是我国的数据污染很严重，很多原始数据存在夸大或瞒报现象；三是一些地方没有把大数据当成政府公共服务的重要部分，而当成盈利的资源。

大数据蕴藏着新哲学思想和优势

首先，大数据拓展了新的哲学思想。大数据既能处理“因果关系”又能处理“相关关系”，即不仅能够回答“为什么”又能回答“是什么”。在小数据时代，只能通过抽样调查的方式来回答“为什么”。而大数据则能通过全样本的方式来回答“是什么”，即发现相关关系，这能够帮助我们更好地地认识和了解世界。例如，沃尔玛发现在尿布旁边放上啤酒能够提高啤酒的销量，就把尿布和啤酒混搭销售。毫无疑问，尿布和啤酒之间并无因果关系，而二者在一起就形成很好的相关关系。

其次，大数据分析具有显著优势。一是大数据能够实现分析的高度智能化，既能实现信息收集和分析的智能化，又能实现数据与用户需求的有效匹配；二是及时、迅速。大数据分析改变之前的市场调研和数据分析相对滞后的模式和方式，能够及时、迅速地进行分析。例如，传统的市场调研一般耗时几个月，而基于互联网的大数据调研则只需要几天就能得到调研结果；三是成本相对较低。由于可以大量使用技术手段，其成本相应较低。一般来说，传统的市场调研方式，每一份问卷都需要近百元，而互联网调研一份问卷只需要4元左右。

大数据实施的三大关键点

首先，数据的可获得度。目前在国内，大数据的发展严重受制于政府信息的公开性不够，很多数据难以获得，导致难以实现真正的大数据挖掘和分析，这就要求政府及时开放更多的数据，以提高数据的可获得度。

其次，进行科学的模型建构。模型的科学性直接决定着数据分析的质量，这就要求有高超的建模水平，当然数据量越多也有助于模型的合理构建。

第三，利用专家对观点进行提炼。为决策提供依据的基于数据挖掘的独到、高质量的观点，高度依赖于高质量的数据解释，这就体现了行业专家的价值。

在大数据时代，大数据已经成为整个社会的底层架构和标配，其上的一切都必须按照大数据的要求进行重构，大数据在解决大问题方面尤为有效，目前在语音搜索、智慧城市建设、互联网金融治理等方面取得了长足的进展，未来更多的领域都必将被大数据所革命和重构。

简单来说，大数据就是大量的信息，尤其指存在于互联网和数字终端中的数字信息。大数据到底有多大?统计数据表明，在一天之中，互联网产生的全部内容可以刻满1.68 亿张DVD。IBM 公司的研究称，在整个人类文明所获得的全部数据中，有90% 是过去2 年内产生的。而到了2020 年，全世界所产生的数据规模将达到今天的44 倍。

大数据，是当今公众津津乐道的一个热词，人们纷纷在探讨大数据所带来的科技进步及所蕴含的巨大价值，甚至有人把大数据形容为未来世界的石油，更有人宣称掌握了大数据的人，就可以像上帝一样来俯瞰整个世界。《大数据》一书的作者维克托认为，2020年世界将进入大数据时代。那么，到底什么是大数据？它将带给相关产业、特别是普通公众什么样的影响？

世界是一部战争史、货币史、金融史，同时世界也是一部信息史。数据或者信息技术的每一次革命都必然会迎来人类的一次革命性变化。

国家图书馆的藏书量有2600万册，如果从数据来看的话，一个家庭一年产生的数据相当于半个国家图书馆的数据总量。当一个时代的人没有办法用那个时代的工具来处理的数据就可以称为大数据。而大数据并非现在才出现，现在的大数据是现代人用现代工具处理不了的数据。其实古人也会遇到同样的问题，比如人口普查，中国在东汉时期就有几千万人，这显然是大数据。

在谈到大数据的时候，人们往往知道的就是数据很大，但是它具体有什么特征呢？大数据的特征应该有以下几个方面（4V）。首先是量特别大（Volume），现在的数据计算单位，已经从GB到达了TB、PB，甚至是EB了；其次是多样性（Variety），绝大多数大数据是非结构性的，其种类十分复杂，我们现在的技术手段还没法对此进行处理；再次是速度（Velocity），数据产生和传送的频率非常快；最后是价值（Value），从大量的低质量、低价值的数据中获取知识，犹如从大海中捞针，获取数据成本很高，但有待挖掘价值大。

大数据给企业和商业带来了巨大的价值，比如在互联网金融领域降低了不良贷款率，减少了交易成本。谷歌利用大数据预测季节性流感的爆发和传播。AT&T将用户在WiFi网络中的地理位置、网络浏览历史记录以及使用的应用等数据销售给广告客户。当用户距离商家很近时，就有可能收到该商家提供的折扣很大的电子优惠券，等等。

我们现在所说的大数据革命发生在2008年之后，所谓大数据革命是指我们需要更多的是数据，用数据来描述一个世界。从本质上来说，科学实际是不断将自然界或者人体量化，用数据来描述世界的过程。比如早期有人口迁徙的大数据，后来有用数据表示的长度、重量、体积、面积，用数据表示的时间、空间、颜色，还有电流、电压、声音、图像的数据化，再到今天基因数据化研究、物理学、量子力学、以及其他数据的研究。2013年的化学诺贝尔奖获得主实际上做的是大数据者的分析，用计算机的数学模型，压缩海量化学反应的数据，从而准确的用数据或者大数据方式描述医学或者遗传学。

在大数据时代我们如何保护自己的隐私呢？专家们也给出了一些具体的建议：首先，国家相关的法律也对个人隐私的保护问题进行了相应的规定和约束，2013年1月份全国人大通过了关于个人用户隐私保护的决定，同时工信部根据全国人大的决定，出台了关于互联网和电信网个人信息保护的条例以保护用户的隐私，这些都对个人隐私的保护具有一定的作用。其次，企业要履行自己的社会责任，通过特定的技术手段对用户信息进行不可逆的处理。一旦发生用户信息外泄，企业要承担相应的责任。最后，用户也需要注意保护自己的隐私。一些信息泄露事件的出现，也与广大用户本身对个人信息的保护意识不足有一定关系。所以，在大数据时代，迫切需要向用户开展加强自身信息保护意识的教育，也就是安全上网的知识普及和教育。