教育培训 > 大家都在讲大数据,大数据是什么呢?

大家都在讲大数据,大数据是什么呢?

2020-10-16 17:04阅读(60)

大家都在讲大数据,大数据是什么呢?如题:第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。从大数据的特征定义理解行业对大数据的整体描绘

1

第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术,技术是大数据价值体现的手段和前进的基石。分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践,实践是大数据的最终价值体现。分别从互联网的大数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

古语云:三分技术,七分数据,得数据者得天下。先不论谁说的,但是这句话的正确性已经不用去论证了。维克托·迈尔-舍恩伯格在《大数据时代》一书中举了百般例证,都是为了说明一个道理:在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中,作者提及最多的是Google如何利用人们的搜索记录挖掘数据二次利用价值,比如预测某地流感爆发的趋势;Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐,以此有效提升销售量;Farecast如何利用过去十年所有的航线机票价格打折数据,来预测用户购买机票的时机是否合适。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。

而当物联网发展到达一定规模时,借助条形码、二维码、RFID等能够唯一标识产品,传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析,这些数据能够支撑智慧城市,智慧交通,智慧能源,智慧医疗,智慧环保的理念需要,这些都所谓的智慧将是大数据的采集数据来源和服务范围。

未来的大数据除了将更好的解决社会问题,商业营销问题,科学技术问题,还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰,大部分的数据都与人类有关,要通过大数据解决人的问题。

比如,建立个人的数据中心,将每个人的日常生活习惯,身体体征,社会网络,知识能力,爱好性情,疾病嗜好,情绪波动……换言之就是记录人从出生那一刻起的每一分每一秒,将除了思维外的一切都储存下来,这些数据可以被充分的利用。

2

什么是大数据:

网络定义:

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

有人给出这种定义:

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

什么是大数据数据技术:

获得这些资产的方法就是大数据技术。

专业的说,就是根据特定目标,从数据收集与存储、数据筛选、算法分析与预测,数据分析结果展示,以辅助作出最正确的抉择,其数据级别通常在PB以上,复杂程度前所未有。

主要包括以下几种技术:

非结构化数据收集架构,数据分布式存储集群,数据清洗筛选架构,数据并行分析模拟架构,高级统计预测算法,数据可视化工具。

大数据的价值:

用大数据技术,对海量数据进行处理,尽而挖掘出各个行业的关键路径,帮助决策,提升社会(或企业)运作效率。这是大数的意义。

具体包括以下几个方面:

收集数据:

大数据的第一站就是收集和存储海量数据(公开/隐私)。现在每个人都是一个巨大的数据源,通过智能手机和个人笔记本释放出大量的个人行为信息。获取数据似乎已经变得越来越容易,数据收集这一模块最大的挑战在于获取海量数据的高速要求以及数据的全面性考虑。

除了收集数据 ,还有清洗数据、存储数据 、处理数据、人工智能等大数据处理方法,在此不再介绍。

平时我们听到的,看到的大数据,其实就是在这个方面具体的应用。利用大数据帮助企业提高营销效果,帮助企业决策,帮助企业经营等。

对文章感兴趣,可以关注我们,查看更多往期好文。

3

“大数据的运用,汽车私人定制服务已经不远。”

这里仅从笔者比较熟悉的汽车行业举一个例子,分享一下车联网大数据在汽车产业运用的一个例子,抛砖引玉。

背景

2017年我国汽车保有量已经达到2.05亿辆,而且预计在未来的销量还会增加,到2020年达到3000万辆。

汽车的最终目的是为人们提供移动出行的解决方案,对于未来汽车的发展趋势,业界基本上有一个共识,未来的汽车会朝着“电动化,网联化,智能化,共享化”四个方向发展。

以用户为中心的生态链

基于汽车网联化的发展,形成了以用户为中心的生态链,如下图:

围绕在车主周围,有不同层级的参与者。传统的主机厂,汽车制造商,硬件供应商,4S店,只是其中很一小部分。还有各种服务商,提供商,开发商,保险公司,传媒,甚至教育机构,也扮演着重要的角色。

车联网能够将这些参与者全部连接起来,靠什么?

大数据

汽车产业数据,驾驶行为数据,汽车感知数据,外部环境数据,还有最重要的人的社会数据,都储存在“庞大的汽车保有量”这个数据库中。

围绕着车联网,以上的数据不断地更新,不断地累积,形成了庞大的数据库,可被收集,并进行分析和处理。

运用举例-私人定制服务

通过数据处理,得到基于用户里程的分布,轨迹,行驶速度,超速违规事件一系列统计:

由此,构建出一个精准的用户画像,做什么,爱好是什么,习惯什么等等。

那么,针对于该用户,各种服务商就可以提供私人的“定制服务”,比如安全指导,保费个性化,出行效率提升等等。

据估计,车联网的市场规模从目前年250亿,到2020年能够达到4000亿元,又是一个巨大的蛋糕。

版权声明:本文为“汽车人参考”原创,如需转载,请务必提前联系。转载时请注明“本文出处于+媒体平台名称+汽车人参考”以及原文链接,侵权必究。

技术·原创·精致·有趣

汽车圈儿的清流

希望以上回答对您有所帮助,欢迎关注“汽车人参考”,获取更过精彩原创文章

4

大数据是具有事件日志性质和统计正确性等信息特征的数据,它对分布式存储、并行数据处理和易于扩展的解决方案提出了技术要求。



一、举个例子

想象一个由分析系统支持的电子商务网站,该网站通过监控每个用户购买或感兴趣的产品(根据在产品页面上花费的时间)来识别每个用户的喜好。基于这些信息,系统推荐“你也可以”的产品。这是一个独立的系统。


二、大数据有哪些特征呢?


信息特征与任何时候可能发生变化的传统数据(如银行账户、仓库中的货物数量)不同,大数据表示记录的日志。其中每个描述某些事件(例如,商店中的购买、网页视图、给定时刻的传感器值、社交网络上的评论)。由于其本身的性质,事件数据不会改变。


三、大数据技术

Hadoop 是用于分布式存储大量数据的框架(ITS)。HDFS组件)和并行数据处理(Hadoop MapReduce)。它将一个大块分解成较小的块,在不同的数据节点(计算机)上单独处理,并在多个节点上自动收集结果以返回单个结果。Hadoop通常意味着覆盖多个大数据技术的生态系统。

Spark是一个用于内存中并行数据处理的框架,它使实时大数据分析有可能。例如,分析系统可能会发现访问者在特定的产品页面上花费了相当长的时间,但还没有将它们添加到购物车中。为了激励购买,该系统可以为感兴趣的产品提供折扣券。

现在你知道什么是大数据了,不是吗?