教育培训 > 怎么入门学习大数据？
怎么入门学习大数据？
2020-08-21 14:56阅读(76)
怎么入门学习大数据？大数据开发是什么工作:看你的问题不是很专业� ？赡苣悴皇茄凹扑慊煊虻耐О伞４笫菡饧改耆肥凳歉鋈让糯驶恪５钦庖恍忻偶骰故怯械
看你的问题不是很专业啊。可能你不是学习计算机领域的同学吧。
大数据这几年确实是个热门词汇。但是这一行门槛还是有的。
IT行业，
- 最早是卖硬件的多，例如你们城市早年很可能有个叫“电脑城” 的地方。
- 然后，是卖软件的多，例如总是有些光盘里面有些软件可以安装，杀毒软件,办公软件，游戏软件……
- 再后来是网络公司比较多，例如很多人开始用门户网站看新闻、用QQ聊天、用淘宝购物……
- 以上趋势发展到一定程度，综合形成了大数据时代。
所以，如果你对之前的IT发展没有认知，可能很难快速走进“大数据开发”相关的领域。
我们公司专门做舆情数据分析，每天帮大量客户收集有效信息，并利用人工智能技术清洗数据，在将有用的舆情数据精准推送给客户。同时做出数据分析报告哥客户。
以上描述，可以让你对大数据日常工作有所了解。
如果你对这个IT趋势看好，可以先选择一个大数据相关的IT公司工作，从事销售岗位，了解具体的生意逻辑，感受一下这些技术的深度再选择自学。
针对零基础大数据工程师每个阶段进行通俗易懂简易介绍，方面大家更好的了解大数据学习。
一、 第一阶段：静态网页基础(HTML+CSS)
1. 难易程度：一颗星
2. 主要技术包括：html常用标签、CSS常见布局、样式、定位等、静态页面的设计制作方式等
3. 描述如下：
从技术层面来说，该阶段使用的技术代码很简单、易于学习、方便理解。从后期课程层来说，因为我们重点是大数据，但前期需要锻炼编程技术与思维。经过我们多年开发和授课的项目经理分析，满足这两点，目前市场上最好理解和掌握的技术是J2EE，但J2EE又离不开页面技术。所以第一阶段我们的重点是页面技术。采用市场上主流的HTMl+CSS。
二、 第二阶段：JavaSE+JavaWeb
1. 难易程度：两颗星
2. 主要技术包括：java基础语法、java面向对象(类、对象、封装、继承、多态、抽象类、接口、常见类、内部类、常见修饰符等)、异常、集合、文件、IO、MYSQL(基本SQL语句操作、多表查询、子查询、存储过程、事务、分布式事务)JDBC、线程、反射、Socket编程、枚举、泛型、设计模式
3. 描述如下：
称为Java基础，由浅入深的技术点、真实商业项目模块分析、多种存储方式的设计
与实现。该阶段是前四个阶段最最重要的阶段，因为后面所有阶段的都要基于此阶段，也是学习大数据紧密度最高的阶段。本阶段将第一次接触团队开发、产出具有前后台(第一阶段技术+第二阶段的技术综合应用)的真实项目。
三、 第三阶段：前端框架
1. 难易程序：两星
2. 主要技术包括：JavaScript、Jquery、注解反射一起使用，XML以及XML解析、解析dom4j、jxab、jdk8.0新特性、SVN、Maven、easyui
3. 描述如下：
前两个阶段的基础上化静为动，可以实现让我们网页内容更加的丰富，当然如果从市场人员层面来说，有专业的前端设计人员，我们设计本阶段的目标在于前端的技术可以更直观的锻炼人的思维和设计能力。同时我们也将第二阶段的高级特性融入到本阶段。使学习者更上一层楼。
四、 第四阶段：企业级开发框架
1. 难易程序：三颗星
2. 主要技术包括：Hibernate、Spring、SpringMVC、log4j slf4j 整合、myBatis、struts2、Shiro、redis、流程引擎activity， 爬虫技术nutch,lucene，webServiceCXF、Tomcat集群和热备、MySQL读写分离
3. 描述如下：
如果将整个JAVA课程比作一个糕点店，那前面三个阶段可以做出一个武大郎烧饼(因为是纯手工-太麻烦)，而学习框架是可以开一个星巴克(高科技设备-省时省力)。从J2EE开发工程师的任职要求来说，该阶段所用到的技术是必须掌握，而我们所授的课程是高于市场(市场上主流三大框架，我们进行七大框架技术传授)、而且有真实的商业项目驱动。需求文档、概要设计、详细设计、源码测试、部署、安装手册等都会进行讲解。
五、 第五阶段： 初识大数据
1. 难易程度：三颗星
2. 主要技术包括：大数据前篇(什么是大数据，应用场景，如何学习大数据库，虚拟机概念和安装等)、Linux常见命令(文件管理、系统管理、磁盘管理)、Linux Shell编程(SHELL变量、循环控制、应用)、Hadoop入门(Hadoop组成、单机版环境、目录结构、HDFS界面、MR界面、简单的SHELL、java访问hadoop)、HDFS(简介、SHELL、IDEA开发工具使用、全分布式集群搭建)、MapReduce应用(中间计算过程、Java操作MapReduce、程序运行、日志监控)、Hadoop高级应用(YARN框架介绍、配置项与优化、CDH简介、环境搭建)、扩展(MAP 端优化，COMBINER 使用方法见,TOP K,SQOOP导出,其它虚拟机VM的快照,权限管理命令,AWK 与 SED命令)
3. 描述如下：
该阶段设计是为了让新人能够对大数据有一个相对的大概念怎么相对呢?在前置课程JAVA的学习过后能够理解程序在单机的电脑上是如何运行的。现在，大数据呢?大数据是将程序运行在大规模机器的集群中处理。大数据当然是要处理数据，所以同样，数据的存储从单机存储变为多机器大规模的集群存储。(你问我什么是集群?好，我有一大锅饭，我一个人可以吃完，但是要很久，现在我叫大家一起吃。一个人的时候叫人，人多了呢? 是不是叫人群啊!)
那么大数据可以初略的分为： 大数据存储和大数据处理所以在这个阶段中呢，我们课程设计了大数据的标准：HADOOP呐，大数据的运行呢并不是在咋们经常使用的WINDOWS 7或者W10上面，而是现在使用最广泛的系统：LINUX。
六、 第六阶段：大数据数据库
1. 难易程度：四颗星
2. 主要技术包括：Hive入门(Hive简介、Hive使用场景、环境搭建、架构说明、工作机制)、Hive Shell编程(建表、查询语句、分区与分桶、索引管理和视图)、Hive高级应用(DISTINCT实现、groupby、join、sql转化原理、java编程、配置和优化)、hbase入门、Hbase SHELL编程(DDL、DML、Java操作建表、查询、压缩、过滤器)、细说Hbase模块(REGION、HREGION SERVER、HMASTER、ZOOKEEPER简介、ZOOKEEPER配置、Hbase与Zookeeper集成)、HBASE高级特性(读写流程、数据模型、模式设计读写热点、优化与配置)
3. 描述如下：
该阶段设计是为了让大家在理解大数据如何处理大规模的数据的同时。简化编写程序时间，同时提高读取速度。
怎么简化呢?在第一阶段中，如果需要进行复杂的业务关联与数据挖掘，自行编写MR程序是非常繁杂的。所以在这一阶段中我们引入了HIVE，大数据中的数据仓库。这里有一个关键字，数据仓库。我知道你要问我，所以我先说，数据仓库呢用来做数据挖掘分析的，通常是一个超大的数据中心，存储这些数据的呢，一般为ORACLE,DB2,等大型数据库，这些数据库通常用作实时的在线业务。
总之，要基于数据仓库分析数据呢速度是相对较慢的。但是方便在于只要熟SQL，学习起来相对简单，而HIVE呢就是这样一种工具，基于大数据的SQL查询工具呐，这一阶段呢还包括HBASE，它为大数据里面的数据库。HIVE是基于MR的所以查询起来相当慢，HBASE呢基于大数据可以做到实时的数据查询。一个主分析，另一个主查询。
七、 第七阶段：实时数据采集
1. 难易程序：四颗星
2. 主要技术包括：Flume日志采集，KAFKA入门(消息队列、应用场景、集群搭建)、KAFKA详解(分区、主题、接受者、发送者、与ZOOKEEPER集成、Shell开发、Shell调试)、KAFKA高级使用(java开发、主要配置、优化项目)、数据可视化(图形与图表介绍、CHARTS工具分类、柱状图与饼图、3D图与地图)、STORM入门(设计思想、应用场景、处理过程、集群安装)、STROM开发(STROM MVN开发、编写STORM本地程序)、STORM进阶(java开发、主要配置、优化项目)、KAFKA异步发送与批量发送时效，KAFKA全局消息有序，STORM多并发优化
3. 描述如下：
前面的阶段数据来源是基于已经存在的大规模数据集来做的，数据处理与分析过后的结果是存在一定延时的，通常处理的数据为前一天的数据。
举例场景：网站防盗链，客户账户异常，实时征信，遇到这些场景基于前一天的数据分析出来过后呢?是否太晚了。所以在本阶段中我们引入了实时的数据采集与分析。主要包括了：FLUME实时数据采集，采集的来源支持非常广泛，KAFKA数据数据接收与发送，STORM实时数据处理，数据处理秒级别
八、 第八阶段：SPARK数据分析
1. 难易程序：五颗星
2. 主要技术包括：SCALA入门(数据类型、运算符、控制语句、基础函数)、SCALA进阶(数据结构、类、对象、特质、模式匹配、正则表达式)、SCALA高级使用(高阶函数、科里函数、偏函数、尾迭代、自带高阶函数等)、SPARK入门(环境搭建、基础结构、运行模式)、Spark数据集与编程模型、SPARK SQL、SPARK 进阶(DATA FRAME、DATASET、SPARK STREAMING原理、SPARK STREAMING支持源、集成KAFKA与SOCKET、编程模型)、SPARK高级编程(Spark-GraphX、Spark-Mllib机器学习)、SPARK高级应用(系统架构、主要配置和性能优化、故障与阶段恢复)、SPARK ML KMEANS算法，SCALA 隐式转化高级特性
3. 描述如下：
同样先说前面的阶段，主要是第一阶段。HADOOP呢在分析速度上基于MR的大规模数据集相对来说还是挺慢的，包括机器学习，人工智能等。而且不适合做迭代计算。SPARK呢在分析上是作为MR的替代产品，怎么替代呢? 先说他们的运行机制，HADOOP基于磁盘存储分析，而SPARK基于内存分析。我这么说你可能不懂，再形象一点，就像你要坐火车从北京到上海，MR就是绿皮火车，而SPARK是高铁或者磁悬浮。而SPARK呢是基于SCALA语言开发的，当然对SCALA支持最好，所以课程中先学习SCALA开发语言。什么?又要学另外一种开发语言?不不不!!!我只说一句话：SCALA是基于JAVA做的。
在课程的设计方面，市面上的职位要求技术，基本全覆盖。而且并不是单纯的为了覆盖职位要求，而是本身课程从前到后就是一个完整的大数据项目流程，一环扣一环。
比如从历史数据的存储，分析(HADOOP,HIVE,HBASE)，到实时的数据存储(FLUME,KAFKA)，分析(STORM,SPARK)，这些在真实的项目中都是相互依赖存在的。
以上就是对大数据课程框架介绍。关于大数据你有什么想说的，欢迎在评论区留言交流讨论。
在回答题主的问题之前看了一下其他楼主的回答，突然感觉要入门大数据要学习的内容好多好杂，对于一个普通人来说可能至少要话三四年的时间全身心投入才可能入门，不知题主是否也有同样的疑问！难道学习大数据真的是从入门到放弃么？其实我觉得不是。
首先在学习大数据之前应该了解什么是大数据，大数据这个概念又是如何产生的呢？数据这个概念是在有计算机时便诞生了，而现在无非就是加了一个“大”，所谓大即在随着互联网越来越发达，网络传输效率从2G走到现在的5G,从原先的互联网走向现在的物联网时代，每个人每个物产生的数据爆炸式产生，传统的数据库(如：oracle、db2等)已无法满足现有数据的存储开销与计算效率，故而产生了现在的大数据平台(如：MPP架构的华为高斯DB和Hadoop生态)来满足对不断增长的数据存储与计算，也就是说大数据就是海量数据存储与计算，题主可以选择一种架构的大数据平台如针对性学习。
在了解了什么是大数据后题主可以选择一种架构的大数据平台进行学习，比如现在最流行的hadoop平台。
根据题主的问题可以了解到题主应该是想快速入门，那怎么才能快速入门呢？我觉得这才是题主最关心的问题吧！
所谓欲速则不达，门其实就在眼前只是不知如何去敲。那该怎么敲呢？首先得了解大数据平台架构分哪些模块吧！(如hadoop平台基础模块分hdfs、yarn、mapreduce)，其次得了解每个模块得功能是什么吧，(如：hdfs是分布式文件存储系统，是用来存储数据的)，再就是得明白给个模块之间的联系以及各个模块得实现原理了。
到此为止题主应该算是入门了，如果题主觉得光了解概念及原理还不够可自行搭建开源CDH平台进行学习试炼。结合网上大神们分享的搭建与开发经验找一个小小的案例进行练习，题主就算上道了，至于道上的车速如何，需要题主自己把控！
其实简单的来说，大数据就是通过分析和挖掘全量的非抽样的数据辅助决策。
大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝的喜欢推荐，或者你到了一个地方，自动给你推荐周边的消费设施等等。
随着大数据在国内的发展，大数据相关人才出现了供不应求的状况，大数据分析师更是被媒体称为“未来发展前景良好的职业之一”。大数据分析师的薪酬比同等级职位高20%。而如何成为大数据时代的弄潮儿，掌握当下紧缺的软件技能是关键，那么，零基础该怎样学习大数据呢？
大数据作为当下呼声特别高的IT技术，想学大数据的朋友已经从一个变成两个，从两个变成三个，但是计数单位，也是从个到百到千到万，接下来还可能更高。大数据的学习容易吗？门槛低，想学的都可以展开大数据的学习，那么该怎么入门呢？
零基础学大数据好不好学
随着大数据行业的快速发展，也随之出现了一些问题，比如大数据人才的缺失就是目前急需解决的一个问题，那么很多学大数据的人又出现了一些问题，大家普遍担心的就是零基础能不能学习大数据，会不会不好学？
零基础的人可以去大数据培训机构学习大数据开发吗？答案是可以的去。大数据学习并不是高深莫测的，虽然对于零基础学员来说不是那么简单，但是只要你认真学习，加上有专业老师的指导和针对性的训练，相信你也是可以完全掌握大数据的。
零基础学大数据四步走
零基础的同学学习大数据开发不能急于求成，要分阶段分步骤来一步步完成，大概可以分为四步：
第一阶段
了解大数据的基本概念
首先，学习一门课程的时候，要对这门课程有一个简单的了解，比如说，要先学习这门课程的一些专业的术语，学习一些入门概念知道这门课程是做什么的，主要的学习知识有哪些。因此学习大数据就必须知道什么是大数据，一般大数据的运用领域是那些，避免自己在对大数据一无所知的情况下就开始盲目学习。
第二阶段
大数据课程学习
对于零基础的小伙伴们来说，开始入门可能并不是那么容易，需要学习大量的理论知识，阅读枯燥的教材。因此要通过自学来掌握一门计算机编程语言，还是很难的。大家都知道计算机编程语言有很多，比如：C++，Python，Java等等。
第三阶段
项目实战阶段
实战训练可以帮助我们更好的理解所学的内容，同时对相关知识加强记忆。在以后的实际运用中，可以更快的上手，对于相关知识的使用方法也有了经验。
世上无难事只怕有心人，无论你是有基础也好还是没基础也好，只要你认真学习大数据就一定会学好。
第四阶段
后续提高
大数据结合人工智能可以达到真正的数据科学家。
机器学习：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。机器学习的算法基本比较固定了，学习起来相对容易。
深度学习：深度学习的概念源于人工神经网络的研究，最近几年发展迅猛。深度学习应用的实例有AlphaGo、人脸识别、图像检测等。是国内外稀缺人才，但是深度学习相对比较难，算法更新也比较快，需要跟随有经验的老师学习。
最快的学习方法，就是参加大数据课程培训，师从行业专家，毕竟老师有多年积累的经验，自己少走弯路达到事半功倍的效果。
相关问答推荐
热点关注
一天中什么时候运动减肥效果好抓 小孩能不能练哑铃多大的孩子适合 小孩嘴唇起皮怎么办怎样才能预防 孩子的罗圈腿是怎么形成的三大因 孩子早恋怎么办如何有效疏导孩子 医生婆婆称自己专业孩子的事必须 儿子成人礼送什么礼物好呢给你孩 有孩子的夫妻千万不要离婚对于孩 小孩千万别让老人带的说法正确吗 自卑缺乏安全感的孩子怎么改善 怎么让孩子开口说话 这几个方法 怎么让孩子吃饭 教你如何让孩子 怎么管教不听话的孩子 家长首先 顽皮的孩子怎么管教的 这些方法 叛逆期的孩子怎么管教 引导孩子 孩子性格软弱怎么办 懦弱的性格 孩子性格偏激怎么办 孩子性格偏 孩子性格固执怎么办 家长们不妨 爱惹事的孩子怎么管教 不妨试试 养育优秀的孩子具备特征，家长要 高考数学难出新天际，可有的孩子 “做胎教”和“不做胎教”的孩子 花费十几万只考了302分 妈妈觉得 甘肃作弊考生留下来的疑团，是怎 一举夺魁！高三学生离校时，校领 高考钉子户：26次参加高考，今年 D2809次列车因泥石流脱线！此类 “女儿16岁，学校宿舍里分娩了” 扭曲邪门的内容，频频出现在教科 川渝地区几所大学实力很牛！四川
