SparkSQL的即席查询、采样近似查询引擎BlinkDB的权衡查询、MLBase/Mllib的机器学习、GraphX的图处理和SparkR的数据计算等。
其中，大数据分析工作涉及到的基础知识点有SparkCore中的RDD、SparkSQL（系列课程的下一篇文章将会单独讲解SparkSQL）、如何进行本地运行测试、如何定义和使用广播变量和累计器、如何在YARN上运行等相关知识点。SparkCore是整个BDAS生态系统的核心组件，是一个分布式大数据处理框架，SparkCore提供了多种资源调度管理，通过内存计算、有向无环图（DAG）等机制保证分布式计算的快速，并引入了RDD的抽象保证了数据的高容错性。
在商业世界的人一般都非常熟悉上述结构化数据的类型。然而，非结构化有点不太熟悉，不是因为有少，但之前的技术，如的NoSQL和Hadoop的走过来，利用非结构化数据是不可能的。事实上，正在创建大多数数据今天非结构化的。非结构化数据，顾名思义，缺乏结构。它不能根据点击，购买或条形码云集，所以究竟是什么？
捕获
捕获的数据创建被动地因一个人的行为。每当有人进入谷歌上搜索术语，是可以用于捕捉未来利益的数据。我们的智能手机的GPS信息是被动的数据的另一个例子可以与大数据技术来捕获。
用户生成
用户产生的数据由所有个体每天把因特网上的数据。从推特，Facebook的职位，对新闻报道的意见，以把视频在YouTube上，个人创造了巨大的数据量，企业可以用它来更好的目标消费者，并得到反馈的产品。
福田包推荐就业的ETL工程师
你可以添加多个数据系列，自定义不同的展示风格：
frombokeh.plottingimportfigure，output_notebook，show
#准备三个数据系列
x=[0.1，0.5，1.0，1.5，2.0，2.5，3.0]
y0=[i**2foriinx]
y1=[10**iforiinx]
y2=[10**(i**2)foriinx]
#在notbook中展示
output_notebook
数据应用
数据的应用方式很多，有对外的、有对内的，如果拥有了前期的大量数据资产，是通过restfulAPI提供给用户?还是提供流式引擎KAFKA给应用消费?或者直接组成专题数据，供自己的应用查询?这里对数据资产的要求比较高，所以前期的工作做好了，这里的自由度很高。
大数据、数据分析和数据挖掘的区别
大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断：
大数据
指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
ETL工程师缺口
DataFrame还配套了新的操作数据的方法，DataFrameAPI（如df.forbid())和SQL(forbidid，namefromxx_tableforbid...)，让我们通过代码示例来了解下DataFrame的常见操作。
importorg.apache.spark.sql.SparkSession
valspark=SparkSession
.builder()
.appName("SparkSQLbasicexample")
湖南阳光电脑维修培训学校,常年面向平昌地区招生,零基础实战教学,小班授课,教学质量更有保证,全程创业指导。25年电脑维修技术沉淀,80%实操+20%理论,实战+实例+实践的教学方法授课.为平昌地区的电脑维修学员提供广阔的就业机会。-平昌电脑维修培训学校