6.SparkSQL（下）--Spark实战应用.pdf资源-CSDN文库

需积分: 17 147 浏览量 2018-04-04 10:21:59 上传评论 3 收藏 3.75MB PDF 举报

资源推荐

资源详情

资源评论

第 1 页共 41 页出自石山园，博客地址：http://www.cnblogs.com/shishanyuan

Spark 实战应用

第 2 页共 41 页出自石山园，博客地址：http://www.cnblogs.com/shishanyuan

1 运行环境说明 ............................................................................................................................................................. 3

1.1 硬软件环境 ......................................................................................................................................................... 3

1.2 机器网络环境 ..................................................................................................................................................... 3

SPARK基础应用 ........................................................................................................................................................ 3

2.1 启动S

PARK SHELL ................................................................................................................................................ 4

2.1.1

环境设置

.......................................................................................................................................................... 4

2.1.2

启动

Hadoop ..................................................................................................................................................... 5

2.1.3

启动

Spark ......................................................................................................................................................... 5

2.1.4

启动

Spark-Shell ................................................................................................................................................ 5

2.2

SQLCONTEXT演示 ............................................................................................................................................... 6

2.2.1

使用

Case Class

定义

RDD

演示

........................................................................................................................ 6

2.2.2

使用

applySchema

定义

RDD

演示

..................................................................................................................... 8

2.2.3 parquet

演示

.................................................................................................................................................... 10

2.2.4 json

演示

.......................................................................................................................................................... 11

2.2.5 sqlContext

中混合使用演示

........................................................................................................................... 13

2.3

HIVECONTEXT演示 ............................................................................................................................................ 13

2.3.1

启动

hive .......................................................................................................................................................... 14

2.3.2

在

SPARK_HOME/conf

目录下创建

hive-site.xml ........................................................................................... 14

2.3.3

查看数据库表

................................................................................................................................................ 14

2.3.4

计算所有订单中每年的销售单数、销售总额

............................................................................................. 15

2.3.5

计算所有订单每年最大金额订单的销售额

................................................................................................ 17

2.3.6

计算所有订单中每年最畅销货品

................................................................................................................ 18

2.3.7 hiveContext

中混合使用演示

......................................................................................................................... 20

2.4 C

ACHE使用 ....................................................................................................................................................... 21

2.5 DSL演示 ........................................................................................................................................................... 24

SPARK综合应用 ...................................................................................................................................................... 24

3.1 SQL

ON SPARK .................................................................................................................................................. 25

3.1.1

代码

................................................................................................................................................................ 25

3.1.2

操作

................................................................................................................................

错误！未定义书签。

3.2 HIVE ON SPARK ................................................................................................................................................. 29

3.2.1

代码

................................................................................................................................................................ 29

3.2.2

操作

................................................................................................................................

错误！未定义书签。

3.3 店铺分类 ........................................................................................................................................................... 31

3.3.1

代码

................................................................................................................................................................ 32

3.3.2

操作

................................................................................................................................

错误！未定义书签。

3.4 PAGERANK ......................................................................................................................................................... 36

3.4.1

创建表

............................................................................................................................................................ 36

3.4.2

代码

................................................................................................................................................................ 38

3.4.3

操作

................................................................................................................................

错误！未定义书签。

3.5 小结 ................................................................................................................................................................... 40