1.大发棋牌大发棋牌技巧技巧 下载 大发棋牌大发棋牌技巧技巧 地址   ###############local 模式 (目前学习手工部署  后续直接CDH 部署)

image.png

   2.jdk安装

     jdk1.8 

     

[root@k8s_master01 spark-2.1.1-local]# java  -version 

java version "1.8.0_60"

Java(TM) SE Runtime Environment (build 1.8.0_60-b27)

Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)

[root@k8s_master01 spark-2.1.1-local]# 

   3.解压即可

image.png

   4.测试Π求职

[root@k8s_master01 bin]# pwd

/opt/spark/spark-2.1.1-local

[root@k8s_master01 bin]# bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ./examples/jars/spark-examples_2.11-2.1.1.jar 100


5.测试结果

image.png


二.spark  standalone模式

2.1 拷贝二进制

image.png

2.2 修改配置文件

[root@k8s_master01 conf]# cp  spark-env.sh.template   spark-env.sh

[root@k8s_master01 conf]# cp  slaves.template   slaves

[root@k8s_master01 conf]# pwd

/opt/spark/spark-2.1.1-standalone/conf

[root@k8s_master01 conf]# 

image.png

image.png

spark  sbin目录下配置JAVA_HOME

image.png

2.3 分发 spark-2.1.1-standalone 到 71  72 节点

2.4 在 master节点启动spark

cd spark/sbin

./start-all.sh  

然后浏览器浏览查看

image.png



2.5查看每个节点的 executos

image.png




[root@k8s_master01 spark-2.1.1-standalone]#  bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.249.70:7077  ./examples/jars/spark-examples_2.11-2.1.1.jar 100

image.pngimage.png






spark shell


image.png

image.png





image.png

image.png

文件一定要分发到各个大发棋牌大发棋牌技巧技巧 服务 器


scala> sc.textFile("input/").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).collect

res0: Array[(String, Int)] = Array((is,2), ("",8), (word,1), (hello,2), (my,2), (hanmei,2), (ne,1), (to,2), (liuhaixiao,2), (nihao,2))


scala> 


image.png