spark之Standalone模式部署配置详解
spark运行模式
Spark有很多种模式,最简单就是单机本地模式,还有单机伪分布式模式,复杂的则运行在集群中,目前能很好的运行在Yarn和Mesos中,当然Spark还有自带的Standalone模式,对于大多数情况Standalone模式就足够了,如果企业已经有Yarn或者Mesos环境,也是很方便部署的。
SparkStandalone集群部署
准备工作
部署配置
这里配置工作需要以下几个步骤:
2.配置conf/spark-env.sh文件
3.配置conf/slave文件
下面具体说明一下:
配置Spark的运行环境,将spark-env.sh.template模板文件复制成spark-env.sh,然后填写相应需要的配置内容:
exportSPARK_MASTER_IP=hadoop1 exportSPARK_MASTER_PORT=7077 exportSPARK_WORKER_CORES=1 exportSPARK_WORDER_INSTANCES=1 exportSPARK_WORKER_MEMORY=3g
其他选项内容请参照下面的选项说明:
#Optionsforthedaemonsusedinthestandalonedeploymode: #-SPARK_MASTER_IP,tobindthemastertoadifferentIPaddressorhostname #-SPARK_MASTER_PORT/SPARK_MASTER_WEBUI_PORT,tousenon-defaultportsforthemaster #-SPARK_MASTER_OPTS,tosetconfigpropertiesonlyforthemaster(e.g."-Dx=y") #-SPARK_WORKER_CORES,tosetthenumberofcorestouseonthismachine #-SPARK_WORKER_MEMORY,tosethowmuchtotalmemoryworkershavetogiveexecutors(e.g.1000m,2g) #-SPARK_WORKER_PORT/SPARK_WORKER_WEBUI_PORT,tousenon-defaultportsfortheworker #-SPARK_WORKER_INSTANCES,tosetthenumberofworkerprocessespernode #-SPARK_WORKER_DIR,tosettheworkingdirectoryofworkerprocesses #-SPARK_WORKER_OPTS,tosetconfigpropertiesonlyfortheworker(e.g."-Dx=y") #-SPARK_HISTORY_OPTS,tosetconfigpropertiesonlyforthehistoryserver(e.g."-Dx=y")
conf/slave文件用户分布式节点的配置,这里只需要在slave文件中写入该节点的主机名即可
将以上内容都配置好了,将这个spark目录拷贝到各个节点scp-rsparkhadoop@hadoop2:~
接下来就可以启动集群了,在Spark目录中执行sbin/start-all.sh,然后可以通过netstat-nat命令查看端口7077的进程,还可以通过浏览器访问hadoop1:8080了解集群的概况
SparkClient部署
SparkClient的作用是,事先搭建起Spark集群,然后再物理机上部署客户端,然后通过该客户端提交任务给Spark集群。
由于上面介绍了Standalone分布式集群是如何搭建的,这里只需将集群上的spark文件夹拷贝过来。
最简单的Spark客户端访问集群的方式就是通过Sparkshell的方式:bin/spark-shell--masterspark://hadoop1:7077这样就可以访问集群了。
这样在浏览器的Spark集群界面上就可以看到RunningApplications一栏中有Sparkshell的应用在执行。
SparkStandalone伪分布式部署
伪分布式是在一台机器上进行部署来模拟分布式的集群,这里部署的过程和Standalone集群的部署是类似的,事前的工作都是一样的,这里只是在配置文件中做相应的修改就可以了。
这里还是配置这两个文件:
配置conf/slave文件
修改spark-env.sh文件,修改master的ip,这里主机名和用户ip分别在/etc/hostname和/etc/hosts文件中进行配置
exportSPARK_MASTER_IP=jason exportSPARK_MASTER_PORT=7077 exportSPARK_WORKER_CORES=1 exportSPARK_WORDER_INSTANCES=1 exportSPARK_WORKER_MEMORY=3g
slave文件中,填写自己的主机名,比如我的主机名jason
总结
以上就是本文关于spark之Standalone模式部署配置详解的全部内容,感兴趣的朋友可以继续参阅:浅谈七种常见的Hadoop和Spark项目案例、详解Java编写并运行spark应用程序的方法、Spark的广播变量和累加器使用方法代码示例等,希望对大家有所帮助。感谢各位对毛票票网站的支持!