Linux下远程连接Jupyter+pyspark部署教程
博主最近试在服务器上进行spark编程，因此，在开始编程作业之前，要先搭建一个便利的编程环境，这样才能做到舒心地开发。本文主要有以下内容：
1、python多版本管理利器-pythonbrew
2、Jupyternotebooks安装与使用以及远程连接方法
3、Jupyter连接pyspark，实现web端sprak开发
一、python多版本管理利器-pythonbrew
在利用python进行编程开发的时候，很多时候我们需要多个Python版本进行测试，博主之前一直在Python2.x和3.x之间徘徊挣扎，两者纠缠不清的关系真是令博主心累了一万年。直至遇到了pythonbrew，它在博主心中泛起的涟漪，久久不能逝去。说到pythonbrew，它是一个python的多版本管理器，可以在多个Python之间迅速切换，也可以在指定的Python版本下测试python程序，更重要的是它还整合了Virtualenv。所以，当你的电脑里装了多个python版本，并需要经常切换测试时，pythonbrew就非常适合你。
1.安装配置pythonbrew
sudoeasy_installpythonbrew（easy_install安装） pipinstallpythonbrew(pip安装)
2.添加配置环境到~/.bashrc（或~/.bash_profile）
[[-s"$HOME/.pythonbrew/etc/bashrc"]]&&source"$HOME/.pythonbrew/etc/bashrc"
然后执行：source~/.bashrc（或~/.bash_profile）
3.查看系统可以安装的python版本
[ray@hadoop01~]$pythonbrewlist-k #Pythons Python-1.5.2 Python-1.6.1 Python-2.0.1 Python-2.1.3 Python-2.2.3 Python-2.3.7 Python-2.4.6 Python-2.5.6 Python-2.6.9 Python-2.7.10 Python-3.0.1 Python-3.1.5 Python-3.2.5 Python-3.3.5 Python-3.4.3
4.安装python
(ps：需要使用curl安装python，所以需要先安装curl)
[ray@hadoop01~]$pythonbrewinstall3.2.3(版本号)
5.清理安装后的版本的源码和安装包
[ray@hadoop01~]$pythonbrewcleanup
6.选择一个python版本使用，ps：只在当前终端有效
[ray@hadoop01~]$pythonbrewuse2.7.10(版本号)
7.查看当前pythonbrew下的python版本有哪些（后面有*号表示正在使用）
[ray@hadoop01~]$pythonbrewlist Python-2.6.7(*) Python-3.2.3
8.选择python3.4.3版本作为系统默认版本使用，会把该版本的路径添加到PATH中
[ray@hadoop01~]$pythonbrewswitch3.4.3
9.取消pythonbrew选择的版本
[ray@hadoop01~]$pythonbrewoff
二、Jupyternotebooks安装与使用以及远程连接方法
作为一只数据分析狮，利用python进行数据分析编程要的就是优雅和细致。如果还能随时随地利用任何终端进行数据分析，那不仅是高逼格，更是乐翻天了。而Jupyternotebook便是能帮助我们在web端做开发编程的利器。本节将介绍如果安装使用jupyter，以及如何远程连接到服务器端的Jupyternotebook。
1.安装Jupyter
[ray@hadoop01~]$pipinstalljupyter
2.JupyterNotebook远程服务器配置
1)首先要生成密码，打开python终端。
In[1]:fromIPython.libimportpasswd In[2]:passwd() Enterpassword: Verifypassword: Out[2]:'sha1:0e422dfccef2:84cfbcb b3ef95872fb8e23be3999c123f862d856'
2)接下来生成秘钥：
[ray@hadoop01~]$opensslreq-x509-nodes-days365-newkeyrsa:1024-keyoutmycert.pem-outmycert.pem
注意：这里会要求你需要一些个人信息，如：国家、省份、名字等。执行完命令后，会生成一个mycert.pem文件。记下这个文件的路径。
3）创建一个服务器配置
[ray@hadoop01~]$ipythonprofilecreatenbserver
编辑文件jupyter_notebook_config.py，在~/.jupyter/文件夹里
c.NotebookApp.password=u'sha1:。。。。。。。。。。。'c.NotebookApp.certfile=u'/root/.jupyter/mycert.pem'c.NotebookApp.ip='*' c.NotebookApp.port=9999
4）最后启动服务器：
[ray@hadoop01~]$ipythonnotebook--profile=nbserver
三、Jupyter连接pyspark，实现web端sprak开发
在进行这步操作之前，必须先安装好Jupyter、spark。
1.设置环境变量
将一下代码添加到~/.bash_profile（或者~/.bashrc）
exportSPARK_HOME=~/spark-1.5.0-bin-hadoop2.6 exportPATH=$SPARK_HOME/bin:$PATH exportPYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH exportPYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
注意：
1）.SPARK_HOME的地址是你sprak的安装目录，另外在最后一行代码中，py4j-0.8.2.1-src.zip可能会因版本不同而不同，请进入对应地址确认好该文件的名字。
2）.如果要使用python3进行作业，则需要在.bash_profile中添加exportPYSPARK_PYTHON=python3
2.启动pyspark-jupyter
IPYTHON_OPTS="notebook"$SPARK_HOME/bin/pyspark
至此，所以配置全部完成。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。