如何将PySpark导入Python的放实现(2种)
方法一
使用findspark
使用pip安装findspark：
pipinstallfindspark
在py文件中引入findspark：
>>>importfindspark >>>findspark.init()
导入你要使用的pyspark库
>>>frompysparkimport*
优点：简单快捷
缺点：治标不治本，每次写一个新的Application都要加载一遍findspark
方法二
把预编译包中的Python库文件添加到Python的环境变量中
exportSPARK_HOME=你的PySpark目录 exportPYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH
优点：一劳永逸
缺点：对于小白可能不太了解环境变量是什么
问题1、ImportError:Nomodulenamedpyspark
现象：
- 已经安装配置好了PySpark，可以打开PySpark交互式界面；
- 在Python里找不到pysaprk。
参照上面解决
问题2、ImportError:Nomodulenamed‘py4j'
现象：
已经安装配置好了PySpark，可以打开PySpark交互式界面；
按照上面的b方式配置后出现该问题。
解决方法：
把py4j添加到Python的环境变量中
exportPYTHONPATH=$SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH
注意：这里的py4j-x.xx-src.zip根据自己电脑上的py4j版本决定。
测试成功的环境
- Python:3.7、2.7
- PySpark:1.6.2-预编译包
- OS:MacOSX10.11.1
参考
Stackoverflow:importingpysparkinpythonshell
Stackoverflow:Whycan'tPySparkfindpy4j.java_gateway?
到此这篇关于如何将PySpark导入Python的放实现(2种)的文章就介绍到这了,更多相关PySpark导入Python内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。