接外包,有相关需求的可以联系我:Telegram | Email

如何通过pyspark-notebook配置一个简单的pyspark运行环境?

该文章创建(更新)于10/29/2022,请注意文章的时效性!

最近公司计算有用到Spark,就简单尝试了解了一下如何快速配置环境。

Docker 安装

安装jupyter/pyspark-notebook

docker run -itd --name jpspark -p 8888:8888 -p 4040:4040 -v /home/emperinter/spark:/home/jovyan/work --user root -e NB_GID=100 -e GRANT_SUDO=yes jupyter/pyspark-notebook:latest

说明

  • 8888对应jupyter地址

  • 4040对应spark查看地址

  • --user rootGRANT_SUDO=yes 保证有root操作权限可以自定义添加一些东西

可以在Idea连接Jupyter使用

文件读取操作还是在docker中的家目录上/home/jovyan

  • 查看地址
docker logs -f jpspark

  • 配置Pycharm

ElasticSearch和pyspark配置

参考



👇 Share | 分享 👇


要不赞赏一下?

微信
支付宝
PayPal
Bitcoin

版权声明 | Copyright

除非特别说明,本博客所有作品均采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可。转载请注明转自-
https://www.emperinter.info/2022/10/29/how-to-configure-a-simple-pyspark-runtime-environment-via-pyspark-notebook/


要不聊聊?

我相信你准备留下的内容是经过思考的!【勾选防爬虫,未勾选无法留言】

*

*



微信公众号

👉 NewsLetter ❤️ 邮箱订阅 👈

优惠码