解决:win远程连接ubuntu服务器安装jupyter,启动pyspark

xiaoxiao2021-02-28  158

ubuntu 16.1.4 win10 x64 X-shell5

目的

win主机远程访问ubuntu服务器,并启动服务器端jupyter在本地进行python和spark调试


步骤

我不做重复性工作,翻阅了很多很多博客,最后的解决方案在这里,多谢@Xmo_jiao基于pyspark和scalaspark的jupyter notebook 安装

如果按照步骤走失败的请看这里,这里需要注意的是:

# 原作者启动pyspark的时候 cd /root/spark/bin ./pyspark #这里是两条语句,第一是切换到自己的spark安装目录下,一般而言,spark下载的时候都是tgz格式的包,解压后无需安装,直接切到目录执行启动spark就可以了,所以路径因人而异

最后启动jupyter的时候,New的还是python而不是pyspark,但是!已经把kernel调起来了,也就是说,已经完全可以进行pyspark开发操作*

补充: 对于上述的启动,原作者的方式是要切换到spark安装目录下,然后再启动pyspark,这里可以使用alias的方式,直接别名设定启动,全局有效 $sudo -i # 切到root账号,不然没写权限 [sudo] password for mrlevo:这里输入root密码 # vi ~/.profile #这里是编辑.profile文件,使之全局生效 # 编辑内容自己根据情况爱咋启动咋启动,记得编辑完后保存 alias pyspark='~/Downloads/spark-2.1.1-bin-hadoop2.7/bin/pyspark' # source ~/.profile #立即生效,漏了这步还是启动失败的 # exit # 退出root用户 $ pyspark #直接启动带pyspark的jupyter ........这里一大串,和刚才一样

一些问题

关于服务器与主机不能通信问题,请先确保服务器安装openssl,详细请见ssh远程连接ubuntu

关于服务器连通问题下载文件到本地,请先启用FTP服务,请见Ubuntu下搭建FTP服务器图解,之后在命令行输入

# python -m SimpleHTTPServer 8042

将会开启一个端口进行文件传输,本地浏览器打开 服务器地址:8042即可进行下载


关于连接的一些配置,win客户端配置和jupyter配置,多谢@du_qi,请看在windows上通过浏览器远程连接Linux服务器的jupyter


WRONG_VERSION_NUMBER when setting up public Juypter server。win启动不了远程jupyter解决方案,多谢@AlexLordThorsen,SSL: WRONG_VERSION_NUMBER when setting up public Juypter server


SSL Error on 9 (‘125.223.120.230’, 42218): [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:661) 解决方案SSL: WRONG_VERSION_NUMBER when setting up public Juypter server ,加载端口的时候在浏览器上输入:https://服务器ip:端口号


一些工具

win端ssh工具,也就是连接服务器工具,首推xshell5,去官网下,里面有school/home的免费版,够用,伸手党地址xshell5


服务器与本地机器传输文件工具,首推WinSCP,拖拽上传文件,简直无脑高效,版本错综复杂,自己上传个保证能用的winscp下载


服务器裸环境,安装python,首推Anaconda,里面有非常丰富的科学计数包,比如pandas,numpy,sklearn等,剩下自己一堆时间,伸手党anaconda下载地址


最后

因为在滴滴实习的时候用集群用的实在太爽了,刚回来没有集群,spark之类的可以用简直睡不好觉啊,哈哈,所以自己把实验室分配的电脑重装成了服务器,虽然内存和硬盘很小,但当做一个计算平台也够用了,要不是实验室机器太少,还可以整个小集群出来呢,这一天多的时间没有白费,至少我的计算平台搭出来了,实验室的小伙伴也可以进行计算了,也算是实习之后为实验室做的一点贡献吧,记录一下踩得坑,就酱紫!


致谢

懒得写,上面的超链接都是,哈哈哈

转载请注明原文地址: https://www.6miu.com/read-26650.html

最新回复(0)