win10 掿建python spark开发环境.和安装hadoop环境

xiaoxiao2021-02-28  87

先说下困绕我的两个问题好了

 windows 下运行spark-shell  始终不行,什么鬼 找到原因拉 在spark-class2.cmd 中 把这句话的环境改下就能跑了 我就想在python中愉快的调试spark程序拉 set LAUNCHER_OUTPUT=%Temp%\spark-class-launcher-output-%RANDOM%.txt set LAUNCHER_OUTPUT=e:\tmp\spark-class-launcher-output-%RANDOM%.txt  还有解决Exception:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题,不用改hadoop源码 只要版本对应的 winutils.exe,hadoop.dll 复制到 hadoop_home/bin中 hadoop.dll 复制到 windows/system32中即可哈。

转载请注明原文地址: https://www.6miu.com/read-42983.html

最新回复(0)