先说下困绕我的两个问题好了
windows 下运行spark-shell
始终不行,什么鬼
找到原因拉
在spark-class2.cmd 中
把这句话的环境改下就能跑了
我就想在python中愉快的调试spark程序拉
set LAUNCHER_OUTPUT=%Temp%\spark-class-launcher-output-%RANDOM%.txt
set LAUNCHER_OUTPUT=e:\tmp\spark-class-launcher-output-%RANDOM%.txt
还有
解决Exception:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题,不用改hadoop源码
只要版本对应的 winutils.exe,hadoop.dll 复制到 hadoop_home/bin中
hadoop.dll 复制到 windows/system32中即可哈。