Pyspark随机写入tos3失败

Question

将word2vec模型写入S3，如下所示：

model.save(sc, "s3://output/folder")

我通常没有问题，所以没有AWS凭据问题，但我随机得到以下错误。

30年1月17日20:35:21警告配置实用程序：无法使用正确的权限创建临时目录：/mnt2/s3 java。nio。文件AccessDeniedException：/mnt2在sun。nio。fs。UnixexException。sun上的translateToIOException（UnixException.java:84）。nio。fs。UnixexException。sun上的rethrowAsIOException（unixexException.java:102）。nio。fs。UnixexException。在sun上rethrowAsIOException（unixexException.java:107）。nio。fs。UnixFileSystemProvider。位于java的createDirectory（UnixFileSystemProvider.java:384）。nio。文件文件。在java上创建目录（Files.java:674）。nio。文件文件。在java上创建和检查目录（Files.java:781）。nio。文件文件。在com上创建目录（Files.java:767）。亚马逊。ws。电子病历。hadoop。fs。util。配置Utils。GetTestedTempPath（ConfigurationUtils.java:216）位于com。亚马逊。ws。电子病历。hadoop。fs。s3n。S3NativeFileSystem。在com上初始化（S3NativeFileSystem.java:447）。亚马逊。ws。电子病历。hadoop。fs。EmrFileSystem。在组织中初始化（EmrFileSystem.java:111）。阿帕奇。hadoop。fs。文件系统。在org上创建文件系统（FileSystem.java:2717）。阿帕奇。hadoop。fs。文件系统。访问org上的200美元（FileSystem.java:93）。阿帕奇。hadoop。fs。文件系统$缓存。位于org的getInternal（FileSystem.java:2751）。阿帕奇。hadoop。fs。文件系统$缓存。获取（FileSystem.java:2733），网址为org。阿帕奇。hadoop。fs。文件系统。在org上获取（FileSystem.java:377）。阿帕奇。hadoop。fs。路径位于org的getFileSystem（Path.java:295）。阿帕奇。hadoop。mapreduce。lib。输出FileOutputCommitter。（FileOutputCommitter.java:113）位于org。阿帕奇。hadoop。mapreduce。lib。输出FileOutputCommitter。（FileOutputCommitter.java:88）位于org。阿帕奇。拼花地板hadoop。ParquetOutputCommitter。（ParquetOutputCommitter.java:41）位于org。阿帕奇。拼花地板hadoop。ParquetOutputFormat。getOutputCommitter（ParquetOutputFormat.java:339）

已经在不同的集群中进行了尝试，但还没有找到答案。这是pyspark的已知问题吗？

Answer 1

这可能与SPARK-19247有关。截至今天（Spark 2.1.0），ML编写器将所有数据重新分区到单个分区，如果是大型模型，则可能会导致失败。如果这确实是问题的根源，您可以尝试使用相应PR中的代码手动修补发行版。