kubernetes cifs smb flexvolume缺少文件

Question

我们已经从kubernetes Centos集群上的windows服务器上安装了一个smb共享，作为使用这个插件的PVhttps://github.com/juliohm1978/kubernetes-cifs-volumedriver，这基本上只是一个使用的脚本mount.cifs.我们还尝试了微软插件和<-PLHD--2/>，但是他们使用mount.cifs.做同样的事情

挂载对于小型项目来说一直运行良好，但是一旦我们开始在写密集型活动中使用它，我们就会遇到一个非常奇怪的模式，即丢失刚刚编写的文件。

我们创建了一个简单的java程序，它在foreach循环中写入900-1000个随机数的文件。这些文件都包含相同的随机字节，用这一行创建

byte[] data = org.apache.commons.lang3.RandomUtils.nextBytes(1024 * 50);

然后，它尝试列出文件已写入的目录，并且列表中的文件计数总是缺少文件。

丢失的文件在序列中总是相同的，即使名称包含随机部分。

我们用一个包含foreach索引的名称编写了这些文件，但也有一个随机部分，这样每次重试都可以检查，而不会受到前一次的干扰。

[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:27:24.331  start write file total=971
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:27:39.771  end write file total=971
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:27:40.041  count files=937
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:27:40.043  missing files=34
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:27:40.044  missing file=smb-cache-test-0025-yUaWG4aYTIrqFPBE93WZXzgnmBBy5Wl4.tmp
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:27:40.044  missing file=smb-cache-test-0051-yUaWG4aYTIrqFPBE93WZXzgnmBBy5Wl4.tmp
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:27:40.044  missing file=smb-cache-test-0077-yUaWG4aYTIrqFPBE93WZXzgnmBBy5Wl4.tmp
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:27:40.044  missing file=smb-cache-test-0109-yUaWG4aYTIrqFPBE93WZXzgnmBBy5Wl4.tmp
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:27:40.044  missing file=smb-cache-test-0135-yUaWG4aYTIrqFPBE93WZXzgnmBBy5Wl4.tmp
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:27:40.044  missing file=smb-cache-test-0161-yUaWG4aYTIrqFPBE93WZXzgnmBBy5Wl4.tmp
[...]

[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:30:16.113  start write file total=995
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:30:30.808  end write file total=995
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:30:31.065  count files=960
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:30:31.066  missing files=35
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:30:31.066  missing file=smb-cache-test-0025-hjvVQG6JdnC0KBI5xfsBldZkCHWZQ0Fr.tmp
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:30:31.066  missing file=smb-cache-test-0051-hjvVQG6JdnC0KBI5xfsBldZkCHWZQ0Fr.tmp
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:30:31.066  missing file=smb-cache-test-0077-hjvVQG6JdnC0KBI5xfsBldZkCHWZQ0Fr.tmp
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:30:31.066  missing file=smb-cache-test-0109-hjvVQG6JdnC0KBI5xfsBldZkCHWZQ0Fr.tmp
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:30:31.067  missing file=smb-cache-test-0135-hjvVQG6JdnC0KBI5xfsBldZkCHWZQ0Fr.tmp
[smb-cache-test-6db94b688-jw8cx] 2018-07-31 07:30:31.067  missing file=smb-cache-test-0161-hjvVQG6JdnC0KBI5xfsBldZkCHWZQ0Fr.tmp
[...]

我们已经检查了pod内部的挂载路径，它也有同样的问题，而flexvolume mount dirs内部访问的节点上的相同挂载是可以的，所以它不仅仅是java，而是pod OS级别的。这是同一次运行的两个装载上的文件计数示例，第一个装载在pod内，第二个装载在托管pod的节点内

/fileserver # pwd
/fileserver
/fileserver # ls -l _smb-cache-test/ | wc -l
938

[root@k8s-node-03 wind3-speech-file-extractor-pre-pv]# pwd
/var/lib/kubelet/pods/b4dd4252-9492-11e8-8796-000c299d5d24/volumes/juliohm~cifs/wind3-speech-file-extractor-pre-pv
[root@k8s-node-03 wind3-speech-file-extractor-pre-pv]# ls -l _smb-cache-test/ | wc -l
972

这是docker或kubernetes在节点上flexvolume创建的挂载和pod中的同一挂载之间的“隐藏”层中做的非常可疑的事情。

附加信息：

我们已澄清这不是SMB缓存问题：

• 我们已经尝试使用smb v1.0， v2.0， v2.1和v3.0.
• 我们还尝试通过cifs选项缓存=无来禁用缓存。
• 我们已经禁用了windows上的缓存服务器端，使用注册表黑客将缓存超时设置为0。
• 我们在共享主机名上使用了未记录的$NOCSC$后缀。问题仍然存在。

我们还在节点上手动安装了共享，并将其作为“本地”持久卷（而不是flexvolume）添加到pod中，问题不再存在。

谢谢

Answer 1

事实证明，问题是在Centos节点中使用Apline映像作为java的基础造成的。将图像更改为基于Centos的解决了这个问题。

我们尝试了这种方式，因为我们发现了一个关于Ubuntu和SMB文件消失的提示（没有docker参与），并认为Apline可能会受到相同问题的影响，这些问题更多地与ubuntu有关，而不是与RHEL/Centos有关

https://bugs.launchpad.net/ubuntu/source/linux/bug/1572132

顺便说一句，在使用noserverino和0777访问权限的线程中提出的解决方案并没有解决我们的问题。