【Redis】文件译文:Redis on Windows.docx (redis 在 window 上面的使用说明文档.docx)

南门展
2023-12-01

目录

一、Windows 上的 MSOpenTech Redis

二、如何在 windows 上实现 redis ?

(1)联网差异

(2)文件描述符

(3)fork()

(4)日志

(5)Windows 服务

三、windows 上的 redis 最佳实践

(1)二元分布

(2)堆的大小尺寸调整

(3)安装和维护

(4)服务帐户



一、Windows 上的 MSOpenTech Redis

【原文】MSOpenTech’s Redis on Windows

【原文】
We strive to have a stable, functionally equivalent and comparably performing version of Redis on Windows. 
We have achieved performance nearly identical to the POSIX version running head-to-head on identical hardware across the network. 
Aside from feature differences that help Redis take advantage of the Windows infrastructure, our version of Redis should work in most situations with the identical setup and configuration that one would use on a POSIX operating system.

【译文】
我们力求在 windows 上有一个稳定、功能相当、性能相当的 redis 版本。
我们已经实现了与 POSIX 版本几乎相同的性能,该版本在网络上的相同硬件上直接运行。
除了有助于 redis 利用 windows 基础设施的特性差异外,我们的 redis 版本应该在大多数情况下都可以使用posix 操作系统上使用的相同设置和配置。


二、如何在 windows 上实现 redis ?

【原文】How is Redis on Windows implemented?

【原文】
Redis is a C code base that compiles under Visual Studio. 
Most of the code compiles with only minor changes (due to syntactical differences between compilers and low-level API differences on Windows). 
There are a few areas where there are significant differences in how efficient Windows programs operate relative to POSIX programs. 
We have encapsulated most these differences in a platform specific library. 
The areas where there are significant differences are:
  • Networking APIs 
  • POSIX File Descriptors
  • POSIX fork()
  • Logging 
  • Windows Services API

【译文】
redis 是在 visual studio 下编译的 c 代码库。
大多数代码只需稍作更改即可编译(这是由于编译器之间的语法差异和 windows 上低级 api 的差异)。
在某些方面,windows 程序相对于 posix 程序的运行效率存在显著差异。
我们已经将这些差异封装在特定于平台的库中。
存在显著差异的领域有:
  • 网络 APIs 
  • POSIX 文件描述符
  • POSIX fork()
  • 日志
  • Windows 服务 API

(1)联网差异

【原文】Networking Differences

【原文】
The Windows networking stack is split between user mode code and kernel mode code. 
Transitions between user and kernel mode are expensive operations. 
The POSIX networking APIs on Windows utilize a programming model that incurs significant performance loss due to the kernel/user mode transitions. 
Efficient Windows networking code instead uses the IO Completion Port model to reduce the impact of this behavior. 
The APIs used and the programming model for IO Completion is different enough that we were forced to implement a new networking layer in Redis.

【译文】
Windows 网络堆栈在用户模式代码和内核模式代码之间进行拆分。
用户模式和内核模式之间的转换是昂贵的操作。
windows 上的 posix 网络 api 使用了一个编程模型,由于内核/用户模式转换,该模型会导致显著的性能损失。
高效的 windows 网络代码使用io完成端口模型来减少这种行为的影响。
所使用的 api 和 io 完成的编程模型已经足够不同了,我们不得不在 redis 中实现一个新的网络层。

(2)文件描述符

【原文】File Descriptors​​​​​​​

【原文】
In a POSIX operating system, all data sources (files, pipes, sockets, mail slots, etc.) are referenced in code with a handle called a file descriptor. 
These are low value integers that increment by one with each successive file descriptor creation. 
All POSIX APIs that work with file descriptors will function without the programmer having to know what kind of data source a file descriptor represents. 
On Windows, each kind of data source has a separate kind of HANDLE. 
APIs that work with one HANDLE type will not work with another kind of HANDLE. 
In order to make Redis operate with its assumptions about file descriptor values and data source agnosticism, we implemented a Redis File Descriptor API layer.

【译文】
在 posix 操作系统中,所有的数据源(文件、管道、套接字、邮件槽等)都用一个称为文件描述符的句柄在代码中引用。
这些是低值整数,在每次连续创建文件描述符时递增一个。
所有使用文件描述符的 posix api 都将正常工作,而程序员不必知道文件描述符表示什么样的数据源。
在 windows 上,每种数据源都有一个单独的句柄。
使用一种句柄类型的 api 不能使用另一种句柄。
为了使 redis 在文件描述符值和数据源不可知论的假设下运行,我们实现了一个 redis 文件描述符 api 层。

(3)fork()

【原文】fork()​​​​​​​

【原文】
The POSIX version of Redis uses the fork() API. 
There is no equivalent in Windows, and it is an exceedingly difficult API to completely simulate. 
For most of the uses of fork() we have used Windows specific programming idioms to bypass the need to use a fork()-like API. 
The one case where we could not do so was with the point-in-time heap snapshot behavior that the Redis persistence model is based on. 
We tried several different approaches to work around the need for a fork()-like API, but always ran into significant performance penalties and stability issues. 

【译文】
posix 版本的 redis 使用 fork() api。
在 windows 中没有等价物,要完全模拟它是非常困难的 api 。
对于 fork() 的大多数使用,我们都使用了特定于 windows 的编程习惯用法来绕过使用类似 fork() 的 api 的需要。
我们不能这样做的一个例子是 redis 持久性模型所基于的时间点堆快照行为。
我们尝试了几种不同的方法来解决像 fork() 这样的 api 的需求,但总是遇到严重的性能损失和稳定性问题。
【原文】
Our current approach is to simulate the point-in-time snapshot behavior aspect of fork() without doing a complete simulation of fork(). 
We do this with the system-paging file that contains the Redis heap. 
When a fork() operation is required we do the following:
  • Mark every page in the heap with the Copy on Write page protection
  • Start a child process and pass it the handle to the heap mapped to the system-paging file
  • Signal the child to start the AOF or RDB persistence process on the memory shared via the system-paging file
  • Wait (asynchronously) for the child process to finish
  • Map the changes in the Redis heap that occurred during the fork() operation back into the parent process heap.

【译文】
我们当前的方法是模拟 fork() 的时间点快照行为方面,而不做 fork() 的完整模拟。
我们对包含 redis 堆的系统分页文件执行此操作。
当需要 fork() 操作时,我们执行以下操作:
  • 将堆中的每一页都标记为 “写时复制” 页保护
  • 启动子进程并将句柄传递给映射到系统分页文件的堆
  • 向子进程发送信号,使其在通过系统分页文件共享的内存上启动 AOF 或 RDB 持久化进程
  • 等待(异步)子进程完成
  • 将 fork() 操作期间 redis 堆中发生的更改映射回父进程堆。
【原文】
The upside with this implementation is that our performance and stability is now on par with the POSIX version of Redis. 
The down side is that we have a runtime system-paging file space requirement for Redis. 
A system-paging file at least of the size of physical memory is suggested.

【译文】
这种实现的好处是我们的性能和稳定性现在与 RIDSIS 的 POSIX 版本相媲美。
缺点是我们对 redis 有一个运行时系统分页文件空间需求。
建议至少使用物理内存大小的系统分页文件。
【原文】
The default configuration of Windows allows the page file to grow to 3.5 times the size of physical memory.  
There are scenarios where 3rd party programs also compete for system paging file space at runtime.

【译文】
windows 的默认配置允许页面文件增长到物理内存大小的 3.5 倍。
在某些情况下,第三方程序也会在运行时争夺系统分页文件空间。

(4)日志

【原文】Logging

【原文】
In addition to file-based logging, the POSIX version of Redis supports logging via the syslog facility. 
The equivalent in Windows is the Event Log. 
With the addition of the Windows Service code we have added support for logging to the Event Log. 
We have mapped the –syslogxxxx flags for this purpose.

【译文】
除了基于文件的日志记录之外,posix 版本的 redis 还支持通过 syslog 工具进行日志记录。
windows 中的等价物是事件日志。
通过添加 windows 服务代码,我们增加了对记录到事件日志的支持。
为此,我们映射了 –syslogxxxx 标志。

(5)Windows 服务

【原文】Windows Service​​​​​​​

【原文】
In version 2.8.9 we added support to make Redis operate as a service. 
See the “Windows Service Documentation.docx” file included with the GitHub binary distribution for a description of the service commands available. 

【译文】
在版本 2.8.9 中,我们添加了使 redis 作为服务运行的支持。
有关可用服务命令的说明,请参阅 github 二进制发行版附带的 “windows service documentation.docx” 文件。


三、windows 上的 redis 最佳实践

【原文】Redis on Windows Best Practices​​​​​​​


(1)二元分布

【原文】Binary Distributions​​​​​​​

【原文】
The GitHub repository should be considered a work in progress until we release the NuGet and Chocolatey packages and tag the repository at that released version. 

【译文】
github 存储库应该被认为是一个正在进行的工作,直到我们发布了 nuget 和 chocoley 包并在发布的版本上标记存储库。
【原文】
For instance, the Windows Service feature has taken many iterations with community input to get right. 
Since the initial Windows service code was checked we have added the following to the service based on community input:
  • Self-elevation of the Redis executable so that service commands would work from a non-elevated command prompt.
  • Service naming so that multiple instances of the Redis service could be installed on one machine.
  • Automatically adjusting folder permissions so that when Redis is run under the NETWORK SERVICE account it could modify the files in the installation directory.
  • Moved all of the pre-main() error reporting code (service and quasi-fork code) that could write errors to stdout to use the Redis logging code. 
This allows service initialization errors to reach the Event Log. 
This required intercepting all of the command line and conf file arguments before main() in order to properly initialize the logging engine. 
There were several fixes related to the intricacies of how to interpret the arguments passed to Redis.

【译文】
例如,windows 服务特性已经用社区输入进行了多次迭代,以获得正确的结果。
自从检查了初始 Windows 服务代码后,我们根据社区输入向服务添加了以下内容:
  • redis 可执行文件的自提升,以便服务命令可以在非提升的命令提示符下工作。
  • 服务命名,以便可以在一台计算机上安装 redis 服务的多个实例。
  • 自动调整文件夹权限,以便在网络服务帐户下运行 redis 时可以修改安装目录中的文件。
  • 移动了所有可能向 stdout 写入错误的 pre-main() 错误报告代码(服务和准 fork 代码)以使用redis 日志记录代码。
这允许服务初始化错误到达事件日志。
这需要截取 main() 之前的所有命令行和 conf 文件参数,以便正确初始化日志引擎。
对于如何解释传递给 redis 的参数的复杂性,有几个修正。

(2)堆的大小尺寸调整

【原文】Heap Sizing​​​​​​​

【原文】
Native heaps are prone to fragmentation. 
If we are not able to allocate more heap space due to fragmentation, Redis will flag the problem and exit. 
Unlike the POSIX version of Redis, our heap size is constrained by the system-paging file space. 
It is important to consider how much data you are expecting to put into Redis, and how much fragmentation you are likely to see in the Redis heap. 
High levels of fragmentation of the heap may cause to run into an out of heap space. 
In this case, an increase of the size of the system-paging file may solve the problem.

【译文】
本机堆容易碎片化。
如果由于碎片无法分配更多堆空间,redis 将标记该问题并退出。
与 posix 版本的 redis 不同,堆大小受系统分页文件空间的限制。
很重要的一点是,要考虑您希望将多少数据放入 redis ,以及您可能在 redis 堆中看到多少碎片。
堆的高碎片级别可能会导致堆空间不足。
在这种情况下,增加系统分页文件的大小可以解决问题。

(3)安装和维护

【原文】Installation and Maintenance​​​​​​​

【原文】
Since Redis uses the system-paging file, the most stable configurations will only have Redis running on essentially a virgin operating system install. 

【译文】
由于 redis 使用系统分页文件,所以最稳定的配置将只在基本上是原始操作系统安装上运行 redis 。
【原文】
Redis is xcopy deployable. 
There should be no problem upgrading versions by simply copying new binaries over old ones (assuming they are not currently in use). 

【译文】
redis 是 xcopy 可部署的。
通过简单地复制新的二进制文件而不是旧的二进制文件来升级版本应该没有问题(假设它们当前没有使用)。

(4)服务帐户

【原文】Service Account​​​​​​​

【原文】
When using Redis as a Windows service, the default installation configures Redis to run under the system’s NETWORK SERVICE account. 
There are some environments where another account must be used (perhaps a domain service account). 
Configuration of this account needs to be done manually at this point with the service control manager. 
If this is done, it is also important to give read/write/create permission to the folder that the Redis executable is in to this user identity. 

【译文】
将 redis 用作 windows 服务时,默认安装将 redis 配置为在系统的网络服务帐户下运行。
在某些环境中,必须使用另一个帐户(可能是域服务帐户)。
此时需要使用服务控制管理器手动配置此帐户。
如果这样做了,那么将 redis 可执行文件所在的文件夹的读/写/创建权限授予此用户标识也很重要。

 

 类似资料: