NVIDIA Image Scaling

英伟达开发的图像缩放技术
授权协议 MIT
开发语言 C/C++
所属分类 应用工具、 图形和图像工具
软件类型 开源软件
地区 不详
投 递 者 习宸
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

NVIDIA Image Scaling SDK 为跨平台支持提供了单一的空间缩放和锐化算法。缩放算法使用 6-tap 缩放过滤器,结合了 4 个方向缩放和自适应锐化过滤器,可创建平滑的图像和锐利的边缘。此外,SDK 提供了最先进的自适应方向锐化算法,用于不需要缩放的应用程序。

色彩空间和范围

NVIDIA Image Scaling 着色器可以处理存储为 LDR 或 HDR 的颜色纹理,但有以下限制:

  1. LDR
    • 颜色值的范围必须在 [0, 1] 范围内
    • 应用色调映射和 OETF(伽马校正)后,输入颜色纹理必须处于显示参考颜色空间中
  2. HDR PQ
    • 颜色值的范围必须在 [0, 1] 范围内
    • 在应用了 Rec.2020 PQ OETF 的色调映射后,输入颜色纹理必须在显示参考颜色空间中
  3. HDR 线性
    • 推荐的颜色值范围是 [0, 12.5],其中亮度值(根据 BT.709)1.0 映射到 80nits(sRGB 峰值)的亮度值,12.5 映射到 1000nits
    • 输入颜色纹理可能具有线性和场景参考或线性和显示参考(色调映射后)的亮度值

资源状态、缓冲区和采样器:

调用 NVIDIA Image Scaling SDK 着色器的游戏或应用程序必须确保纹理处于正确状态。

  • 输入颜色纹理必须处于像素着色器读取状态。DirectX 中的着色器资源视图 (SRV)
  • 输出纹理必须处于读/写状态。DirectX 中的无序访问视图 (UAV)
  • NVScaler 的系数纹理必须处于读取状态。DirectX 中的着色器资源视图 (SRV)
  • 配置变量必须作为常量缓冲区传递。DirectX 中的常量缓冲区视图 (CBV)
  • ……

最佳着色器设置

为了在当前和未来的硬件上获得 NvScaler 和 NvSharpen 的最佳性能,建议使用以下 API 来获取 NIS_BLOCK_WIDTH、NIS_BLOCK_HEIGHT 和 NIS_THREAD_GROUP_SIZE 的值。

enum class NISGPUArchitecture : uint32_t
{
    NVIDIA_Generic = 0,
    AMD_Generic = 1,
    Intel_Generic = 2
};
struct NISOptimizer
{
    bool isUpscaling;
    NISGPUArchitecture gpuArch;

    NISOptimizer(bool isUpscaling = true,
                 NISGPUArchitecture gpuArch = NISGPUArchitecture::NVIDIA_Generic);
    uint32_t GetOptimalBlockWidth();
    uint32_t GetOptimalBlockHeight();
    uint32_t GetOptimalThreadGroupSize();
};

HDR 着色器设置

使用以下枚举值设置 NIS_HDR_MODE

enum class NISHDRMode : uint32_t
{
    None = 0,
    Linear = 1,
    PQ = 2
};

NVScaler 的集成

编译 NIS_Main.hlsl 着色器

NIS_SCALER 应该设置为 1,并且 isUscaling 应该作为 true 传递。

NISOptimizer opt(true, NISGPUArchitecture::NVIDIA_Generic);
uint32_t blockWidth = opt.GetOptimalBlockWidth();
uint32_t blockHeight = opt.GetOptimalBlockHeight();
uint32_t threadGroupSize = opt.GetOptimalThreadGroupSize();

Defines defines;
defines.add("NIS_SCALER", true);
defines.add("NIS_HDR_MODE", hdrMode);
defines.add("NIS_BLOCK_WIDTH", blockWidth);
defines.add("NIS_BLOCK_HEIGHT", blockHeight);
defines.add("NIS_THREAD_GROUP_SIZE", threadGroupSize);
NVScalerCS = CompileComputeShader(device, "NIS_Main.hlsl”, &defines);

创建 NVIDIA Image Scaling SDK 配置常量缓冲区

struct NISConfig
{
    float kDetectRatio;
    float kDetectThres;
    float kMinContrastRatio;
    float kRatioNorm;
    ...
};

NISConfig config;
createConstBuffer(&config, &csBuffer);

为缩放器和 USM 相位系数创建 SRV 纹理

const int rowPitch = kFilterSize * 4;
const int imageSize = rowPitch * kPhaseCount;

createTexture2D(kFilterSize / 4, kPhaseCount, DXGI_FORMAT_R32G32B32A32_FLOAT, D3D11_USAGE_DEFAULT, coef_scaler, rowPitch, imageSize, &scalerTex);

createTexture2D(kFilterSize / 4, kPhaseCount, DXGI_FORMAT_R32G32B32A32_FLOAT, D3D11_USAGE_DEFAULT, coef_usm, rowPitch, imageSize, &usmTex);

createSRV(scalerTex.Get(), DXGI_FORMAT_R32G32B32A32_FLOAT, &scalerSRV);
createSRV(usmTex.Get(), DXGI_FORMAT_R32G32B32A32_FLOAT, &usmSRV);

创建采样器

createLinearClampSampler(&linearClampSampler);

更新 NVIDIA Image Scaling SDK NVScaler 配置和常量缓冲区

使用以下 API 调用更新 NVIDIA Image Scaling SDK 配置

void NVScalerUpdateConfig(NISConfig& config,
    float sharpness,
    uint32_t inputViewportOriginX, uint32_t inputViewportOriginY,
    uint32_t inputViewportWidth, uint32_t inputViewportHeight,
    uint32_t inputTextureWidth, uint32_t inputTextureHeight,
    uint32_t outputViewportOriginX, uint32_t outputViewportOriginY,
    uint32_t outputViewportWidth, uint32_t outputViewportHeight,
    uint32_t outputTextureWidth, uint32_t outputTextureHeight,
    NISHDRMode hdrMode = NISHDRMode::None
);

每当输入大小、清晰度或比例发生变化时更新常量缓冲区

NVScalerUpdateConfig(m_config, sharpness,
                0, 0, inputWidth, inputHeight, inputWidth, inputHeight,
                0, 0, outputWidth, outputHeight, outputWidth, outputHeight,
                NISHDRMode::None);

updateConstBuffer(&config, csBuffer.Get());

构造

$> cd samples
$> mkdir build
$> cd build
$> cmake ..
 相关资料
  • 面了英伟达的GPU C++ Modeling Engineer 投递的时候看要求是熟练掌握C++ 结果面试的时候都是体系结构 人麻了,一点没看 问的都是cache之类的,梦回大二的组成原理,但是那书早被我卖了,几百年没看了 问面试官,是不是岗位不太匹配 面试官说,体系结构这么不熟的头一次见 跟面试官说直接放弃面试了,感觉她面的也挺难受的 还是等华子泡出来吧,折腾来折腾去也挺累了 #24届软开秋招面

  • software testing -drive sim部门 c++: 1.顺时针旋转90度二维矩阵 用的是轮转的方法,问是否可以直接交换? 180度旋转呢? 2.虚函数是什么?父类里面virtual关键字的 3.static可以当虚函数吗?不可以,因为虚函数在运行的时候才知道要调用父类还是子类方法。static是在编译的时候就知道了。 4.你对自动驾驶有了解吗? 5.英伟达gpu有了解吗? 6.s

  • 这家公司因为是外企,是有英文自我介绍的,在这方面小伙伴们要做好准备哈。面试感受还可以的,整体不算难。是一对一视频面试,自我介绍后,开始先根据简历询问项目经历具体细节。 闻到示波器工作原理,给定一个场景问怎么解决; 接着询问专业知识,如MOS管的原理及应用。 然后询问脚本语言的应用 最后一部分是使用英文作自我介绍以及对公司和职位的了解,然后面试官会介绍一下公司平台以及工作内容,也会有反问环节。

  • 以下是CardView的XML代码: 我尝试对ImageView(和LinearLayout)的属性使用wrap_content,并尝试包含属性android: caleType="fitXY",但它没有帮助,似乎没有任何效果。 谁能帮我一下吗?我非常感谢您的每一句评论,也非常感谢您的帮助。

  • 问题内容: 改变的大小的图像在GWT部件改变所述图像元素的大小,但不重新调整屏幕上的图像。因此,以下操作将无效: 这是因为GWT 通过使用CSS 将HTML 元素的设置为图像来实现其Image小部件。 如何获得要调整尺寸的实际图像? 问题答案: 我看到了此博客条目,该条目通过使用GWT DataResource而不是ImageResource解决了问题。事实证明,如果您按以下方式使用它,则Imag

  • 主要内容:创建缩略图,批量修改图片尺寸在图像处理过程中经常会遇到缩小或放大图像的情况,Image 类提供的 resize() 方法能够实现任意缩小和放大图像。 resize() 函数的语法格式如下: 参数说明: size:元组参数 (width,height),图片缩放后的尺寸; resample:可选参数,指图像重采样滤波器,与 thumbnail() 的 resample 参数类似,默认为 Image.BICUBIC; box:对

  • Image Scaler是一个非常有用的工具,用于缩放图像以增大或减小其尺寸,或者我们可以说调整图像的大小。 要缩放图像,我们需要按照以下步骤操作 - Step 1 - 单击图像部分中的Scaler打开图像缩放Scaler 。 Step 2 - 通过单击左侧的文件夹图标导航到目录,方法与上面相同。 Step 3 - 单击“文件名”,选择要调整大小的文件。 Note − Image Scaler i