NVIDIA Image Scaling

英伟达开发的图像缩放技术
授权协议 MIT
开发语言 C/C++
所属分类 应用工具、 图形和图像工具
软件类型 开源软件
地区 不详
投 递 者 习宸
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

NVIDIA Image Scaling SDK 为跨平台支持提供了单一的空间缩放和锐化算法。缩放算法使用 6-tap 缩放过滤器,结合了 4 个方向缩放和自适应锐化过滤器,可创建平滑的图像和锐利的边缘。此外,SDK 提供了最先进的自适应方向锐化算法,用于不需要缩放的应用程序。

色彩空间和范围

NVIDIA Image Scaling 着色器可以处理存储为 LDR 或 HDR 的颜色纹理,但有以下限制:

  1. LDR
    • 颜色值的范围必须在 [0, 1] 范围内
    • 应用色调映射和 OETF(伽马校正)后,输入颜色纹理必须处于显示参考颜色空间中
  2. HDR PQ
    • 颜色值的范围必须在 [0, 1] 范围内
    • 在应用了 Rec.2020 PQ OETF 的色调映射后,输入颜色纹理必须在显示参考颜色空间中
  3. HDR 线性
    • 推荐的颜色值范围是 [0, 12.5],其中亮度值(根据 BT.709)1.0 映射到 80nits(sRGB 峰值)的亮度值,12.5 映射到 1000nits
    • 输入颜色纹理可能具有线性和场景参考或线性和显示参考(色调映射后)的亮度值

资源状态、缓冲区和采样器:

调用 NVIDIA Image Scaling SDK 着色器的游戏或应用程序必须确保纹理处于正确状态。

  • 输入颜色纹理必须处于像素着色器读取状态。DirectX 中的着色器资源视图 (SRV)
  • 输出纹理必须处于读/写状态。DirectX 中的无序访问视图 (UAV)
  • NVScaler 的系数纹理必须处于读取状态。DirectX 中的着色器资源视图 (SRV)
  • 配置变量必须作为常量缓冲区传递。DirectX 中的常量缓冲区视图 (CBV)
  • ……

最佳着色器设置

为了在当前和未来的硬件上获得 NvScaler 和 NvSharpen 的最佳性能,建议使用以下 API 来获取 NIS_BLOCK_WIDTH、NIS_BLOCK_HEIGHT 和 NIS_THREAD_GROUP_SIZE 的值。

enum class NISGPUArchitecture : uint32_t
{
    NVIDIA_Generic = 0,
    AMD_Generic = 1,
    Intel_Generic = 2
};
struct NISOptimizer
{
    bool isUpscaling;
    NISGPUArchitecture gpuArch;

    NISOptimizer(bool isUpscaling = true,
                 NISGPUArchitecture gpuArch = NISGPUArchitecture::NVIDIA_Generic);
    uint32_t GetOptimalBlockWidth();
    uint32_t GetOptimalBlockHeight();
    uint32_t GetOptimalThreadGroupSize();
};

HDR 着色器设置

使用以下枚举值设置 NIS_HDR_MODE

enum class NISHDRMode : uint32_t
{
    None = 0,
    Linear = 1,
    PQ = 2
};

NVScaler 的集成

编译 NIS_Main.hlsl 着色器

NIS_SCALER 应该设置为 1,并且 isUscaling 应该作为 true 传递。

NISOptimizer opt(true, NISGPUArchitecture::NVIDIA_Generic);
uint32_t blockWidth = opt.GetOptimalBlockWidth();
uint32_t blockHeight = opt.GetOptimalBlockHeight();
uint32_t threadGroupSize = opt.GetOptimalThreadGroupSize();

Defines defines;
defines.add("NIS_SCALER", true);
defines.add("NIS_HDR_MODE", hdrMode);
defines.add("NIS_BLOCK_WIDTH", blockWidth);
defines.add("NIS_BLOCK_HEIGHT", blockHeight);
defines.add("NIS_THREAD_GROUP_SIZE", threadGroupSize);
NVScalerCS = CompileComputeShader(device, "NIS_Main.hlsl”, &defines);

创建 NVIDIA Image Scaling SDK 配置常量缓冲区

struct NISConfig
{
    float kDetectRatio;
    float kDetectThres;
    float kMinContrastRatio;
    float kRatioNorm;
    ...
};

NISConfig config;
createConstBuffer(&config, &csBuffer);

为缩放器和 USM 相位系数创建 SRV 纹理

const int rowPitch = kFilterSize * 4;
const int imageSize = rowPitch * kPhaseCount;

createTexture2D(kFilterSize / 4, kPhaseCount, DXGI_FORMAT_R32G32B32A32_FLOAT, D3D11_USAGE_DEFAULT, coef_scaler, rowPitch, imageSize, &scalerTex);

createTexture2D(kFilterSize / 4, kPhaseCount, DXGI_FORMAT_R32G32B32A32_FLOAT, D3D11_USAGE_DEFAULT, coef_usm, rowPitch, imageSize, &usmTex);

createSRV(scalerTex.Get(), DXGI_FORMAT_R32G32B32A32_FLOAT, &scalerSRV);
createSRV(usmTex.Get(), DXGI_FORMAT_R32G32B32A32_FLOAT, &usmSRV);

创建采样器

createLinearClampSampler(&linearClampSampler);

更新 NVIDIA Image Scaling SDK NVScaler 配置和常量缓冲区

使用以下 API 调用更新 NVIDIA Image Scaling SDK 配置

void NVScalerUpdateConfig(NISConfig& config,
    float sharpness,
    uint32_t inputViewportOriginX, uint32_t inputViewportOriginY,
    uint32_t inputViewportWidth, uint32_t inputViewportHeight,
    uint32_t inputTextureWidth, uint32_t inputTextureHeight,
    uint32_t outputViewportOriginX, uint32_t outputViewportOriginY,
    uint32_t outputViewportWidth, uint32_t outputViewportHeight,
    uint32_t outputTextureWidth, uint32_t outputTextureHeight,
    NISHDRMode hdrMode = NISHDRMode::None
);

每当输入大小、清晰度或比例发生变化时更新常量缓冲区

NVScalerUpdateConfig(m_config, sharpness,
                0, 0, inputWidth, inputHeight, inputWidth, inputHeight,
                0, 0, outputWidth, outputHeight, outputWidth, outputHeight,
                NISHDRMode::None);

updateConstBuffer(&config, csBuffer.Get());

构造

$> cd samples
$> mkdir build
$> cd build
$> cmake ..
 相关资料
  • 面了英伟达的GPU C++ Modeling Engineer 投递的时候看要求是熟练掌握C++ 结果面试的时候都是体系结构 人麻了,一点没看 问的都是cache之类的,梦回大二的组成原理,但是那书早被我卖了,几百年没看了 问面试官,是不是岗位不太匹配 面试官说,体系结构这么不熟的头一次见 跟面试官说直接放弃面试了,感觉她面的也挺难受的 还是等华子泡出来吧,折腾来折腾去也挺累了 #24届软开秋招面

  • software testing -drive sim部门 c++: 1.顺时针旋转90度二维矩阵 用的是轮转的方法,问是否可以直接交换? 180度旋转呢? 2.虚函数是什么?父类里面virtual关键字的 3.static可以当虚函数吗?不可以,因为虚函数在运行的时候才知道要调用父类还是子类方法。static是在编译的时候就知道了。 4.你对自动驾驶有了解吗? 5.英伟达gpu有了解吗? 6.s

  • #英伟达面经# 攒人品 岗位是deep learning performance architect intern,base上海,中文面试 大概是40min左右的自我介绍,介绍实习经历/项目的过程中针对细节提问,非常个人化,而且由于面试官做的是偏底层的,问的问题也会往底层考,有些答上来了有些没答出来。 因为有icpc/ccpc经历,40min之后又问了一些基础的算法问题,最后问了一个特别简单的co

  • 这家公司因为是外企,是有英文自我介绍的,在这方面小伙伴们要做好准备哈。面试感受还可以的,整体不算难。是一对一视频面试,自我介绍后,开始先根据简历询问项目经历具体细节。 闻到示波器工作原理,给定一个场景问怎么解决; 接着询问专业知识,如MOS管的原理及应用。 然后询问脚本语言的应用 最后一部分是使用英文作自我介绍以及对公司和职位的了解,然后面试官会介绍一下公司平台以及工作内容,也会有反问环节。

  • 以下是CardView的XML代码: 我尝试对ImageView(和LinearLayout)的属性使用wrap_content,并尝试包含属性android: caleType="fitXY",但它没有帮助,似乎没有任何效果。 谁能帮我一下吗?我非常感谢您的每一句评论,也非常感谢您的帮助。

  • 面试官:外国人,中文良好 1.英文打招呼,因为不会英语转换为中文面试 2.对实习: 上一段实习与同事们相处得怎样 3.介绍部门业务 你了解GPU优化吗 内存优化 你的项目是课设还是自己想做的 4.手撕代码:内存池 (40min) 四个函数:内存池初始化,释放,用户申请,用户释放 只能用两次malloc,不能用stl 面试官会教你写

  • 问题内容: 改变的大小的图像在GWT部件改变所述图像元素的大小,但不重新调整屏幕上的图像。因此,以下操作将无效: 这是因为GWT 通过使用CSS 将HTML 元素的设置为图像来实现其Image小部件。 如何获得要调整尺寸的实际图像? 问题答案: 我看到了此博客条目,该条目通过使用GWT DataResource而不是ImageResource解决了问题。事实证明,如果您按以下方式使用它,则Imag