人工智能中的Benchmark、SOTA、Baseline指的是什么?
- SOTA
SOTA(state-of-the-art)指的是针对于某一种特定任务,该模型做到了最佳,即最佳性能算法。 - Benchmark
Benchmark同后文需要讲到的Baseline比较像,都是用于对比不同模型准确度,性能表现等方面的概念。一个模型能够作为Benchmark,那么其一定是业内已经研究比较成熟,得到了较多认可的。比如经典数据结构和算法中的栈、队列等数据结构,亦或者是二分查找、哈希查找等算法,他们都可以用于对新模型的性能指标进行衡量和对比。
它的性能已经被广泛研究,人们对它性能的表现形式、测量方法都非常熟悉,因此可以作为标准方法来衡量其他方法的好坏。(引用自【简单易懂】Benchmark和baseline的区别!)
- Baseline
Baseline中文翻译为“基线”,其同Benchmark都作为衡量算法模型的比较物。对于Baseline,其要求比Benchmark低,可以理解为一个最低的限度与分割线,一般而言如果模型性能连Baseline都达不到的话其应用价值不大,除非是还有巨大的改良空间与进步空间,或者是创新点较大。