如何训练libsvm格式的图像（像素）数据以用于Java识别

Question

我想使Java应用程序通过使用libsvm来识别字符，但是当涉及到这一点时，我不知道如何训练图像数据与libsvm一起使用？

最近要学习它，我对现有数据进行了测试：

我还32x32通过将每个像素转换为基础来创建了训练图像数据，0,1但是我不知道它是否可以用于创建libsvm训练数据格式？还有libsvm测试数据如何创建？

转换后的图像像素示例(0,1)：

00000000000001111000000000000000
00000000000011111110000000000000
00000000001111111111000000000000
00000001111111111111100000000000
00000001111111011111100000000000
00000011111110000011110000000000
00000011111110000000111000000000
00000011111110000000111100000000
00000011111110000000011100000000
00000011111110000000011100000000
00000011111100000000011110000000
00000011111100000000001110000000
00000011111100000000001110000000
00000001111110000000000111000000
00000001111110000000000111000000
00000001111110000000000111000000
00000001111110000000000111000000
00000011111110000000001111000000
00000011110110000000001111000000
00000011110000000000011110000000
00000001111000000000001111000000
00000001111000000000011111000000
00000001111000000000111110000000
00000001111000000001111100000000
00000000111000000111111000000000
00000000111100011111110000000000
00000000111111111111110000000000
00000000011111111111110000000000
00000000011111111111100000000000
00000000001111111110000000000000
00000000000111110000000000000000
00000000000011000000000000000000
 0
00000000000001111111110000000000
00000000001111111111111000000000
00000000011111111111111100000000
00000000011111111111111100000000
00000000011111111111111110000000
00000001111111111111111100000000
00000000111110000011111100000000
00000000000000000001111100000000
00000000000000000001111100000000
00000000000000000001111100000000
00000000000000000011111000000000
00000000000000000111111000000000
00000000000000000111111000000000
00000000000000000111111000000000
00000000000000001111110000000000
00000000011111111111111111000000
00000000111111111111111111100000
00000000111111111111111111100000
00000000111111111111111111100000
00000001111111111111111110000000
00000001111111111110000000000000
00000001111111111110000000000000
00000000111111111110000000000000
00000000000011111000000000000000
00000000000011111000000000000000
00000000000011111000000000000000
00000000000111111000000000000000
00000000000111111000000000000000
00000000001111110000000000000000
00000000011111110000000000000000
00000000001111100000000000000000
00000000001111100000000000000000
 7

如何获得它libsvm (training, testing data)？

Answer 1

libsvm 具有特定的数据格式，每一行都是一个训练/测试向量，形式为

标签INDEX0：VALUE0 INDEX1：VALUE1 … INDEXN：VALUEN

因此，在最“幼稚”的方法中，您只需通过串联相应的行即可将矩阵表示形式转换为行表示形式，

010
011
000

会成为

010011000

并采用libsvm格式（假设我们将其标记为“ 5”）：

5 0:0 1:1 2:0 3:0 4:1 5:1 6:0 7:0 8:0 9:0

由于libsvm支持“稀疏”表示，因此可以省略带有“ 0”的值

5 1:1 4:1 5:1

这是一种手动方式，示例数据位于此处：http
:
//www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary/a1a

最简单的“自动”方式是将数据表示为.csv格式（再次将数据转换为类似行的格式，然后转换为.csv），这是非常标准的方法：

LABEL，PIXEL_0，PIXEL_1，…，PIXEL_N

…

然后使用该程序进行转换

/* convert cvs data to libsvm/svm-light format */

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

char buf[10000000];
float feature[100000];

int main(int argc, char **argv)
{
    FILE *fp;

    if(argc!=2) { fprintf(stderr,"Usage %s filename\n",argv[0]); }
    if((fp=fopen(argv[1],"r"))==NULL)
    {
        fprintf(stderr,"Can't open input file %s\n",argv[1]);
    }

    while(fscanf(fp,"%[^\n]\n",buf)==1)
    {
        int i=0,j;
        char *p=strtok(buf,",");

        feature[i++]=atof(p);

        while((p=strtok(NULL,",")))
            feature[i++]=atof(p);

        //      --i;
        /*
        if ((int) feature[i]==1)
            printf("-1 ");
        else
            printf("+1 ");
        */
        //      printf("%f ", feature[1]);
        printf("%d ", (int) feature[0]);
        for(j=1;j<i;j++)
            printf(" %d:%f",j,feature[j]);


        printf("\n");
    }
    return 0;
}

训练文件和测试文件的结构完全相同，只需将您的数据按一定比例（3：1或9：1）随机分成文件training和testing，但请记住，每个文件中每个类的训练向量数量应均衡。

特别是-您的数据看起来有点像 MNIST 数据集，如果是这种情况，则已经为libsvm准备了：

http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/multiclass.html

MNIST培训：http
:
//www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/multiclass/mnist.scale.bz2

MNIST测试：http
:
//www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/multiclass/mnist.scale.t.bz2

如果可能的话，将图像转换为[0,1]间隔的实值图像将比二进制数据（丢失大量信息）更有价值。

编辑

例如，如果您的图像是8位灰度图像，那么每个像素实际上就是v0到255之间的数字。您现在正在做的是一些阈值设置，将1设置为v > T0 v <= T，同时将这些值映射为实数值。将为模型提供更多信息。可以通过简单的挤压完成v / 255。结果，所有值都在[0,1]间隔中，但也有“介于”之间的值，例如0.25等等。