AWS CloudSearch上传的PDF内容未索引

Question

我正试图通过控制台将PDF上传到CloudSearch。添加文档时，无法有效搜索内容。控制台生成SDF格式的JSON，如下所示：

[ {
  "type" : "add",
  "id" : "Sample.pdf",
  "fields" : {
    "content_type" : "text/plain",
    "content_encoding" : "windows-1252",
    "resourcename" : "Sample.pdf",
    "content" : "%PDF-1.6\r\nCatalogx^½]ÛrÜ6�}Ÿ¯˜­ÊÃ{...}\r\n%%EOF"
  }
} ]

当我试图搜索文档内容时，上面可读的文本（PDF、目录）出现，但没有任何有用的文档内容。

我很惊讶地看到：

• content/type是text/plain而不是appliation/pdf，并且

然后，我手工制作了自己的批处理XML文件，尝试同样的方法：

<batch>
    <add id="pdftest1">
        <field name="content_type">application/pdf</field>
        <field name="resourcename">Sample1.pdf</field>
        <field name="content">{copied from aws console output}</field>
    </add>
</batch>

和

<batch>
    <add id="pdftest2">
        <field name="content_type">application/pdf</field>
        <field name="resourcename">Sample2.pdf</field>
        <field name="content">{base64 encoded pdf contents}</field>
    </add>
</batch>

有没有可能让CloudSearch在不将PDF转换为文本文件的情况下搜索PDF的“有用”内容？

如果是，我做错了什么？

2016年6月27日编辑

CloudSearch命令行界面通过将PDF转换为原始文本来生成批处理。不确定为什么AWS云搜索控制台不做同样的事情。

C:\Downloads>cs-import-documents --source .\Sample.pdf --output .\1.json

生产：

[ {
  "type" : "add",
  "id" : "xmlC:_Downloads_Sample.pdf",
  "fields" : {
    "content_type" : "applicathtml" target="_blank">ion/pdf",
    "created" : "Fri Jun 17 11:14:45 EDT 2016",
    "resourcename" : "Sample.pdf",
    "content" : "6/17/2016 [... remaining text omitted for brevity ...]
  }
} ]

AWS文件包括：

Amazon CloudSearch控制台提供了一种从几种常见文件类型自动生成格式正确的JSON或XML的方法：PDF、Microsoft Excel、Microsoft PowerPoint、Microsoft Word、CSV、文本和超文本标记语言。

截至2016年6月24日，这似乎是不正确的（或者我在使用控制台时错过了一些东西）。

这给我留下了另一个问题：什么是一种合理有效的方法，可以每天将S3存储桶中的数百个新PDF放入CloudSearch？明确地：

• CloudSearch API是否提供“pdf到文本”作为其API的一部分

如果CLI是推荐的方式，那似乎效率低下，因为（我假设）CLI必须从S3中提取PDF，转换为文本，然后将生成的SDF推送到CloudSearch。似乎。。。奇怪的是，AWS不会提供一个针对CS的API调用，而这正是为我所做的。也许他们真的提供了，而我却错过了？

Answer 1

终于，我能让它工作了！对我来说，它的工作方式是使用cs导入文档AWS Cloudsearch命令。cs导入文档——源“c:\test.pdf”——输出“c:\test.sdf”

它产生了一个。json文件。我通过控制台将其上传到Cloudsearch，搜索提供了结果。

祝你好运拉杰

Answer 2

这里也有同样的问题。我正在从事文档管理项目（C#，WPF），希望在S3的CloudSearch上为大量PDF编制索引。

以下流程符合我的要求。我找不到其他解决办法。

• 手动配置索引
  • 示例字段：文件名，文本，路径，修改日期

  将文档添加到CloudSearch的代码

  // Find all files in root folder create index on them
          List<string> lstFiles = listAllFilesOnCloud("[BucketName]");
  
          foreach (string strFile in lstFiles)
          {
              string FileName = System.IO.Path.GetFileNameWithoutExtension(strFile);
              string Text = ExtractTextFromPdf("https://s3.amazonaws.com/" + strFile);
              string Path = strFile;
              DateTime ModifiedDate = DateTime.Now;
  
  
              string headerText = Text.Substring(0, Text.Length < 150 ? Text.Length : 150);
              foreach (var docs in ltDocumentTypes)
              {
                  if (headerText.ToUpper().Contains(docs.searchText.ToUpper()))
                  {
                      DocumentType = docs.DocumentType;
                      Vault = docs.VaultName; ;
                  }
              }
  
              if (string.IsNullOrEmpty(DocumentType))
              {
                  DocumentType = "Default";
                  Vault = "Default";
              }
  
              IndexDocument docDetail = new IndexDocument();
              docDetail.filename = FileName;
              docDetail.text = Text;
              docDetail.path = Path;
              docDetail.modifieddate = ModifiedDate;
  
              UploadDcoumentOnCloudSearch(docDetail);
          }
  

  使用ITexSharp提取PDF格式的文本。