如何在AWS中处理大型战争文件？

Question

我做了什么？

使用JSP开发了一个Web应用程序，允许用户注册、登录并将文件上传到AWS S3。我正在使用Elastic Beanstalk将这个应用程序部署到aws，方法是上传应用程序的war文件。对于登录和注册模块，我使用了RDS，它运行良好。

问题

当我想上传文件到S3时，我需要在WEB app中使用AWS SDK jar及其支持的jar文件。当我完成开发部分并导出war文件时，它大约是75MB。所以问题是，如果我把任何东西改成app，我需要把这个大尺寸的war上传到aws。war文件的大小受AWS SDK的JAR文件的影响。

应对这种情况有哪些选择？

Answer 1

使用Elastic Beanstalk部署部分（因此更小）war文件的步骤如下：

1. 在使用的外部库中创建一个单独的包（例如dist-lib.zip）
2. 将此包上传到S3
3. 为下载和提取EC2节点上的外部库创建弹性Beanstrok部署config文件
4. 使用外部库创建war文件
5. 像往常一样部署war文件

摘录自Web模块的build.gradle（从zip内的路径中删除版本号）：

apply plugin: 'java-library-distribution'

distTar.enabled = false
distZip.enabled = hasProperty('dist') // 

def subPrjs = rootProject.subprojects.collect { it.name } - project.name

//...

distributions.main {
    contents.exclude subPrjs.collect { "$it*.jar" }
    contents.exclude "tomcat-embed-*"
    contents.exclude "tomcat-annotations-api-*"
    contents.exclude "spring-boot-starter-tomcat-*"
}

distZip {
    baseName += '-lib'
    version = null
    doLast {
        def f0 = archivePath;
        version = props.ver; // replace w/ your version number
        if (archivePath.exists()) {
            archivePath.delete()
        }
        f0.renameTo(archivePath.path)
    }
}

创建zip文件w/：gradle distZip-Pdist=true。

从aws cli：aws s3 cp您的_模块/build/distributions/YOUR_模块-lib-YOUR_版本。zip s3://YOUR_BUCKET/dist/dist lib。邮政编码

我建议固定桶：

1. 它不会为你产生额外的外部流量
2. 如果出现问题，你不小心上传了一些敏感数据，它不会造成任何损害

在Amazon S3中安全存储私钥中描述了访问私有S3存储桶的配置详细信息。

在您的应用程序被复制到Tomcat的webapps之前，您需要以下文件来自动下载、提取外部库并将其添加到提取的war包中。

deploy/eb/app-res.config：

Resources:
  # Use instance profile to authenticate to S3 bucket that contains the private key
  AWSEBAutoScalingGroup:
    Metadata:
      AWS::CloudFormation::Authentication:
        S3Auth:
          type: "s3"
          buckets: ["elasticbeanstalk-us-east-1-169305339676"]
          roleName:
            "Fn::GetOptionSetting":
              Namespace: "aws:autoscaling:launchconfiguration"
              OptionName: "IamInstanceProfile"
              DefaultValue: "aws-elasticbeanstalk-ec2-role-dev"

files:
  # distribution libs
  /tmp/dist-lib.zip:
    mode: "000644"
    owner: tomcat
    group: tomcat
    authentication: "S3Auth"
    source: https://s3.amazonaws.com/YOUR_BUCKET/dist/dist-lib.zip

deploy/eb/dist-lib。配置：

files:
  /opt/elasticbeanstalk/hooks/appdeploy/pre/10_lib_extr.sh:
    mode: "000755"
    owner: root
    group: root
    content: |
      #!/usr/bin/env bash
      rm -rf /tmp/dist-lib
      unzip  /tmp/dist-lib.zip -d /tmp/
      mv     /tmp/dist-lib/lib /tmp/deployment/application/ROOT/WEB-INF/lib 

另一部分来自build。web模块的gradle（子模块（子项目）类直接包含在web-INF/classes中）：

apply plugin: 'war'

jar.enabled = false

def env = project.hasProperty('env') ? project.getProperty('env') : 'lcl' // profile: set w/ "-Penv=..."
def ebDirs = ["$rootDir/deploy/eb-$env", "$rootDir/deploy/eb", "$rootDir/deploy/eb/_nginx"] // env. specific config first

// ...

war {
    duplicatesStrategy = 'fail'
    //rootSpec.exclude subPrjs.collect { "**/$it*.jar" } // exclude subproject jars only
    rootSpec.exclude "**/*.jar" // exclude dependencies => they must be downloaded and extracted during deployment
    from(subPrjs.collect { project(":$it").sourceSets.main.output }) {
        duplicatesStrategy = 'exclude' // in case of one output dir for multiple sourceSets
        into "WEB-INF/classes"
    }
    from(ebDirs) {
        duplicatesStrategy = 'exclude' // in case of env. spec. config
        exclude "**/_*"
        into ".ebextensions"
    }
}

使用gradle v4对上述解决方案进行了测试。10.2和aws cli v1。16.44（包括创建电子商务和部署电子商务）。

Answer 2

使用Maven之类的构建工具。这将确保在服务器的本地maven存储库中下载依赖文件。因此，它可以减少项目的上传大小。这是官方的快速指南