Adnc 如何手动部署 docker / consul / skywalking / nginx

优质

小牛编辑

126浏览

2023-12-01

前言

现在是容器的时代，不管是否基于微服务架构开发的系统都建议大家使用docker部署。linux+dokcer是最好的搭配，如果您只安装了windows，可以考虑安装linux虚拟机。adnc部署到服务器，需要先安装 mysql、redis、rabbitmq、mongogdb、skywalking、consul、nginx。

如何安装 mysql、redis、rabbitmq、mongogdb请参考如何快速跑起来，里面有详细介绍。下面介绍如何安装consul,skywalking,nginx。

安装consul

consul 是微服务的中转中心(注册中心/配置中心)，最重要的组件。如果consul服务器挂了，系统也会奔溃。因为重要，所有我们必须要部署一个集群

consul 分为server节点与client节点，server节点负责存储数据；client节点负责注册、发现、读写配置、健康监测。

如果直接在linux环境部署consul集群，配置很麻烦，使用docker虽简单了很多，但操作步骤还是很多的。

#拉取镜像
docker pull consul:1.8.0
#自定义网络，自定义网络可以指定容器IP，这样服务器重启consul集群也可以正常运行。
docker network create --driver bridge --subnet=172.21.0.0/16 --gateway=172.21.0.16 adnc_consul
#启动容器consul_server_1
docker run -d -p 8510:8500 --restart=always -v /root/data/consul/server1/data:/consul/data -v /root/data/consul/server1/config/:/consul/config --network=adnc_consul --ip 172.21.0.1 --privileged=true --name=consul_server_1 consul:1.8.0 agent -server -bootstrap-expect=3 -ui -node=consul_server_1 -client='0.0.0.0' -bind='172.21.0.1' -data-dir /consul/data -config-dir /consul/config -datacenter=adnc_dc

-d 后台运行
-p 8510:8500 主机8510端口映射到容器8500端口。
-v 挂载文件，-v 参数可以出现多次，我们分别将data数据与config存放在主机。
-name=consul_server_1容器的名称，这里不要用重复的名称，要有一定规则。
-server 表示server节点
-bootstrap-expect=3：表示期望提供的SERVER节点数目，数目一达到，它就会被激活。我们设定是3个服务节点，部署consul集成server节点至少3个。
-ui 开启ui界面，部署成功后我们可以通过http://你的主机Ip:8510，访问这个节点的ui界面。
-node=consul_server_1 节点名字，与容器名称一样，方便运维。
-datacenter=adnc_dc 集群数据中心名称

#为了让其他两个server节点加入集群，首先获取一下consul_server_1的IP地址。
JOIN_IP="172.21.0.1"

#启动容器consul_server_2并加入集群
docker run -d -p 8520:8500 --restart=always -v /root/data/consul/server2/data:/consul/data -v /root/data/consul/server2/config/:/consul/config --network=adnc_consul --ip 172.21.0.2 --privileged=true --name=consul_server_2 consul:1.8.0 agent -server -ui -node=consul_server_2 -client='0.0.0.0' -bind='172.21.0.2' -datacenter=adnc_dc -data-dir /consul/data -config-dir /consul/config -join=$JOIN_IP

-join=$JOIN_IP $JOIN_IP是上面获取到的consul_server_1节点的ip, join表示加入集群。

#启动容器consul_server_3并加入集群
docker run -d -p 8530:8500 --restart=always -v /root/data/consul/server3/data:/consul/data -v /root/data/consul/server3/config/:/consul/config --network=adnc_consul --ip 172.21.0.3 --privileged=true --name=consul_server_3 consul:1.8.0 agent -server -ui -node=consul_server_3 -client='0.0.0.0' -bind='172.21.0.3' -datacenter=adnc_dc -data-dir /consul/data -config-dir /consul/config -join=$JOIN_IP

#验证2个server节点是否加入集群
docker exec consul_server_1 consul operator raft list-peers

显示信息如下，表示集群搭建成功。集群有3个server节点，consul_server_1是leader。

Node             ID                                    Address          State     Voter  RaftProtocol
consul_server_2  fc655a2d-556b-f6aa-1b17-d189da0081b4  172.21.0.2:8300  follower  true   3
consul_server_3  3cc9fc4e-a65c-1666-ab4c-d6cb5cfefd8a  172.21.0.3:8300  leader    true   3
consul_server_1  0026bb2d-d2e8-5681-a3ad-ada57036e2e1  172.21.0.1:8300  follower  false  3

#启动容器consul_client_1并加入集群
docker run -d -p 8550:8500 --restart=always -v /data/consul/client1/config:/consul/config --network=adnc_consul --ip 172.21.0.4 --name=consul_client_1 consul:1.8.0 agent -node=consul_client_1   -client='0.0.0.0' -bind='172.21.0.4' -datacenter=adnc_dc -config-dir /consul/config -join=$JOIN_IP

client节点可以N多个，一般来说每台服务器上都需要部署一个client节点

consul集群安装完成，我们在浏览器输入`http://服务器IP:8510/ui/adnc_dc/nodes`,应该可以看到4个节点。如下图：

安装SkyWalking

SkyWalking是观察性分析平台和应用性能管理系统。

提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。

skywalking需要安装三个软件elasticsearch，skywalking-oap-server，skywalking-ui。

elasticsearch 一个分布式、高扩展、高实时的搜索与数据分析存储引擎
skywalking-oap-server 可观测性分析平台,可以以从多种数据源接收数据，分析Tracing和Metrics
skywalking-ui UI界面

我们通过docker-compose 安装,安装过程因为墙的原因，可能需要的时间比较长，耐心等待

#启动sw-compose.yml文件关联的3个容器
docker-compose -f sw-compose.yml up -d

sw-compose.yml

version: '3.3'
services:
  elasticsearch:
    image: elasticsearch:6.8.0
    container_name: skywalking-es
    restart: always
    ports:
      - 9200:9200
      - 9300:9300
    environment:
      discovery.type: single-node
      TZ: Asia/Shanghai
      ES_JAVA_OPTS: -Xms256m
  oap:
    image: apache/skywalking-oap-server:6.1.0
    container_name: skywalking-oap
    depends_on:
      - elasticsearch
    links:
      - elasticsearch
    restart: always
    ports:
      - 11800:11800
      - 12800:12800
    environment:
      TZ: Asia/Shanghai
  ui:
    image: apache/skywalking-ui:6.1.0
    container_name: skywalking-ui
    depends_on:
      - oap
    links:
      - oap
    restart: always
    ports:
      - 18886:8080
    environment:
      collector.ribbon.listOfServers: oap:12800

skywalking 安装完成，我们访问 http://服务器IP:18886/，会出现登录页面,默认账号/密码都是 admin 。

到此为止，serverapi需要的软件都已经安装完成(除nginx，ngnix的安装会在部署前端的时候介绍)。

下面正式进入主题，配置与部署。微服务的第一次部署是比较繁琐的，很多事情要做，往后就简单方便了。

配置consul的Key/Value

adnc会从consul读取appsettings的配置，并填充configuration对象。
consul任意节点配置的key/value都会自动同步到其他节点

//Program.cs
if (env.IsProduction() || env.IsStaging())
{
    var configuration = cb.Build();
    //从consul配置中心读取配置
    var consulOption = configuration.GetSection("Consul").Get<ConsulConfig>();
    cb.AddConsul(new[] { consulOption.ConsulUrl }, consulOption.ConsulKeyPath);
}

consul配置key/vaule配置有3种方法

1、通过类似postman工具直接调用api配置。
2、创建配置文件上传到节点目录配置。
3、直接登录服务节点UI界面配置。

我们采用第3种最简单的方式，直接登录UI界面，配置key/value。

adnc有5个webapp需要部署对应consul的4个key(4个appsettings)

服务名	描述	key path
Adnc.Infr.Gateway	ocelot网关	/adnc/production/gateway/appsettings
Adnc.Infr.HealthCheckUI	健康监测UI	配置内容目前没有放在consul配置中心
Adnc.Usr.WebApi	用户中心服务	/adnc/production/usr/appsettings
Adnc.Main.WebApi	运维中心服务	/adnc/production/maint/appsettings
Adnc.Cus.WebApi	客户中心服务	/adnc/production/cus/appsettings

配置key/adnc/production/gateway/appsettings

请将下面的内容copy到key的value中。

//CorsHosts 这里配置你前端服务器nginx的IP。如果配错，javascript会存在不能跨域的问题。
//
{
  "Logging": {
    "LogLevel": {
      "Default": "Error",
      "Microsoft": "Error",
      "Microsoft.Hosting.Lifetime": "Error"
    }
  },
  "AllowedHosts": "*",
  "CorsHosts": "http://你前端服务器的ip:端口"
}

配置/adnc/production/usr/appsettings

根据自己的实际情况修改mysql,reids,MongoDb,RabbitMq对应的信息。 /adnc/production/maint/appsettings /adnc/production/cus/appsettings /adnc/production/usr/appsettings 这3个key除了mysql数据库名字不同，其他信息一样

请将下面的内容copy到key的value中。

{
  "Logging": {
    "IncludeScopes": false,
    "LogLevel": {
      "Default": "Error",
      "Microsoft": "Error",
      "Microsoft.Hosting.Lifetime": "Error"
    }
  },
  "Mysql": {
    "ConnectionString": "Server=172.16.0.4;Port=13308;database=adnc_usr;uid=root;pwd=aaaa;"
  },
  "Redis": {
    "MaxRdSecond": 120,
    "EnableLogging": false,
    "LockMs": 5000,
    "SleepMs": 300,
    "dbconfig": {
      "ConnectionStrings": [
        "172.16.0.4:13379,password=football,defaultDatabase=0,poolsize=50,defaultDatabase=12,prefix="
      ],
      "ReadOnly": false
    }
  },
  "MongoDb": {
    "ConnectionString": "mongodb://alpha:football@172.16.0.4:13017/logs?authSource=logs",
    "CollectionNamingConvention": 2,
    "PluralizeCollectionNames": true
  },
  "RabbitMq": {
    "HostName": "172.16.0.4",
    "VirtualHost": "vhost.adnc",
    "Port": "13572",
    "UserName": "adnc",
    "Password": "aaaa"
  },
  "AllowedHosts": "*",
  "CorsHosts": "http://localhost:5888",
  "SSOAuthentication": false,
  "JWT": {
    "SymmetricSecurityKey": "alphadotnetcoresecurity2020",
    "Issuer": "172.16.0.4",
    "ClockSkew": 1,
    "Audience": "",
    "RefreshTokenAudience": "alpha",
    "Expire": 6000,
    "RefreshTokenExpire": 10080
  }
}

修改配置文件

修改 appsetting.production.json
appsetting.production.josn 的配置都很简单只有两个节点，一个是 consul 节点，另一个是 skywalking 节点。

Consul节点修改ConsulUrl,换成你的地址
SkyWalking节点修改Servers,换成你的地址

修改Adnc.Infr.HealthCheckUI的appsettings.json文件，将172.16.0.4替换成你服务器的ip即可。
修改Adnc.Infr.Gateway config目录下的ocelot.production.json文件。

copy下面内容到ocelot.production.json中，不要用现有的配置，因为现有配置需要安装fabio，ocelot路由配置有好几种，以后再介绍，现在我们用直连consul的方式。

{
  "GlobalConfiguration": {
    "BaseUrl": "http://网关服务器IP:8888",
    "ServiceDiscoveryProvider": {
      "Scheme": "http",
      "Host": "Consul服务器IP",
      "Port": 8550,
      "Type": "Consul"
    }
  },
  "Routes": [
    {
      "UpstreamPathTemplate": "/usr{everything}",
      "UpstreamHttpMethod": [
        "Get",
        "Put",
        "Post",
        "Delete"
      ],
      "DownstreamScheme": "http",
      "DownstreamPathTemplate": "/usr{everything}",
      "ServiceName": "adnc.usr.webapi",
      "LoadBalancerOptions": {
        "Type": "RoundRobin"
      }
    },
    {
      "UpstreamPathTemplate": "/maint{everything}",
      "UpstreamHttpMethod": [
        "Get",
        "Put",
        "Post",
        "Delete"
      ],
      "DownstreamScheme": "http",
      "DownstreamPathTemplate": "/maint{everything}",
      "ServiceName": "adnc.maint.webapi",
      "LoadBalancerOptions": {
        "Type": "RoundRobin"
      }
    },
    {
      "UpstreamPathTemplate": "/cus{everything}",
      "UpstreamHttpMethod": [
        "Get",
        "Put",
        "Post",
        "Delete"
      ],
      "DownstreamScheme": "http",
      "DownstreamPathTemplate": "/cus{everything}",
      "ServiceName": "adnc.cus.webapi",
      "LoadBalancerOptions": {
        "Type": "RoundRobin"
      }
    }
  ]
}

发布/部署

在服务器上建 wwwroot 目录，并且在该目录下新建 adnc_gateway、adnc_health、adnc_usr、adnc_cus、adnc_maint、nginx 6个子目录。
依次发布adnc.infr.gateway、adnc.infr.healthui、adnc.cus.webapi、adnc.usr.webapi、adnc.maint.webapi

部署模式：框架依赖

发布成功后分别上传到服务器各自对应目录里面。

Adnc.Usr.WebApi

进入adnc_usr的目录，新建一个Dockerfile文件，内容如下

#adnc.usr.webapi
#使用asp.net core 3.1作为基础镜像，起一个别名为base
FROM mcr.microsoft.com/dotnet/core/aspnet:3.1-buster-slim AS base
#设置容器的工作目录为/app
WORKDIR /app
#COPY 文件
COPY . /app
#设置ASPNETCORE_ENVIRONMENT
ENV ASPNETCORE_ENVIRONMENT production
#配置本服务在skywalking名称
ENV SKYWALKING__SERVICENAME=adnc-usr-webapi
#skywalking接管的意思，除了adnc_health不需要配置，其他4个必须配置
ENV ASPNETCORE_HOSTINGSTARTUPASSEMBLIES=SkyAPM.Agent.AspNetCore
#设置时区为东八区
ENV TZ Asia/Shanghai
#启动服务
ENTRYPOINT ["dotnet", "Adnc.Usr.WebApi.dll"]

#注意最后有一个点，表示打包dockerfile文件所在的目录
docker build -t adnc-usr-webapi .

启动adnc-usr-webapi容器,容器监听7010端口

#把172.16.0.4换成你自己的ip，172.16.0.4是我腾讯服务器的内网ip
#容器正常启动后，会自动注册到consul
docker run --name adnc-usr-webapi-7010 -d -p 7010:80 --env DOCKER_LISTEN_HOSTANDPORT=http://172.16.0.4:7010 adnc-usr-webapi

进入consulUI管理界面http://consul服务器ip:8510，查看是否注册成功。

Adnc.Maint.WebApi

进入adnc_maint的目录，新建一个Dockerfile文件，内容如下

#adnc.maint.webapi
#使用asp.net core 3.1作为基础镜像，起一个别名为base
FROM mcr.microsoft.com/dotnet/core/aspnet:3.1-buster-slim AS base
#设置容器的工作目录为/app
WORKDIR /app
#COPY 文件
COPY . /app
#设置ASPNETCORE_ENVIRONMENT
ENV ASPNETCORE_ENVIRONMENT production
#配置本服务在skywalking名称
ENV SKYWALKING__SERVICENAME=adnc-maint-webapi
#skywalking接管的意思，除了adnc_health不需要配置，其他4个必须配置
ENV ASPNETCORE_HOSTINGSTARTUPASSEMBLIES=SkyAPM.Agent.AspNetCore
#设置时区为东八区
ENV TZ Asia/Shanghai
#启动服务
ENTRYPOINT ["dotnet", "Adnc.Maint.WebApi.dll"]

在adnc_maint目录下打包镜像文

#注意最后有一个点，表示打包dockerfile文件所在的目录
docker build -t adnc-maint-webapi .

启动adnc-maint-webapi容器,容器监听7020端口

#把172.16.0.4换成你自己的ip，172.16.0.4是我腾讯服务器的内网ip
#容器正常启动后，会自动注册到consul
docker run --name adnc-maint-webapi-7020 -d -p 7020:80 --env DOCKER_LISTEN_HOSTANDPORT=http://172.16.0.4:7020 adnc-maint-webapi

进入consulUI管理界面http://consul服务器ip:8510，查看是否注册成功。

Adnc.Cus.WebApi

进入adnc_cus的目录，新建一个Dockerfile文件，内容如下

#adnc.cus.webpai
#使用asp.net core 3.1作为基础镜像，起一个别名为base
FROM mcr.microsoft.com/dotnet/core/aspnet:3.1-buster-slim AS base
#设置容器的工作目录为/app
WORKDIR /app
#COPY 文件
COPY . /app
#设置ASPNETCORE_ENVIRONMENT
ENV ASPNETCORE_ENVIRONMENT production
#配置本服务在skywalking名称
ENV SKYWALKING__SERVICENAME=adnc-cus-webapi
#skywalking接管的意思，除了adnc_health不需要配置，其他4个必须配置
ENV ASPNETCORE_HOSTINGSTARTUPASSEMBLIES=SkyAPM.Agent.AspNetCore
#设置时区为东八区
ENV TZ Asia/Shanghai
#启动服务
ENTRYPOINT ["dotnet", "Adnc.Cus.WebApi.dll"]

#注意最后有一个点，表示打包dockerfile文件所在的目录
docker build -t adnc-cus-webapi .

启动adnc-cus-webapi容器,容器监听7030端口

#把172.16.0.4换成你自己的ip，172.16.0.4是我腾讯服务器的内网ip
#容器正常启动后，会自动注册到consul
docker run --name  adnc-cus-webapi-7030 -d -p 7030:80 --env DOCKER_LISTEN_HOSTANDPORT=http://172.16.0.4:7030  adnc-cus-webapi

进入consulUI管理界面http://consul服务器ip:8510，查看是否注册成功。

Adnc.Infr.Gateway

进入 adnc_gateway 的目录，新建一个 Dockerfile 文件，内容如下

#adnc.infr.gateway
#使用asp.net core 3.1作为基础镜像，起一个别名为base
FROM mcr.microsoft.com/dotnet/core/aspnet:3.1-buster-slim AS base
#设置容器的工作目录为/app
WORKDIR /app
#COPY 文件
COPY . /app
#暴露80端口
ENV ASPNETCORE_ENVIRONMENT production
ENV SKYWALKING__SERVICENAME=adnc-gateway
ENV ASPNETCORE_HOSTINGSTARTUPASSEMBLIES=SkyAPM.Agent.AspNetCore
ENV TZ Asia/Shanghai
ENTRYPOINT ["dotnet", "Adnc.Infr.Gateway.dll"]

在adnc_gateway目录下打包镜像文

#注意最后有一个点，表示打包dockerfile文件所在的目录
docker build -t adnc-gateway .

启动adnc-gateway容器,容器监听8888端口，并挂载config目录

#启动网关
docker run --name adnc-gateway-8888 -d -p 8888:80 -v /root/wwwroot/adnc_gateway/Config:/app/Config adnc-gateway

进入gateway首页http://服务器ip:8888，会显示Hello Ocelot,production!
到了这一步，如果服务都成功部署，以下地址都可以通过网关正常路由到各自swagger首页。

http://服务器ip:8888/usr/index.html http://服务器ip:8888/maint/index.html http://服务器ip:8888/cus/index.html

Adnc.Infr.HealthCheckUI

进入adnc_health的目录，新建一个Dockerfile文件，内容如下

#adnc.infr.healthcheckui
#使用asp.net core 3.1作为基础镜像，起一个别名为base
FROM mcr.microsoft.com/dotnet/core/aspnet:3.1-buster-slim AS base
#设置容器的工作目录为/app
WORKDIR /app
#COPY 文件
COPY . /app
ENV ASPNETCORE_ENVIRONMENT production
ENTRYPOINT ["dotnet", "Adnc.Infr.HealthCheckUI.dll"]

在adnc_health目录下打包镜像文

#注意最后有一个点，表示打包dockerfile文件所在的目录
docker build -t adnc-health .

启动adnc-health容器,容器监听8666端口

docker run --name adnc-health -d -p 8666:80 adnc-health

直接进入HealthCheckUI界面http://服务器ip:8666/healthchecks-ui，查看服务的健康状态。

ClientApp

终于写到前端了，写到这里我都已经写了一整天。

新建/root/wwwroot/nginx/conf/nginx.conf

#nginx.conf
#运行nginx的用户
#user  nginx;
user root;
#启动进程设置成和CPU数量相等
worker_processes  1;
#全局错误日志及PID文件的位置
error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;
#工作模式及连接数上限
events {
        #单个后台work进程最大并发数设置为1024
    worker_connections  1024;
}
http {
        #设定mime类型
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

        #设定日志格式
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

        #设置连接超时的事件
    keepalive_timeout  65;

        #开启GZIP压缩
    #gzip  on;
    include /etc/nginx/conf.d/*.conf;
}

新建/root/wwwroot/nginx/conf.d/default.conf

#default.conf
server {
    listen       80;
    listen  [::]:80;
    server_name  localhost;
    #charset koi8-r;
    #access_log  /var/log/nginx/host.access.log  main;
    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
    }
    #error_page  404              /404.html;
    # redirect server error pages to the static page /50x.html
    #
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }
    # proxy the PHP scripts to Apache listening on 127.0.0.1:80
    #
    #location ~ \.php$ {
    #    proxy_pass   http://127.0.0.1;
    #}
    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    #location ~ \.php$ {
    #    root           html;
    #    fastcgi_pass   127.0.0.1:9000;
    #    fastcgi_index  index.php;
    #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
    #    include        fastcgi_params;
    #}
    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    #
    #location ~ /\.ht {
    #    deny  all;
    #}
}

部署 nginx

#拉取镜像文件
docker pull nginx
#启动nginx容器，容器监听80端口，并挂载nginx.conf文件,conf.d,log,data目录
docker run --name nginx -p 80:80 -v /root/wwwroot/nginx/html:/usr/share/nginx/html -v /root/wwwroot/nginx/conf/nginx.conf:/etc/nginx/nginx.conf  -v /root/wwwroot/nginx/conf.d:/etc/nginx/conf.d -v /root/wwwroot/nginx/logs:/var/log/nginx -d nginx

用 visual code 打开 clientApp

#编译完成后,打包后的文件在clientApp目录下dist目录里面
npm run build:prod

build 成功后，将 dist 目录里的文件上传到 /root/wwwroot/nginx/html 目录
打开 http://服务器ip:80，如果成功，会出现登录页面，输入用户名/密码。

如果能登录成功，并进入 dashboard 页，那么恭喜您，adnc 部署成功。