FastDFS分布式文件系统搭配nginx的安装、配置与使用

FastDFS介绍：

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。

特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

FastDFS主要内容：

tracker：追踪者服务器，主要用于协调调度，可以起到负载均衡的作用，记录storage的相关状态信息。

storage：存储服务器，用于保存文件以及文件的元数据信息。

group：组，同组节点提供冗余备份，不同组用于扩容。

mata data：文件的元数据信息，比如长宽信息，图片后缀，视频的帧数等。

FastDFS安装：

第一步：基础环境准备

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget  git

第二步：主体安装，主要安装以下内容

• libfatscommon：FastDFS分离出的一些公用函数包
• FastDFS：FastDFS本体
• fastdfs-nginx-module：FastDFS和nginx的关联模块
• nginx：发布访问服务

安装libfatscommon：

unzip libfastcommon-master.zip
cd libfastcommon-master/
./make.sh
./make.sh install

安装FastDFS：

unzip fastdfs-master.zip 
cd fastdfs-master/
./make.sh 
./make.sh install

安装fastdfs-nginx-module：

unzip fastdfs-nginx-module-master.zip 
cp fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs

安装nginx，设置安装目录，添加FastDFS与nginx关联的模块，并且添加ssl模块方便后期配置HTTPS域名访问:

tar -zxvf nginx-1.22.0.tar.gz 
cd nginx-1.22.0/
./configure --prefix=/usr/local/nginx --add-module=/data/fastdfs-nginx-module-master/src --with-http_ssl_module
make
make install

到此，所有的安装已经结束，但是配置文件还没配置，所以所有的服务都不能启动，不然就会报错。

FastDFS配置：

配置：1个Tracker+3个Storage，分别用来存放图片、视频、其他文件。

数据文件存放目录：/data/fileServer/，在该文件夹下创建以下目录：

cd /data/fileServer/
mkdir client storage tracker
cd storage
mkdir image video file

配置文件放置目录：/etc/fdfs/

配置tracker.conf，主要配置如下，其他配置使用默认配置即可：

# tracker server 服务端口 
port=22122
# 存放数据和日志的基础路径
base_path=/data/fileServer/tracker
# 文件上传选择组的策略
# 0: 轮询
# 1: 指定组
# 2: 均衡，选择空间空闲最大的组
store_lookup=2

# 当store_lookup为1时，必须指定组的名字，该组名字必须时真实存在的
# 如果store_lookup如果是0或2，则此参数无效 
store_group=image
# tracker server的HTTP端口
http.server_port=8080

配置storage_image.conf、storage_video.conf和stroage_file.conf，主要配置如下，其他配置使用默认配置即可：

# 组名称
group_name=image
# 组服务端口
port=23000
# 该组存放数据和日志的路径
base_path=/data/fileServer/storage/image
store_path0=/data/fileServer/storage/image
# 结合nginx的一个对外服务端口号，与nginx监听端口保持一致
http.server_port=8888

# 组名称
group_name=video
# 组服务端口
port=23001
# 该组存放数据和日志的路径
base_path=/data/fileServer/storage/video
store_path0=/data/fileServer/storage/video
# 结合nginx的一个对外服务端口号，与nginx监听端口保持一致
http.server_port=8888

# 组名称
group_name=file
# 组服务端口
port=23002
# 该组存放数据和日志的路径
base_path=/data/fileServer/storage/file
store_path0=/data/fileServer/storage/file
# 结合nginx的一个对外服务端口号，与nginx监听端口保持一致
http.server_port=8888

配置client.conf，主要配置如下，其他配置使用默认配置即可：

# 存储日志文件的路径
base_path=/data/fileServer/client
# 这里建议使用公网IP，方便从互联网上传文件
tracker_server=49.232.105.121:22122
# tracker服务器的 http端口号，必须等于tracker.conf中的http.server_port值
http.tracker_server_port=8080

到这里，FastDFS文件服务系统已经配置成功了，此时可以启动服务，在服务器上面操作上传文件了。

启动服务：

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf 
/usr/bin/fdfs_storaged /etc/fdfs/storage_image.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage_video.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage_file.conf

上传文件，根据配置文件的配置，上传组策略采用均衡（load balance）方式：

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /data/des.png

文件上传成功返回信息如下：

file/M00/00/00/rBUAD2NkfdmAFH4aAAygMuNF7cs093.png

图片可以上传了，但是如果通过浏览器查看，这个时候就需要配置插件mod_fastdfs和nginx。

配置mod_fastdfs.conf，主要配置如下，其他配置使用默认配置即可：

# tracker server的ip和端口
tracker_server=49.232.105.121:22122
# 是否在访问地址中加入组信息，比如${group_name}/M00/00/00/xxx
url_have_group_name = true

# 分组数量，必须与下方group settings中group组实际数一致，不然浏览器查看时会报404
# 如果下方group settings中没有设置group组，则为使用单一组，设置为0
group_count = 3

# 组设置，主要包括组名字、端口、存储数量、存储地址，与storage配置文件中的信息保持一致
[group1]
group_name=image
storage_server_port=23000
store_path_count=1
store_path0=/data/fileServer/storage/image

[group2]
group_name=video
storage_server_port=23001
store_path_count=1
store_path0=/data/fileServer/storage/video

[group3]
group_name=file
storage_server_port=23002
store_path_count=1
store_path0=/data/fileServer/storage/file

配置nginx，添加以下端口监听：

#文件服务器
server {
    listen       8888;
    server_name 49.232.105.121;
    location ~/image|video|file/ {
        ngx_fastdfs_module;
    }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
       root   html;
    }

}

另有两个配置文件，http.conf和mime.types，使用默认配置即可，无需修改。

启动nginx：

cd /usr/local/nginx/sbin
./nginx

通过浏览器查看刚才上次的图片：

http://49.232.105.121:8888/file/M00/00/00/rBUAD2NkfdmAFH4aAAygMuNF7cs093.png

Java客户端操作FastDFS的使用：

第一步：配置依赖

<dependency>
    <groupId>cn.bestwu</groupId>
    <artifactId>fastdfs-client-java</artifactId>
    <version>1.27</version>
</dependency>

第二步：配置fdfsClient_config.properties

connect_timeout = 2
network_timeout = 30
charset = UTF-8
http.anti_steal_token = no
http.secret_key = FastDFS1234567890

http.tracker_http_port = 8080
tracker_server =49.232.105.121:22122

第三步：测试用例

package cn.tongmap.client;

import java.awt.image.BufferedImage;
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.util.Arrays;

import javax.imageio.ImageIO;

import org.csource.common.MyException;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.StorageClient;
import org.csource.fastdfs.StorageServer;
import org.csource.fastdfs.TrackerClient;
import org.csource.fastdfs.TrackerServer;

public class FastDFSClient {
	private static final String CONF_FILENAME = new FastDFSClient().getClass().getClassLoader().getResource("fdfsClient_config.properties").getPath();
	static {
		try {
			// 加载配置文件
			ClientGlobal.init(CONF_FILENAME);
		} catch (IOException e) {
			e.printStackTrace();
		} catch (MyException e) {
			e.printStackTrace();
		}
	}
	
	/**
	 * 上传图片到指定的group
	 * @param uploadFilePath
	 * @param width
	 * @param height
	 * @param groupName
	 * @return
	 * @throws Exception
	 */
	public static String[] uploadFileSpecifyGroup(String uploadFilePath, int width, int height, String groupName) throws Exception {
        String[] results = null;  
        String fileExtName = "";  
        if (uploadFilePath.contains(".")) {  
            fileExtName = uploadFilePath.substring(uploadFilePath.lastIndexOf(".") + 1);  
        } else {  
            return results;  
        }  
        //建立连接  
		TrackerClient trackerClient = new TrackerClient();
	    TrackerServer trackerServer = trackerClient.getConnection();
	    StorageServer storageServer = null;
	    StorageClient storageClient = new StorageClient(trackerServer, storageServer);
        
	    FileInputStream fileInputStream = new FileInputStream(new File(uploadFilePath));
	    byte[] file_buff = null;
	    if(fileInputStream != null){
	    	int len = fileInputStream.available();
	    	file_buff = new byte[len];
	    	fileInputStream.read(file_buff);
	    }
	    
	    //设置元信息 
	    NameValuePair[] metas = new NameValuePair[3];
	    metas[0] = new NameValuePair("width", "" + width);
	    metas[1] = new NameValuePair("heigth", "" + height);
	    metas[2] = new NameValuePair("author", "bss");
        
	    results = storageClient.upload_file(groupName, file_buff, fileExtName, metas);
	    System.out.println(Arrays.toString(results));
	    
        trackerServer.close();  
        fileInputStream.close();
        return results;       
    }
	
	/**
	 * 上传图片，load balance
	 * @param uploadFilePath
	 * @param width
	 * @param height
	 * @return
	 * @throws Exception
	 */
	public static String[] uploadFileBalance(String uploadFilePath, int width, int height) throws Exception {
        String[] results = null;  
        String fileExtName = "";  
        if (uploadFilePath.contains(".")) {  
            fileExtName = uploadFilePath.substring(uploadFilePath.lastIndexOf(".") + 1);  
        } else {  
            return results;  
        }  
        //建立连接  
		TrackerClient trackerClient = new TrackerClient();
	    TrackerServer trackerServer = trackerClient.getConnection();
	    StorageServer storageServer = null;
	    StorageClient storageClient = new StorageClient(trackerServer, storageServer);
        
	    FileInputStream fileInputStream = new FileInputStream(new File(uploadFilePath));
	    byte[] file_buff = null;
	    if(fileInputStream != null){
	    	int len = fileInputStream.available();
	    	file_buff = new byte[len];
	    	fileInputStream.read(file_buff);
	    }
	    
	    //设置元信息 
	    NameValuePair[] metas = new NameValuePair[3];
	    metas[0] = new NameValuePair("width", "" + width);
	    metas[1] = new NameValuePair("heigth", "" + height);
	    metas[2] = new NameValuePair("author", "bss");
	    
	    results = storageClient.upload_file(uploadFilePath, fileExtName, metas);
	    System.out.println(Arrays.toString(results));
	    
        trackerServer.close();  
        fileInputStream.close();
        return results;       
    }
	public static void main(String[] args) throws Exception{
		String image = "D://Perfect Match.jpg";
		BufferedInputStream bufInputStream = new BufferedInputStream(new FileInputStream(new File(image)));
		BufferedImage bi = ImageIO.read(bufInputStream);
    	int width = bi.getWidth();
    	int height = bi.getHeight();
    	uploadFileSpecifyGroup(image, width, height, "image");
    	uploadFileBalance(image, width, height);
	}
}

FastDFS安装包，各个配置文件的配置，以及Java客户端操作FastDFS的使用。