图片太多了，暂时不上传了。
一、环境和安装包 部署环境 跟踪服务器：192.168.137.131 (kp-dfs-tracker-01) 存储服务器：192.168.137.132(kp-dfs-storage-01) 操作系统：CentOS-6.6-x86_64-bin-DVD1.iso 操作用户：root 数据目录：/fastdfs （注：数据目录按你的数据盘挂载路径而定） 安装包 fastdfs-5.11.tar.gz（Version 5.11） https://github.com/happyfish100/fastdfs libfastcommon-master.zip（Version 1.36） https://github.com/happyfish100/libfastcommon fastdfs-nginx-module-master.zip（Version 1.20） https://github.com/happyfish100/fastdfs-nginx-module nginx-1.13.4.tar.gz（Version 1.13.4） http://nginx.org/en/download.html fastdfs-client-java-master.zip（Version 1.26） https://github.com/happyfish100/fastdfs-client-java 源码地址：https://github.com/happyfish100/ http://sourceforge.net/projects/fastdfs/files/ FastDFS论坛：http://bbs.chinaunix.net/forum-240-1.html 官方文档配置说明：http://bbs.chinaunix.net/thread-1941456-1-1.html 简介 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成。 跟踪器（tracker）主要做调度工作，在访问上起负载均衡的作用。 client为使用FastDFS服务的调用方，client也应该是一台服务器，它对tracker和storage的调用均为服务器间的调用。 存储节点（storage）存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，对文件的meta data进行管理。meta data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。 跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。 为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。 在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。 FastDFS的系统结构图如下。 二、跟踪服务器和存储服务器均执行如下安装操作 1、编译和安装所需的依赖包 安装过程需要输入y。 # yum install make cmake gcc gcc-c++ 2、安装libfastcommon (1)上传libfastcommon-master.zip到/usr/local/src目录。 (2)解压 # cd /usr/local/src/ # unzip libfastcommon-master.zip # cd libfastcommon-master (3)编译安装 # ./make.sh # ./make.sh install libfastcommon默认安装到了/usr/lib64/libfastcommon.so和/usr/lib/ libfastcommon.so。 (4)因为FastDFS主程序设置的lib目录是/usr/local/lib，所以需要创建软链接。 # cd /usr/lib64 # ls | grep libfastcommon # ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so 3、安装FastDFS (1)上传fastdfs-5.11.tar.gz源码包到/usr/local/src目录。 (2)解压 # cd /usr/local/src/ # tar -zxvf fastdfs-5.11.tar.gz # mv fastdfs-5.11 fastdfs # cd fastdfs (3)编译安装 编译前要确保已经成功安装了libfastcommon。 # ./make.sh # ./make.sh install 采用默认方式安装，安装后的相应文件与目录： A、服务脚本在： /etc/init.d/fdfs_storaged /etc/init.d/fdfs_tracker B、配置文件在（样例配置文件）: /etc/fdfs/client.conf.sample /etc/fdfs/storage.conf.sample /etc/fdfs/tracker.conf.sample C、命令工具在/usr/bin/目录下的： fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_crc32 fdfs_delete_file fdfs_download_file fdfs_file_info fdfs_monitor fdfs_storaged fdfs_test fdfs_test1 fdfs_trackerd fdfs_upload_appender fdfs_upload_file 查看FastDFS的相关工具命令。 # cd /usr/bin/ # ls | grep fdfs 三、配置FastDFS跟踪服务器 跟踪服务器：192.168.137.131 (kp-dfs-tracker-01)。 1、复制一份FastDFS跟踪器样例配置文件，并重命名为tracker.conf。 # cd /etc/fdfs/ # cp tracker.conf.sample tracker.conf 2、编辑跟踪器配置文件。 # vi /etc/fdfs/tracker.conf 修改的内容如下，其它参数保留默认配置： disabled=false #启用配置文件 port=22122 #tracker的端口号，一般采用22122这个默认端口 base_path=/fastdfs/tracker #tracker的数据文件和日志目录 3、创建基础数据目录，与上面配置的基础目录base_path路径相同。 # mkdir -p /fastdfs/tracker 4、编辑防火墙文件，打开跟踪器端口，默认端口为22122。 # vi /etc/sysconfig/iptables 在文件中添加如下端口行： ## FastDFS Tracker Port -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT 重启防火墙服务： # service iptables restart 5、启动Tracker跟踪器。 # /etc/init.d/fdfs_trackerd start 初次启动成功，会在/fastdfs/tracker目录下创建data、logs两个目录。 查看FastDFS Tracker跟踪器是否已成功启动。 # ps -ef | grep fdfs 通过netstat命令查看端口监听情况，确认tracker正常启动。 # netstat -unltp|grep fdfs 通过以下命令查看tracker的启动日志。 # tail -f /fastdfs/tracker/logs/trackerd.log 6、关闭Tracker跟踪器。 # /etc/init.d/fdfs_trackerd stop 7、设置FastDFS Tracker跟踪器开机启动。 编辑rc.local文件。 # vi /etc/rc.d/rc.local 添加以下内容： ## FastDFS Tracker /etc/init.d/fdfs_trackerd start 四、配置FastDFS存储服务器 存储服务器：192.168.137.132(kp-dfs-storage-01)。 1、复制FastDFS存储器样例配置文件，并重命名。 # cd /etc/fdfs/ # cp storage.conf.sample storage.conf 2、编辑存储器样例配置文件。 # vi /etc/fdfs/storage.conf 修改的内容如下，其它参数保留默认配置： disabled=false port=23000 base_path=/fastdfs/storage store_path0=/fastdfs/storage tracker_server=192.168.137.131:22122 http.server_port=8888 3、创建基础数据目录，与上面配置的基础目录base_path路径相同。 # mkdir -p /fastdfs/storage 4、编辑防火墙文件，打开存储器端口，默认端口为23000。 # vi /etc/sysconfig/iptables 在文件中添加如下端口行： ## FastDFS Storage Port -A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT 重启防火墙服务： # service iptables restart 5、启动Storage存储器。 # /etc/init.d/fdfs_storaged start 初次启动成功，会在/fastdfs/storage目录下创建data、logs两个目录。 查看FastDFS Storage存储器是否已成功启动。 # ps -ef | grep fdfs 通过netstat命令查看端口监听情况，确认storage正常启动： # netstat -unltp|grep fdfs 6、停止Storage存储器。 # /etc/init.d/fdfs_storaged stop 7、设置FastDFS Storage存储器开机启动。 编辑rc.local文件。 # vi /etc/rc.d/rc.local 添加以下内容： ## FastDFS Storage /etc/init.d/fdfs_storaged start 8、查看集群信息。 查看storage服务器是否已经登记到tracker服务器，tracker与storage是否整合成功，运行以下命令。 # /usr/bin/fdfs_monitor /etc/fdfs/storage.conf 如上所示，看到192.168.137.132 (kp-dfs-storage-01) ACTIVE字样，说明storage服务器已经成功登记到了tracker服务器。 五、文件上传测试(192.168.137.131) 1、修改Tracker跟踪服务器中的客户端配置文件。 # cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf # vi /etc/fdfs/client.conf 修改的内容如下： base_path=/fastdfs/tracker tracker_server=192.168.137.131:22122 2、执行如下文件上传命令。 # /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/fastdfs-5.11.tar.gz 返回文件ID号：group1/M00/00/00/wKiJhFmWY4aAfn6JAAUkKwe5sE4.tar.gz 能返回文件ID号，说明文件上传成功，每次上传返回的文件ID号不同。 文件名由group、存储目录、两级子目录、fileid、文件后缀名拼接而成，如下图： /fastdfs/storage/data目录下有256个1级目录，每级目录下有256个2级子目录，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。 # cd /fastdfs/storage # ls # cd data # ls # cd 00 # ls # cd 00 # ls 六、在每个Storage存储服务器节点上安装nginx 1、fastdfs-nginx-module作用。 FastDFS通过Tracker服务器，将文件存储在Storage服务器，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。 假设Tracker服务器将文件上传到了192.168.137.132，上传成功后文件ID已经返回给客户端。此时FastDFS存储集群机制会将这个文件同步到同组存储192.168.137.133，在文件还没有复制完成的情况下，客户端如果用这个文件ID在192.168.137.133上取文件，就会出现文件无法访问的错误。 fastdfs-nginx-module可以重定向文件连接到源服务器取文件，避免客户端由于复制延迟导致的文件无法访问错误。 2、上传fastdfs-nginx-module-master.zip到/usr/local/src目录。 3、解压、重命名文件 # cd /usr/local/src/ # unzip fastdfs-nginx-module-master.zip # mv fastdfs-nginx-module-master fastdfs-nginx-module 4、修改fastdfs-nginx-module中的config配置文件。 # vi /usr/local/src/fastdfs-nginx-module/src/config 检查CORE_INCS配置是否如下所示，如果不一样，则修改。 CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/" 5、上传nginx-1.13.4.tar.gz到/usr/local/src目录。 6、安装编译nginx所需的依赖包，安装过程需要输入yes 或y。 # yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel 7、编译安装nginx，添加fastdfs-nginx-module模块。 # cd /usr/local/src/ # tar -zxvf nginx-1.13.4.tar.gz # cd nginx-1.13.4 # ./configure --add-module=/usr/local/src/fastdfs-nginx-module/src # make && make install 8、复制fastdfs-nginx-module中的配置文件到/etc/fdfs目录，并修改配置。 # cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/ # vi /etc/fdfs/mod_fastdfs.conf 修改以下配置： connect_timeout=10 base_path=/tmp tracker_server=192.168.137.131:22122 storage_server_port=23000 group_name=group1 url_have_group_name = true store_path0=/fastdfs/storage 9、复制FastDFS的两个配置文件到/etc/fdfs目录。 # cd /usr/local/src/fastdfs/conf # cp http.conf mime.types /etc/fdfs/ 10、在/fastdfs/storage文件存储目录下创建软连接，将其链接到实际存放数据的目录。 # ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00 11、配置Nginx # cd /usr/local/nginx # cd conf # vi nginx.conf 简洁版nginx配置样例： user root; worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; server { listen 8888; server_name localhost; location ~/group([0-9])/M00 { #alias /fastdfs/storage/data; ngx_fastdfs_module; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } } 注意： （1）、listen 8888端口值要与文件/etc/fdfs/storage.conf中的http.server_port=8888相对应，因为http.server_port默认为8888,如果想改成80，则要对应修改过来。 （2）、storage对应有多个group分组的情况下，访问路径带组名称，如/group1/M00/00/00/xxx， 对应的nginx配置为： location ~/group([0-9])/M00 { ngx_fastdfs_module; } （3）、如果下载时发现总是报错误404，将nginx.conf第一行user nobody修改为user root后重新启动nginx服务。 12、防火墙中打开nginx的8888端口。 # vi /etc/sysconfig/iptables 添加以下内容： ## Nginx Port -A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT 重启防火墙服务: # service iptables restart 13、启动nginx。 # /usr/local/nginx/sbin/nginx 重启nginx命令： /usr/local/nginx/sbin/nginx -s reload 停止nginx命令： /usr/local/nginx/sbin/nginx -s stop 14、设置nginx开机启动。 使用chkconfig管理nginx服务。在/etc/init.d/目录下创建nginx脚本文件。 # vi /etc/init.d/nginx 在nginx脚本文件中添加如下内容： #!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig: - 85 15 # description: NGINX is an HTTP(S) server, HTTP(S) reverse \ # proxy and IMAP/POP3 proxy server # processname: nginx # config: /etc/nginx/nginx.conf # config: /etc/sysconfig/nginx # pidfile: /var/run/nginx.pid # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 nginx="/usr/local/nginx/sbin/nginx" prog=$(basename $nginx) NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf" [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx lockfile=/var/lock/subsys/nginx make_dirs() { # make required directories user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -` if [ -n "$user" ]; then if [ -z "`grep $user /etc/passwd`" ]; then useradd -M -s /bin/nologin $user fi options=`$nginx -V 2>&1 | grep 'configure arguments:'` for opt in $options; do if [ `echo $opt | grep '.*-temp-path'` ]; then value=`echo $opt | cut -d "=" -f 2` if [ ! -d "$value" ]; then # echo "creating" $value mkdir -p $value && chown -R $user $value fi fi done fi } start() { [ -x $nginx ] || exit 5 [ -f $NGINX_CONF_FILE ] || exit 6 make_dirs echo -n $"Starting $prog: " daemon $nginx -c $NGINX_CONF_FILE retval=$? echo [ $retval -eq 0 ] && touch $lockfile return $retval } stop() { echo -n $"Stopping $prog: " killproc $prog -QUIT retval=$? echo [ $retval -eq 0 ] && rm -f $lockfile return $retval } restart() { configtest || return $? stop sleep 1 start } reload() { configtest || return $? echo -n $"Reloading $prog: " killproc $nginx -HUP RETVAL=$? echo } force_reload() { restart } configtest() { $nginx -t -c $NGINX_CONF_FILE } rh_status() { status $prog } rh_status_q() { rh_status >/dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}" exit 2 esac 注意以下内容必须与安装设置路径一致： nginx执行程序的路径。 nginx="/usr/local/nginx/sbin/nginx" nginx配置文件的路径。 NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf" 脚本来自于nginx官方网站。 https://www.nginx.com/resources/wiki/start/topics/examples/redhatnginxinit/ 保存脚本文件后设置文件的执行权限： # chmod a+x /etc/init.d/nginx 先将nginx服务加入chkconfig管理列表： # chkconfig --add /etc/init.d/nginx 使用service对nginx进行启动操作。 # service nginx start 停止nginx命令。 # service nginx stop 重启nginx命令。 # service nginx restart 设置nginx开机启动： # chkconfig nginx on 15、通过浏览器访问测试时上传的文件。 http://192.168.137.132:8888/group1/M00/00/00/wKiJhFmWY4aAfn6JAAUkKwe5sE4.tar.gz http://192.168.137.132:8888/group1/M00/00/00/wKiJhFmWqo6AW1JBAAKz9NDPGdk780.jpg FastDFS上传/下载过程： 上传过程： 1、Client询问Tracker，连接到某一台 Tracker Server指定的端口。 2. Tracker返回一台可用的Storage。 3、Client直接和Storage通讯完成文件上传。 下载过程： 1、Client询问Tracker，连接到某一台Tracker Server指定的端口，参数为文件标识（卷名和文件名）。 2、Tracker返回一台可用的Storage。 3、Client直接和Storage通讯完成文件下载。 关闭命令：service iptables stop 永久关闭防火墙：chkconfig iptables off 查看防火墙关闭状态：service iptables status
