图片太多了，暂时不上传了。
目录
一、 FastDFS集群规划 5 二、 FastDFS的安装 6 1、 编译和安装所需的依赖包 6 2、 安装libfastcommon 7 3、 安装FastDFS 8 三、 配置FastDFS跟踪器Tracker 9 1、 复制一份FastDFS跟踪器样例配置文件，并重命名为tracker.conf。 9 2、 编辑跟踪器配置文件。 9 3、 创建基础数据目录，与上面配置的基础目录base_path路径相同。 10 4、 编辑防火墙文件，打开跟踪器端口，默认端口为22122。 10 5、 启动Tracker跟踪器。 10 6、 关闭Tracker跟踪器。 11 7、 设置FastDFS Tracker跟踪器开机启动。 11 四、 配置FastDFS存储器Storage 11 1、 复制FastDFS存储器样例配置文件，并重命名。 12 2、 编辑存储器样例配置文件（以group1中的storage节点的storage.conf为例）。 12 3、 创建基础数据目录，与上面配置的基础目录base_path路径相同。 13 4、 编辑防火墙文件，打开存储器端口，默认端口为23000。 13 5、 启动Storage存储器。 13 6、 查看集群信息。 14 7、 停止Storage存储器。 14 8、 设置FastDFS Storage存储器开机启动。 14 五、 文件上传测试 15 1、 修改任一台Tracker跟踪器的client.conf配置文件。 15 2、 执行如下文件上传测试命令。 15 六、 在每个Storage存储服务器节点上安装nginx 16 1、 fastdfs-nginx-module作用介绍。 16 2、 上传fastdfs-nginx-module-master.zip到/usr/local/src目录。16 3、 解压、重命名文件。 16 4、 修改fastdfs-nginx-module中的config配置文件。 16 5、 上传nginx-1.13.4.tar.gz到/usr/local/src目录。 16 6、 安装编译Nginx所需的依赖包，安装过程需要输入yes 或y。 16 7、 编译安装Nginx，添加fastdfs-nginx-module模块。 17 8、 复制fastdfs-nginx-module中的配置文件到/etc/fdfs目录，并修改配置。 17 9、 复制FastDFS的两个配置文件到/etc/fdfs目录。 17 10、 在/fastdfs/storage文件存储目录下创建软连接，将其链接到实际存放数据的目录。 17 11、 配置nginx。 17 12、 防火墙中打开nginx的8888端口。 19 13、 启动nginx。 20 14、 设置nginx开机启动。 20 15、 通过浏览器访问测试时上传的文件。 23 七、 在每个Tracker跟踪服务器节点上安装nginx 24 1、 安装编译nginx所需的依赖包。 24 2、 上传ngx_cache_purge-2.3.tar.gz到/usr/local/src目录，解压文件。24 3、 上传nginx-1.13.4.tar.gz到/usr/local/src目录。 24 4、 编译安装nginx，添加fastdfs-nginx-module模块。 24 5、 修改nginx配置文件，设置负载均衡、缓存服务。 24 6、 按以上nginx配置文件的要求，创建对应的缓存目录。 28 7、 系统防火墙打开对应的端口。 28 8、 启动nginx。 28 9、 设置nginx开机启动。 28 10、 文件访问测试。 32 八、 Keepalived简要介绍 32 九、 方案规划 33 十、 安装nginx 33 1、 安装编译nginx所需的依赖包。 33 2、 上传nginx-1.13.4.tar.gz到/usr/local/src目录。 34 3、 编译安装nginx。 34 4、 配置nginx。 34 5、 系统防火墙打开88端口。 35 6、 测试nginx是否安装成功。 35 7、 启动nginx。 35 8、 设置nginx开机启动。 35 9、 分别访问两个nginx。 35 十一、 安装Keepalived 35 1、 上传keepalived-1.3.6.tar.gz到/usr/local/src目录。 35 2、 解压安装。 36 3、 将 keepalived 安装成 Linux 系统服务。 36 4、 修改Keepalived配置文件。 36 5、 创建nginx状态检测脚本。 38 6、 启动keepalived。 38 7、 keepalived+nginx的高可用测试。 38 十二、 使用Keepalived + Nginx组成的高可用负载均衡集群做两个Tracker节点中Nginx的负载均衡41 1、 在keepalived+nginx实现高可用负载均衡集群中配置tracker节点中nginx的负载均衡反向代理。41 2、 重启192.168.137.138和192.168.137.139中的nginx。 43 3、 访问FastDFS集群中的文件。 43 十三、 FastDFS集群在系统中的使用 43
一、 FastDFS集群规划 两个tracker（跟踪器），四个storage（存储服务器）。 跟踪服务器1：192.168. 137.141 kp-dfs-tracker-1 跟踪服务器2：192.168. 137.142 kp -dfs-tracker-2 存储服务器1：192.168. 137.143 kp -dfs-storage-group1-1 存储服务器2：192.168. 137.144 kp -dfs-storage-group1-2 存储服务器3：192.168. 137.145 kp -dfs-storage-group2-1 存储服务器4：192.168. 137.146 kp -dfs-storage-group2-2 操作系统：CentOS-6.6-x86_64-bin-DVD1.iso 操作用户：root 数据目录：/fastdfs （注：数据目录按你的数据盘挂载路径而定） 安装包： fastdfs-5.11.tar.gz（Version 5.11） https://github.com/happyfish100/fastdfs libfastcommon-master.zip（Version 1.36） https://github.com/happyfish100/libfastcommon fastdfs-nginx-module-master.zip（Version 1.20） https://github.com/happyfish100/fastdfs-nginx-module nginx-1.13.4.tar.gz（Version 1.13.4） http://nginx.org/en/download.html fastdfs-client-java-master.zip（Version 1.26） https://github.com/happyfish100/fastdfs-client-java ngx_cache_purge-2.3.tar.gz（Version 2.3） http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz https://github.com/FRiCKLE/ngx_cache_purge keepalived-1.3.6.tar.gz（Version 1.3.6） http://www.keepalived.org/download.html 源码地址：https://github.com/happyfish100/ http://sourceforge.net/projects/fastdfs/files/ FastDFS论坛：http://bbs.chinaunix.net/forum-240-1.html 官方文档配置说明：http://bbs.chinaunix.net/thread-1941456-1-1.html FastDFS文件系统集群的最终结构图如下。 二、 FastDFS的安装 所有跟踪服务器和存储服务器均执行如下安装操作。 1、 编译和安装所需的依赖包 安装过程需要输入y。 # yum install make cmake gcc gcc-c++ 2、 安装libfastcommon (1)上传libfastcommon-master.zip到/usr/local/src目录。 (2)解压 # cd /usr/local/src/ # unzip libfastcommon-master.zip # cd libfastcommon-master (3)编译、安装 # ./make.sh # ./make.sh install libfastcommon默认安装到了/usr/lib64/libfastcommon.so和/usr/lib/ libfastcommon.so。 (4)因为FastDFS主程序设置的lib目录是/usr/local/lib，所以需要创建软链接。 # cd /usr/lib64 # ls | grep libfastcommon # ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so 3、 安装FastDFS (1)上传fastdfs-5.11.tar.gz源码包到/usr/local/src目录。 (2)解压 # cd /usr/local/src/ # tar -zxvf fastdfs-5.11.tar.gz # mv fastdfs-5.11 fastdfs # cd fastdfs (3)编译安装 编译前要确保已经成功安装了libfastcommon。 # ./make.sh # ./make.sh install 采用默认方式安装，安装后的相应文件与目录： A、服务脚本在： /etc/init.d/fdfs_storaged /etc/init.d/fdfs_tracker B、配置文件在（样例配置文件）: /etc/fdfs/client.conf.sample /etc/fdfs/storage.conf.sample /etc/fdfs/tracker.conf.sample C、命令工具在/usr/bin/目录下的： fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_crc32 fdfs_delete_file fdfs_download_file fdfs_file_info fdfs_monitor fdfs_storaged fdfs_test fdfs_test1 fdfs_trackerd fdfs_upload_appender fdfs_upload_file 查看FastDFS的相关工具命令。 # cd /usr/bin/ # ls | grep fdfs 三、 配置FastDFS跟踪器Tracker 跟踪服务器1：192.168. 137.141 跟踪服务器2：192.168. 137.142 在跟踪服务器上操作。 1、 复制一份FastDFS跟踪器样例配置文件，并重命名为tracker.conf。 # cd /etc/fdfs/ # cp tracker.conf.sample tracker.conf 2、 编辑跟踪器配置文件。 # vi /etc/fdfs/tracker.conf 修改的内容如下，其它参数保留默认配置： disabled=false #启用配置文件 port=22122 #tracker的端口号，一般采用22122这个默认端口 base_path=/fastdfs/tracker #tracker的数据文件和日志目录 3、 创建基础数据目录，与上面配置的基础目录base_path路径相同。 # mkdir -p /fastdfs/tracker 4、 编辑防火墙文件，打开跟踪器端口，默认端口为22122。 # vi /etc/sysconfig/iptables 在文件中添加如下端口行： ## FastDFS Tracker Port -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT 重启防火墙服务： # service iptables restart 5、 启动Tracker跟踪器。 # /etc/init.d/fdfs_trackerd start 初次启动成功，会在/fastdfs/tracker目录下创建data、logs两个目录。 查看FastDFS Tracker跟踪器是否已成功启动。 # ps -ef | grep fdfs 通过netstat命令查看端口监听情况，确认tracker正常启动。 # netstat -unltp|grep fdfs 通过以下命令查看tracker的启动日志。 # tail -100f /fastdfs/tracker/logs/trackerd.log 6、 关闭Tracker跟踪器。 # /etc/init.d/fdfs_trackerd stop 7、 设置FastDFS Tracker跟踪器开机启动。 编辑rc.local文件。 # vi /etc/rc.d/rc.local 添加以下内容： ## FastDFS Tracker /etc/init.d/fdfs_trackerd start 四、 配置FastDFS存储器Storage 第一组group1 存储服务器1：192.168. 137.143 存储服务器2：192.168. 137.144 第二组group2 存储服务器3：192.168. 137.145 存储服务器4：192.168. 137.146 1、 复制FastDFS存储器样例配置文件，并重命名。 # cd /etc/fdfs/ # cp storage.conf.sample storage.conf 2、 编辑存储器样例配置文件（以group1中的storage节点的storage.conf为例）。 # vi /etc/fdfs/storage.conf 修改的内容如下: disabled=false #启用配置文件 group_name=group1 #组名（第一组为group1，第二组为group2） port=23000 #storage的端口号，同一个组的storage端口号必须相同 base_path=/fastdfs/storage #设置storage的日志目录 store_path0=/fastdfs/storage #存储路径 store_path_count=1 #存储路径个数，需要和store_path个数匹配 tracker_server=192.168.137.141:22122 #tracker服务器的IP地址和端口 tracker_server=192.168.137.142:22122 #多个tracker直接添加多条配置 http.server_port=8888 #设置http端口号 3、 创建基础数据目录，与上面配置的基础目录base_path路径相同。 # mkdir -p /fastdfs/storage 4、 编辑防火墙文件，打开存储器端口，默认端口为23000。 # vi /etc/sysconfig/iptables 在文件中添加如下端口行： ## FastDFS Storage Port -A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT 重启防火墙服务： # service iptables restart 5、 启动Storage存储器。 # /etc/init.d/fdfs_storaged start 初次启动成功，会在/fastdfs/storage目录下创建data、logs两个目录。 查看FastDFS Storage存储器是否已成功启动。 # ps -ef | grep fdfs 通过netstat命令查看端口监听情况，确认storage正常启动： # netstat -unltp|grep fdfs 6、 查看集群信息。 所有storage存储器节点都启动之后，查看storage服务器是否已经登记到tracker服务器，tracker与storage是否整合成功，可以在任一个storage存储器节点上使用如下命令查看集群信息。 # /usr/bin/fdfs_monitor /etc/fdfs/storage.conf 如上图所示，看到存储节点状态为ACTIVE，说明storage服务器已经成功登记到了tracker服务器。 OFFLINE状态为存储节点离线。 使用命令监听存储节点日志。 # tail -f /fastdfs/storage/logs/storaged.log 可以看到存储节点链接到跟踪器，并提示哪一个为leader跟踪器，同时也会看到同一组中的其他节点加入进来的日志信息。 7、 停止Storage存储器。 # /etc/init.d/fdfs_storaged stop 8、 设置FastDFS Storage存储器开机启动。 编辑rc.local文件。 # vi /etc/rc.d/rc.local 添加以下内容： ## FastDFS Storage /etc/init.d/fdfs_storaged start 五、 文件上传测试 1、 修改任一台Tracker跟踪器的client.conf配置文件。 两台Tracker跟踪器，在任一台Tracker跟踪器上测试，修改Tracker跟踪服务器中的客户端配置文件。 # cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf # vi /etc/fdfs/client.conf base_path=/fastdfs/tracker tracker_server=192.168.1.131:22122 tracker_server=192.168.1.132:22122 2、 执行如下文件上传测试命令。 # /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/fastdfs-5.11.tar.gz 返回文件ID号：group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz group2说明文件上传到了第二组storaged存储节点中。 能返回文件ID号，说明文件上传成功，每次上传返回的文件ID号不同。 文件名由group、存储目录、两级子目录、fileid、文件后缀名拼接而成，如下图： /fastdfs/storage/data目录下有256个1级目录，每级目录下有256个2级子目录，总共65536个 文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地 文件存储到该目录中。 # cd /fastdfs/storage # ls # cd data # ls # cd 00 # ls # cd 00 # ls 六、 在每个Storage存储服务器节点上安装nginx 存储服务器1：192.168. 137.143 存储服务器2：192.168. 137.144 存储服务器3：192.168. 137.145 存储服务器4：192.168. 137.146 所有存储服务器均执行如下安装操作。 1、 fastdfs-nginx-module作用介绍。 FastDFS通过Tracker服务器，将文件存储在Storage服务器，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。 假设Tracker服务器将文件上传到了192.168.137.145，上传成功后文件ID已经返回给客户端。此时FastDFS存储集群机制会将这个文件同步到同组存储192.168.137. 146，在文件还没有复制完成的情况下，客户端如果用这个文件ID在192.168.137.146上取文件，就会出现文件无法访问的错误。 fastdfs-nginx-module可以重定向文件连接到源服务器取文件，避免客户端由于复制延迟导致的文件无法访问错误。 2、 上传fastdfs-nginx-module-master.zip到/usr/local/src目录。 3、 解压、重命名文件。 # cd /usr/local/src/ # unzip fastdfs-nginx-module-master.zip # mv fastdfs-nginx-module-master fastdfs-nginx-module 4、 修改fastdfs-nginx-module中的config配置文件。 # vi /usr/local/src/fastdfs-nginx-module/src/config 检查CORE_INCS配置是否如下所示，如果不一样，则修改。 CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/" 5、 上传nginx-1.13.4.tar.gz到/usr/local/src目录。 6、 安装编译Nginx所需的依赖包，安装过程需要输入yes 或y。 # yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel 7、 编译安装Nginx，添加fastdfs-nginx-module模块。 # cd /usr/local/src/ # tar -zxvf nginx-1.13.4.tar.gz # cd nginx-1.13.4 # ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src # make && make install 8、 复制fastdfs-nginx-module中的配置文件到/etc/fdfs目录，并修改配置。 # cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/ # vi /etc/fdfs/mod_fastdfs.conf 修改以下配置： connect_timeout=10 #连接超时时间 base_path=/tmp #缓存目录 tracker_server=192.168.137.141:22122 #tracker服务器的IP地址和端口 tracker_server=192.168.137.142:22122 #多个tracker直接添加多条配置 storage_server_port=23000#storage server端口号 group_name=group1 #组名（第一组为group1，第二组为group2） url_have_group_name = true #文件URL是否带上group组名 store_path0=/fastdfs/storage #存储路径 group_count = 2 #group组的个数 [group1] #第一组storage存储节点配置 group_name=group1 #组名 storage_server_port=23000 #storage server端口号 store_path_count=1 #存储路径个数，需要和store_path个数匹配 store_path0=/fastdfs/storage #存储路径 [group2] #第二组storage存储节点配置 group_name=group2 #组名 storage_server_port=23000 #storage server端口号 store_path_count=1 #存储路径个数，需要和store_path个数匹配 store_path0=/fastdfs/storage #存储路径 9、 复制FastDFS的两个配置文件到/etc/fdfs目录。 # cd /usr/local/src/fastdfs/conf # cp http.conf mime.types /etc/fdfs/ 10、 在/fastdfs/storage文件存储目录下创建软连接，将其链接到实际存放数据的目录。 # ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00 11、 配置nginx。 # cd /usr/local/nginx # cd conf # vi nginx.conf 简洁版nginx配置样例： user root; worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; server { listen 8888; server_name localhost; location ~/group([0-9])/M00 { #alias /fastdfs/storage/data; ngx_fastdfs_module; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } } 注意： （1）、listen 8888端口值要与文件/etc/fdfs/storage.conf中的http.server_port=8888相对应，因为http.server_port默认为8888,如果想改成80，则要对应修改过来。 （2）、storage对应有多个group分组的情况下，访问路径带组名称，如/group1/M00/00/00/xxx， 对应的nginx配置为： location ~/group([0-9])/M00 { ngx_fastdfs_module; } （3）、如果下载时发现总是报错误404，将nginx.conf第一行user nobody修改为user root后重新启动nginx服务。 12、 防火墙中打开nginx的8888端口。 # vi /etc/sysconfig/iptables 添加以下内容： ## Nginx Port -A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT 重启防火墙服务: # service iptables restart 13、 启动nginx。 启动每一个storage存储节点上的nginx。 # /usr/local/nginx/sbin/nginx 重启nginx命令： /usr/local/nginx/sbin/nginx -s reload 停止nginx命令： /usr/local/nginx/sbin/nginx -s stop 14、 设置nginx开机启动。 使用chkconfig管理nginx服务。在/etc/init.d/目录下创建nginx脚本文件。 # vi /etc/init.d/nginx 在nginx脚本文件中添加如下内容： #!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig: - 85 15 # description: NGINX is an HTTP(S) server, HTTP(S) reverse \ # proxy and IMAP/POP3 proxy server # processname: nginx # config: /etc/nginx/nginx.conf # config: /etc/sysconfig/nginx # pidfile: /var/run/nginx.pid # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 nginx="/usr/local/nginx/sbin/nginx" prog=$(basename $nginx) NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf" [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx lockfile=/var/lock/subsys/nginx make_dirs() { # make required directories user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -` if [ -n "$user" ]; then if [ -z "`grep $user /etc/passwd`" ]; then useradd -M -s /bin/nologin $user fi options=`$nginx -V 2>&1 | grep 'configure arguments:'` for opt in $options; do if [ `echo $opt | grep '.*-temp-path'` ]; then value=`echo $opt | cut -d "=" -f 2` if [ ! -d "$value" ]; then # echo "creating" $value mkdir -p $value && chown -R $user $value fi fi done fi } start() { [ -x $nginx ] || exit 5 [ -f $NGINX_CONF_FILE ] || exit 6 make_dirs echo -n $"Starting $prog: " daemon $nginx -c $NGINX_CONF_FILE retval=$? echo [ $retval -eq 0 ] && touch $lockfile return $retval } stop() { echo -n $"Stopping $prog: " killproc $prog -QUIT retval=$? echo [ $retval -eq 0 ] && rm -f $lockfile return $retval } restart() { configtest || return $? stop sleep 1 start } reload() { configtest || return $? echo -n $"Reloading $prog: " killproc $nginx -HUP RETVAL=$? echo } force_reload() { restart } configtest() { $nginx -t -c $NGINX_CONF_FILE } rh_status() { status $prog } rh_status_q() { rh_status >/dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}" exit 2 esac 注意以下内容必须与安装设置路径一致： nginx执行程序的路径。 nginx="/usr/local/nginx/sbin/nginx" nginx配置文件的路径。 NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf" 脚本来自于nginx官方网站。https://www.nginx.com/resources/wiki/start/topics/examples/redhatnginxinit/ 保存脚本文件后设置文件的执行权限： # chmod a+x /etc/init.d/nginx 先将nginx服务加入chkconfig管理列表： # chkconfig --add /etc/init.d/nginx 使用service对nginx进行启动操作。 # service nginx start 停止nginx命令。 # service nginx stop 重启nginx命令。 # service nginx restart 设置nginx开机启动： # chkconfig nginx on 15、 通过浏览器访问测试时上传的文件。 4个storage存储节点都可以访问到上传的文件。 http://192.168.137.143:8888/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz http://192.168.137.144:8888/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz http://192.168.137.145:8888/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz http://192.168.137.146:8888/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz 七、 在每个Tracker跟踪服务器节点上安装nginx 跟踪服务器1：192.168. 137.141 跟踪服务器2：192.168. 137.142 所有跟踪服务器均执行如下安装操作。 在tracker跟踪服务器节点上安装nginx，主要为了提供http访问的反向代理、负载均衡、缓存服务。 1、 安装编译nginx所需的依赖包。 安装过程需要输入yes 或y。 # yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel 2、 上传ngx_cache_purge-2.3.tar.gz到/usr/local/src目录，解压文件。 # cd /usr/local/src/ # tar -zxvf ngx_cache_purge-2.3.tar.gz 3、 上传nginx-1.13.4.tar.gz到/usr/local/src目录。 4、 编译安装nginx，添加fastdfs-nginx-module模块。 # cd /usr/local/src/ # tar -zxvf nginx-1.13.4.tar.gz # cd nginx-1.13.4 # ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/ngx_cache_purge-2.3 # make && make install 5、 修改nginx配置文件，设置负载均衡、缓存服务。 # vi /usr/local/nginx/conf/nginx.conf 修改添加如下配置。 user root; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections 1024; use epoll; } http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; #access_log logs/access.log main; sendfile on; tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #gzip on; #设置缓存 server_names_hash_bucket_size 128; client_header_buffer_size 32k; large_client_header_buffers 4 32k; client_max_body_size 300m; proxy_redirect off; proxy_set_header Host $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_connect_timeout 90; proxy_send_timeout 90; proxy_read_timeout 90; proxy_buffer_size 16k; proxy_buffers 4 64k; proxy_busy_buffers_size 128k; proxy_temp_file_write_size 128k; #设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限 proxy_cache_path /fastdfs/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:200m max_size=1g inactive=30d; proxy_temp_path /fastdfs/cache/nginx/proxy_cache/tmp; #设置group1的服务器 upstream fdfs_group1 { server 192.168.137.143:8888 weight=1 max_fails=2 fail_timeout=30s; server 192.168.137.144:8888 weight=1 max_fails=2 fail_timeout=30s; } #设置group2的服务器 upstream fdfs_group2 { server 192.168.137.145:8888 weight=1 max_fails=2 fail_timeout=30s; server 192.168.137.146:8888 weight=1 max_fails=2 fail_timeout=30s; } server { listen 8000; server_name localhost; #charset koi8-r; #access_log logs/host.access.log main; #设置group1的负载均衡参数 location /group1/M00 { proxy_next_upstream http_502 http_504 error timeout invalid_header; proxy_cache http-cache; proxy_cache_valid 200 304 12h; proxy_cache_key $uri$is_args$args; proxy_pass http://fdfs_group1; expires 30d; } #设置group2的负载均衡参数 location /group2/M00 { proxy_next_upstream http_502 http_504 error timeout invalid_header; proxy_cache http-cache; proxy_cache_valid 200 304 12h; proxy_cache_key $uri$is_args$args; proxy_pass http://fdfs_group2; expires 30d; } #设置清除缓存的访问权限，allow充许清除缓存的访问网段 location ~/purge(/.*) { allow 127.0.0.1; allow 192.168.137.0/32; deny all; proxy_cache_purge http-cache $1$is_args$args; } #error_page 404 /404.html; # redirect server error pages to the static page /50x.html # error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } # proxy the PHP scripts to Apache listening on 127.0.0.1:80 # #location ~ \.php$ { # proxy_pass http://127.0.0.1; #} # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000 # #location ~ \.php$ { # root html; # fastcgi_pass 127.0.0.1:9000; # fastcgi_index index.php; # fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name; # include fastcgi_params; #} # deny access to .htaccess files, if Apache's document root # concurs with nginx's one # #location ~ /\.ht { # deny all; #} } # another virtual host using mix of IP-, name-, and port-based configuration # #server { # listen 8000; # listen somename:8080; # server_name somename alias another.alias; # location / { # root html; # index index.html index.htm; # } #} # HTTPS server # #server { # listen 443 ssl; # server_name localhost; # ssl_certificate cert.pem; # ssl_certificate_key cert.key; # ssl_session_cache shared:SSL:1m; # ssl_session_timeout 5m; # ssl_ciphers HIGH:!aNULL:!MD5; # ssl_prefer_server_ciphers on; # location / { # root html; # index index.html index.htm; # } #} } 6、 按以上nginx配置文件的要求，创建对应的缓存目录。 # mkdir -p /fastdfs/cache/nginx/proxy_cache # mkdir -p /fastdfs/cache/nginx/proxy_cache/tmp 7、 系统防火墙打开对应的端口。 # vi /etc/sysconfig/iptables ## Nginx -A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT # service iptables restart 8、 启动nginx。 启动每一个tracker跟踪节点上的nginx。 # /usr/local/nginx/sbin/nginx 重启nginx命令： /usr/local/nginx/sbin/nginx -s reload 停止nginx命令： /usr/local/nginx/sbin/nginx -s stop 9、 设置nginx开机启动。 使用chkconfig管理nginx服务。在/etc/init.d/目录下创建nginx脚本文件。 # vi /etc/init.d/nginx 在nginx脚本文件中添加如下内容： #!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig: - 85 15 # description: NGINX is an HTTP(S) server, HTTP(S) reverse \ # proxy and IMAP/POP3 proxy server # processname: nginx # config: /etc/nginx/nginx.conf # config: /etc/sysconfig/nginx # pidfile: /var/run/nginx.pid # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 nginx="/usr/local/nginx/sbin/nginx" prog=$(basename $nginx) NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf" [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx lockfile=/var/lock/subsys/nginx make_dirs() { # make required directories user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -` if [ -n "$user" ]; then if [ -z "`grep $user /etc/passwd`" ]; then useradd -M -s /bin/nologin $user fi options=`$nginx -V 2>&1 | grep 'configure arguments:'` for opt in $options; do if [ `echo $opt | grep '.*-temp-path'` ]; then value=`echo $opt | cut -d "=" -f 2` if [ ! -d "$value" ]; then # echo "creating" $value mkdir -p $value && chown -R $user $value fi fi done fi } start() { [ -x $nginx ] || exit 5 [ -f $NGINX_CONF_FILE ] || exit 6 make_dirs echo -n $"Starting $prog: " daemon $nginx -c $NGINX_CONF_FILE retval=$? echo [ $retval -eq 0 ] && touch $lockfile return $retval } stop() { echo -n $"Stopping $prog: " killproc $prog -QUIT retval=$? echo [ $retval -eq 0 ] && rm -f $lockfile return $retval } restart() { configtest || return $? stop sleep 1 start } reload() { configtest || return $? echo -n $"Reloading $prog: " killproc $nginx -HUP RETVAL=$? echo } force_reload() { restart } configtest() { $nginx -t -c $NGINX_CONF_FILE } rh_status() { status $prog } rh_status_q() { rh_status >/dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}" exit 2 esac 注意以下内容必须与安装设置路径一致： nginx执行程序的路径。 nginx="/usr/local/nginx/sbin/nginx" nginx配置文件的路径。 NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf" 脚本来自于nginx官方网站。https://www.nginx.com/resources/wiki/start/topics/examples/redhatnginxinit/ 保存脚本文件后设置文件的执行权限： # chmod a+x /etc/init.d/nginx 先将nginx服务加入chkconfig管理列表： # chkconfig --add /etc/init.d/nginx 使用service对nginx进行启动操作。 # service nginx start 停止nginx命令。 # service nginx stop 重启nginx命令。 # service nginx restart 设置nginx开机启动： # chkconfig nginx on 10、 文件访问测试。 前面通过访问storage存储器节点中的nginx来访问文件。 http://192.168.137.143:8888/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz http://192.168.137.144:8888/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz http://192.168.137.145:8888/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz http://192.168.137.146:8888/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz 现在可以通过tracker跟踪器节点中的nginx来访问文件。 通过tracker1跟踪器节点中的nginx来访问文件。 http://192.168.137.141:8000/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz 通过tracker2跟踪器节点中的nginx来访问文件。 http://192.168.137.142:8000/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz 由上面的文件访问效果可以看到，每一个tracker中的nginx都单独对后端的storage组做了负载均衡，但整套FastDFS集群如果想对外提供统一的文件访问地址，还需要对两个tracker中的nginx进行HA集群。 八、 Keepalived简要介绍 Keepalived 是一种高性能的服务器高可用或热备解决方案，Keepalived可以用来防止服务器单点故障的发生，通过配合Nginx可以实现web前端服务的高可用。 Keepalived以VRRP协议为实现基础，用VRRP协议来实现高可用性(HA)。VRRP(Virtual Router Redundancy Protocol)协议是用于实现路由器冗余的协议，VRRP协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器IP(一个或多个)，而在路由器组内部，如果实际拥有这个对外IP的路由器如果工作正常的话就是MASTER，或者是通过算法选举产生，MASTER实现针对虚拟路由器IP的各种网络功能，如ARP请求，ICMP，以及数据的转发等；其他设备不拥有该虚拟IP，状态是BACKUP，除了接收MASTER的VRRP状态通告信息外，不执行对外的网络功能。当主机失效时，BACKUP将接管原先MASTER的网络功能。 VRRP协议使用多播数据来传输VRRP数据，VRRP数据使用特殊的虚拟源MAC地址发送数据而不是自身网卡的MAC地址，VRRP运行时只有MASTER路由器定时发送VRRP通告信息，表示MASTER工作正常以及虚拟路由器IP(组)，BACKUP只接收VRRP数据，不发送数据，如果一定时间内没有接收到MASTER的通告信息，各BACKUP将宣告自己成为MASTER，发送通告信息，重新进行MASTER选举状态。 九、 方案规划 VIP虚拟IP IP 主机名 nginx端口 默认主从 192.168.137.140 192.168.137.138kp-proxy-01 88MASTER 192.168.137.139kp-proxy-02 88BACKUP keepalived-1.3.6.tar.gz http://www.keepalived.org/download.html nginx-1.13.4.tar.gz（Version 1.13.4） http://nginx.org/en/download.html 十、 安装nginx 1、 安装编译nginx所需的依赖包。 # yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel 2、 上传nginx-1.13.4.tar.gz到/usr/local/src目录。 3、 编译安装nginx。 # cd /usr/local/src/ # tar -zxvf nginx-1.13.4.tar.gz # cd nginx-1.13.4 # ./configure --prefix=/usr/local/nginx # make && make install 4、 配置nginx。 # vi /usr/local/nginx/conf/nginx.conf user root; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; #access_log logs/access.log main; sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #gzip on; server { listen 88; server_name localhost; #charset koi8-r; #access_log logs/host.access.log main; location / { root html; index index.html index.htm; } #error_page 404 /404.html; # redirect server error pages to the static page /50x.html error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } } 修改nginx欢迎首页内容（用于后面测试，用于区分两个节点的nginx）： # vi /usr/local/nginx/html/index.html 192.168.137.138 中的标题加 1 <h1>Welcome to nginx! 1</h1> 192.168.137.139 中的标题加 2 <h1>Welcome to nginx! 2</h1> 5、 系统防火墙打开88端口。 # vi /etc/sysconfig/iptables ## Nginx -A INPUT -m state --state NEW -m tcp -p tcp --dport 88 -j ACCEPT 重启防火墙服务。 # service iptables restart 6、 测试nginx是否安装成功。 # /usr/local/nginx/sbin/nginx -t nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful 7、 启动nginx。 # /usr/local/nginx/sbin/nginx 重启 Nginx # /usr/local/nginx/sbin/nginx -s reload 8、 设置nginx开机启动。 # vi /etc/rc.local 添加如下内容： /usr/local/nginx/sbin/nginx 9、 分别访问两个nginx。 十一、 安装Keepalived 1、 上传keepalived-1.3.6.tar.gz到/usr/local/src目录。 2、 解压安装。 # cd /usr/local/src # tar -zxvf keepalived-1.3.6.tar.gz # cd keepalived-1.3.6 # ./configure --prefix=/usr/local/keepalived # make && make install 3、 将 keepalived 安装成 Linux 系统服务。 因为没有使用 keepalived 的默认路径安装（默认是/usr/local） ,安装完成之后，需要做一些工作 复制默认配置文件到默认路径 # mkdir /etc/keepalived # cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/ 复制 keepalived 服务脚本到默认的地址 # cp /usr/local/src/keepalived-1.3.6/keepalived/etc/init.d/keepalived /etc/init.d/ # cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ # ln -s /usr/local/keepalived/sbin/keepalived /usr/sbin/ # ln -s /usr/local/keepalived/sbin/keepalived /sbin/ 设置 keepalived 服务开机启动 # chkconfig keepalived on 4、 修改Keepalived配置文件。 (1)MASTER节点配置文件（192.168.137.138）。 # vi /etc/keepalived/keepalived.conf ! Configuration File for keepalived global_defs { ## keepalived自带的邮件提醒需要开启sendmail服务。建议用独立的监控或第三方SMTP router_id kp-proxy-01##标识本节点的字条串，通常为hostname } ## keepalived会定时执行脚本并对脚本执行的结果进行分析，动态调整vrrp_instance的优先级。如果脚本执行结果为0，并且weight配置的值大于0，则优先级相应的增加。如果脚本执行结果非0，并且weight配置的值小于0，则优先级相应的减少。其他情况，维持原本配置的优先级，即配置文件中priority对应的值。 vrrp_script chk_nginx { script "/etc/keepalived/nginx_check.sh"##检测nginx状态的脚本路径 interval 2##检测时间间隔 weight -20##如果条件成立，权重-20 } ## 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称 vrrp_instance VI_1 { state MASTER ##主节点为MASTER，对应的备份节点为BACKUP interface eth0##绑定虚拟IP的网络接口，与本机IP地址所在的网络接口相同，我的是eth1 virtual_router_id 51##虚拟路由的ID号，两个节点设置必须一样，可选IP最后一段使用, 相同的VRID为一个组，他将决定多播的MAC地址 mcast_src_ip 192.168.137.138## 本机IP地址 priority 100 ##节点优先级，值范围0-254，MASTER要比BACKUP高 nopreempt ## 优先级高的设置nopreempt解决异常恢复后再次抢占的问题 advert_int 1 ##组播信息发送间隔，两个节点设置必须一样，默认1s ##设置验证信息，两个节点必须一致 authentication { auth_type PASS auth_pass 123456## 两个节点相互验证密码，真实生产，按需求对应该过来 } ##将track_script块加入instance 配置块 track_script { chk_nginx ## 执行Nginx监控的服务 } ##虚拟IP池, 两个节点设置必须一样 virtual_ipaddress { 192.168.137.140##虚拟ip，可以定义多个 } } (2)BACKUP节点配置文件（192.168.137.139）。 # vi /etc/keepalived/keepalived.conf ! Configuration File for keepalived global_defs { router_id kp-proxy-02 } vrrp_scriptchk_nginx { script "/etc/keepalived/nginx_check.sh" interval 2 weight -20 } vrrp_instance VI_1 { state BACKUP interface eth0 virtual_router_id 51 mcast_src_ip 192.168.137.139 priority 90 advert_int 1 authentication { auth_type PASS auth_pass 123456 } track_script { chk_nginx } virtual_ipaddress { 192.168.137.140 } } 5、 创建nginx状态检测脚本。 编辑/etc/keepalived/nginx_check.sh（已在keepalived.conf中配置）。 脚本效果：如果nginx停止运行，尝试启动，如果无法启动则杀死本机的keepalived进程，keepalied 将虚拟ip绑定到BACKUP机器上。内容如下： # vi /etc/keepalived/nginx_check.sh #!/bin/bash A=`ps -C nginx –no-header |wc -l` if [ $A -eq 0 ];then /usr/local/nginx/sbin/nginx sleep 2 if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then killall keepalived fi fi 保存后，给脚本赋执行权限。 # chmod +x /etc/keepalived/nginx_check.sh 6、 启动keepalived。 # service keepalived start 7、 keepalived+nginx的高可用测试。 (1)关闭192.168.137.138中的nginx，keepalived会将它重新启动。 # /usr/local/nginx/sbin/nginx -s stop (2)测试停止192.168.137.138中的keepalived，查看VIP（虚拟IP地址192.168.137.140）路由访问情况。 停止keepalived之前，使用命令查看VIP情况。 # ip add 可以看到VIP地址192.168.137.140。 浏览器访问http://192.168.137.140:88/，访问到的是192.168.137.138的nginx1。 在Windows下使用cmd命令查看此时VIP对应的MAC地址。 arp -a 192.168.137.138 arp -a 192.168.137.139 arp -a 192.168.137.140 虚拟VIP地址192.168.137.140对应的MAC地址与192.168.137.138的MAC地址一样。此时访问虚拟 VIP的请求会转发到192.168.137.138上面。 停止192.168.137.138中的keepalived，使用命令查看VIP情况。 # service keepalived stop # ip add keepalived停止后，该节点的网络接口中的VIP（虚拟IP地址192.168.137.140）地址将消失。 浏览器访问http://192.168.137.140:88/，访问到的是192.168.137.139的nginx2。 在Windows下使用cmd命令查看此时VIP对应的MAC地址。 arp -a 192.168.137.138 arp -a 192.168.137.139 arp -a 192.168.137.140 虚拟VIP地址192.168.137.140对应的MAC地址与192.168.137.139的MAC地址一样。此时访问虚拟 VIP的请求会转发到192.168.137.139上面。说明此时VIP已经漂移到物理主机192.168.137.139上 了。 (3)重新启动192.168.137.138中的keepalived，VIP又会切回到192.168.137.138中来。 # service keepalived start 使用命令查看VIP情况。 # ip add keepalived重新启动后，可以看到VIP（虚拟IP地址192.168.137.140）地址，网络接口上又会创建 出VIP 192.168.137.140。 浏览器访问http://192.168.137.140:88/，访问到的是192.168.137.138的nginx1。 keepalived服务管理命令： 停止：service keepalived stop 启动：service keepalived start 重启：service keepalived restart 查看状态：service keepalived status其他参考资料： keepalived之vrrp_script总结：http://my.oschina.net/hncscwc/blog/158746 keepalived双机热备实现故障时发送邮件通知：http://www.2cto.com/os/201407/317795.html 基于keepalived 实现VIP转移，lvs，nginx的高可用：http://www.tuicool.com/articles/eu26Vz 十二、 使用Keepalived + Nginx组成的高可用负载均衡集群做两个Tracker节点中Nginx的负载均衡 1、 在keepalived+nginx实现高可用负载均衡集群中配置tracker节点中nginx的负载均衡反向代理。 (192.168.137.138和192.168.137.139中的nginx执行相同的配置)。 # vi /usr/local/nginx/conf/nginx.conf user root; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; #access_log logs/access.log main; sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #gzip on; ## FastDFS Tracker Proxy upstream fastdfs_tracker { server 192.168.137.141:8000 weight=1 max_fails=2 fail_timeout=30s; server 192.168.137.142:8000 weight=1 max_fails=2 fail_timeout=30s; } server { listen 88; server_name localhost; #charset koi8-r; #access_log logs/host.access.log main; location / { root html; index index.html index.htm; } #error_page 404 /404.html; # redirect server error pages to the static page /50x.html error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } ## FastDFS Proxy location /dfs { root html; index index.html index.htm; proxy_pass http://fastdfs_tracker/; proxy_set_header Host $http_host; proxy_set_header Cookie $http_cookie; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; client_max_body_size 300m; } } } 2、 重启192.168.137.138和192.168.137.139中的nginx。 # /usr/local/nginx/sbin/nginx -s reload 3、 访问FastDFS集群中的文件。 通过keepalived+nginx组成的高可用负载集群的VIP（192.168.137.140）来访问FastDFS集群中的文件。
http://192.168.137.140:88/dfs/group2/M00/00/00/wKiJkVmeN8SAX9KqAAUkKwe5sE4.tar.gz
十三、 FastDFS集群在系统中的使用 ......
