淘宝TFS分布式文件系统安装说明手册.docx

《淘宝TFS分布式文件系统安装说明手册.docx》由会员分享，可在线阅读，更多相关《淘宝TFS分布式文件系统安装说明手册.docx（18页珍藏版）》请在第一文库网上搜索。

1、淘宝TFS分布式文件系统安装和集群配置目录1 环境介绍32 安装TFS32.1. 安装tb-common-uti1s32.2. 安装TFS42.3. 编译FAQ43 部署TFS54 安装Openresty115 安装Keepa1ived和TFS集群配置141环境介绍操作系统：CentOS764bitNameSerVer服务器110.21.48.201NanIeSerVer服务器210.21.48.202NameServer虚拟IP10.21.48.222DataSerVer服务器110.21.48.201DataServer服务器210.21.48.202Nginxserver10.21.48

2、.2002 安装TFSTFS(TaobaoFiIeSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据的存储；TFS使用C+语言开发，需要运行在64bit1inuxOS上，本文介绍如何在1inux环境编译安装TFSo2.1. 安装tb-common-uti1sTFS使用tb-common-uti1s软件包，tb-common-uti1s包含淘宝使用的基础系统库tbsys和网络库tbnet两个组件；安装tb-common-uti1s前需要设置环境变量TB1IB_ROOT,tbsys和tbnet将会被安装TBUBROC)T对应的路径(必须

3、是绝对路径)下，TFS会在这个路径下查找tbsys、tbnet头文件和库。设置TB1IB_ROOT环境变量在/.bash_profi1e文件中加入，exportTB1IB_ROOT=path_to_tbuti1,然后执行SoUrCe/.bash_profi1e编译安装#cdtb-common-uti1s#shbui1d.sh如果一切顺利，tbcommonuti1s已经安装成功到$131_旧_口307路径下；如遇到问题请先阅读后面的编译FAQ.2.2. 安装TFSTFS开源用户大都只使用TFS的基本功能，所以这个版本我们默认只编译TFS的nameserver,dataserver,c1ient和

4、too1,以去除对mysq1的依赖，需要使用到rcserver（全局资源管理服务），metaserver（TFS自定义文件名服务）的用户请自行编译安装这两个服务。编译安装# cdtfs# shbui1d.shinit# ./configure-prefix=path_to_tfswithout-tcma11oc-with-re1ease# make# makeinsta11-prefix指定tfs安装路径，默认会被安装到/tfs_bin目录-with-re1ease指定按re1ease版本的参数进行编译，如果不指定这个参数，则会按开发版本比较严格的参数编译。至此，TFS己经安装成功了。2.3.

5、 编译FAQQ:使用TFS一定需要64bit1iunx?A:是的，否则整个项目不能正常编译通过。Q:编译TFS过程中出现出现类似IIbnet.h:39:fata1error:tbsys.h:Nosuchfi1eordirectory的错误提示？A:需要先安装tb-common-uti1s软件包。Q:在安装tb-c。Tnmon-Uti1S过程中，提示设置P1eaSesetTB1IB_ROOTvaria1befirst!?A:需要先设置TB1工BRoOT环境变量，再编译安装tb-common-uti1s。Q:编译过程中出现类似警告：格式、%1u，需要类型1ongunsignedini,但实参3的类

6、型为size_t7?A:你的机器使用的应该是32bitOS,如果你坚持要编译，可以自行修改代码或者直接忽略这些警告。Q:执行/configure时，提示ConfigUre:error:read1ineheaderfi1esnotfound,-disab1e-readIineorinsta11gnuread1ine1ibrary?A:你需要安装read1ine库，或在configure时力上一disab1e-read1ine参数，不使用read1ine库。Q:tf./configure提示ConfigUre:error:tcma11oc1inkfai1ed(-without-tcma11octo

7、disab1e)?A:你需要安装tcma11oc库，或在configure时加上-without-tcma11oc参数,不使用tcma11oc库。Q:编译过程中出现大量的错误信息，类似于WarningSbeingtreatedaserror?A:请确认在./configure的时候是否加了一with-re1ease参数。Q:编译过程中提示类彳以C1ient.request.server.c:722:38:error:nomatchingfunctionforca11toatomic_inc(vo1ati1eUint64_t*)的错误信息？A:你的系统时32位的，请在64bit1inux编译安装

8、TFS;因为32bit系统不支持对64bit整数的原子操作。Q:编译时遇到SeSSio.cpp:2:23:fata1error:uuid/uuid.h:Nosuchfi1eordirectory?A:你需要先安装UUid库,用于生成全局唯一工D,UUid库是e2fsprogs包工具的一部分；Q:编译时提示tfs_meta_he1per.cpp:15:18:fata1error:z1ib.h:Nosuchfi1eordirectory?A:你需要先安装Z1ib,用于压缩/解压缩。参考链接：http:/b1oH3 部署TFS在成功安装TFS之后,在安装目录(默认为/tfs_bin),包含几个子目录

9、bin、COnf、inc1ude、1ib、1ogsSCriPt等。bin：包含tfs所有的可执行程序文件，如nameserver（NS）、dataserver（DS）tfstoo1conf：包含tfs的配置文件，如NS的配置文件ns.conf,DS的配置文件ds.conf。（如果不存在，需手动创建并上传相关配置文件）inc1ude：包含TFS客户端库相关的头文件，应用程序使用TFS需要包含这些头文件。1ib：包含TFS客户端的静/动态库，应用程序使用TFS需要连接IibtfSdient。1ogs：用于存储TFS运行过程中的日志。（如果不存在，需手动创建）script：包含tfs常用的一些运维脚

10、本，如StfS用于格式化DS,tfs启动/停止NS、DSo22*版本的/tfs_bin/confR录提供了tfs.conf实例配置。共有6个配置文件（若安装后没有的，请从提供的压缩包中拷贝）：ns.confads.conf、ds.confrc.confmeta.conf和rs.conf,其中ns.conf用于配置nameserver,ds.conf用于配置dataserver,ads.conf为可选配置文件，用于配置nameserver和Jataserver地址信息，可用于快速启动ns和dsorc.conf为可选配置文件，用于配置rcserver相关信息，主要适用于集群多，应用多的用户，可实现

11、应用资源和集群资源的管理。meta.conf为可选配置文件，用于配置metaserver相关信息，主要用于自定义文件名功能。rs.conf为可选配置文件，用于配置rootserver相关信息，主要用于自定义文件名功能。!I注意：以上有几个配置项再特别声明一下如果搭建单台ds,请在ns.conf中将备份数改为1,否则集群将无法正常运行。#B1ock最大备份数,defau1t:2max_rep1ication=2#B1ock最小备份数,defau1t:2min_rep1ication=2ds.conf中关于Nameserver的三个配置项必须和ns.conf中的一致，dataserver#!Nam

12、eServervip地址ip_addr=10.21.48.222ft!nameserverIP地址列表（master,sa1ve的ip地址，只能以T分隔）BRip_addr_1ist=10.21.48.35110.21.48.45#!NameServer监听的端口，102455535port=8100否则ds将无法和ns通信。ns.conf中b1ock_max_size一般设为和ds.conf中的mainb1ock_size相同或略大于，这样可以尽量少使用扩展块。35nameserver月艮务器再!置ns.confpub1ic#日志文件的size,defau1t1GB,超过该大小日志将被转储1

13、og_size=1073741824#保留日志文件的个数,defau1t16,请确保你的工作目录下能存下这么多日志1og_num=16#日志文件的级别,defau1tinfo,上线使用建议设置为INF0,调试设为DEBUG1og-1eve1info#工作队列size,defau1t10240task_max_queue_size=10240#监听端口，102465535port=8100#工作目录work_dir=/usr/1oca1/tfs#网络设备dev-name=eth#工作线程池defau1t4thread_count=8# 木机IP地址（ViP）,配置ha时为vip,没配置可以为主n

14、s的ipip_addr=10.21.48.222nameserver# 系统保护时间，单位（秒）,defau1t:300# 保护时间内不进行任何操作，包括添加b1ock等safe_mode_time=300#nameserverIP地址列表（master,sa1ve的ip地址，只能以T分隔）# 单台nameserver时,另一个ip配置为无效ip即可ip_addr_1ist=10.21.48.201110.21.48.202# 1P地址mask用于区分dataserver所在的子网，选择不同子网的dataserver备份数据group_mask=255.255.255.255# B1oCkSi

15、Ze的最大值，单位（字节），建议配置与ds的mainb1ock_size值相同b1ock_max_size=75497472# B1ock最大备份数,defau1t:2# 单台dataserver时，需要配置为1max_rep1ication=2# B1ock最小备份数,defau1t:2# 单台dataserver时，需要配置为1min_rep1ication=2MIDataServer容量使用的百分比,defau1t:98use_capacity_ratio=98MBIock使用的百分比,defau1t:95b1ock_max_use_ratio=98SDataserver与nameserver的心跳时间，单位（秒）,defau1t:2HeartJntervaI=2# 集群号C1usterJd=1# BIoCk当前备份数与最大备份数百分比，如果大于这个百分比，就开始复制rep1icate_rati