======

gingko是noah提供的基于BitTorrent的P2P文件传输工具。其主要有以下优点：

• 支持数十万台机器规模的p2p传输。
• 下载速度快
• 可进行单任务上传、下载限速以及做种机整体上传限速
• 做种过程中，任务限速、暂停、恢复等可动态改变
• 下游机器群提供多种不同源下载方式（torrent文件、infohash、http地址指定的torrent文件），尽可能满足用户自动化需求
• 支持多机做种
• 支持hdfs上的数据做种
• 优化后的上游结点选择策略，最大程度减少跨机房流量，并提高传输速度
• 支持断点续传
• 可随时查看任务状态、进度等信息

p2p tool

• gko 客户端工具（当前基于libtorrent-1.0.0-RC2）
• gko-tracker tracker服务器
• 依赖libtorrent，需要打patch（libtorrent-1.0.0-RC2.patch）

1. 从libtorrent官网下载libtorrent-1.0.0-RC2

   http://sourceforge.net/projects/libtorrent/files/libtorrent/libtorrent-rasterbar-1.0.0-RC2.tar.gz/download

2. 给libtorrent-1.0.0-RC2打patch

   cd $libtorrent && patch -p1 < libtorrent-1.0.0-RC2.patch

3. 编译gko（需设置好相关依赖库）

   cd $gko && sh build.sh

4. 编译gko-tracker

   cd $gko-tracker && sh build.sh

1. 在服务端机器部署若干台gko-tracker，启动命令

   ./bin/noah_control start

2. 在所有下载机器上启动做种客户端bbts-agent，启动命令

   ./NOAH/control start

##种子机做种 指定做种目录/path/to/a，做种时间1小时（3600s），种子文件保存在/path/to/a.torrent

gko3 serve -p /path/to/a -r /path/to/a.torrent -S 3600

##下载机下载 指定种子文件为之前生成的a.torrent，数据保存在目录/path/to/save

gko3 down -r /path/to/a.torrent -p /path/to/save

##gko3命令格式 gko3 operation [options] 可用的operations如下：

gko3 mkseed -p path [r:s:C:W:l] [--besthash] [--include-files regex] [--exclude-files regex]

gko3 dump -r torrent

gko3 add (-r torrent | -i infohash) (-p path | -n fullpath) -S seedtime [u:c:] [--seed] [--tracker tracker]

gko3 serve -p path -S seedtime [u:c:r:s:l] [--besthash] [--include-files] [--exclude-files]

##down 下载使用down命令，命令格式如下：

gko3 down (-r torrent | -i infohash) (-p path | -n fullpath) [S:O:d:u:c:C:W:P:] [--include-files] [--exclude-files]

下载时需要至少提供一种方式来指定种子源：

• 种子文件
• infohash
• http-url指定的种子文件地址

##list list命令可查看目前所有后台任务

gko3 list [-t taskid ...] [-a attributes] [--noheader]

这三个命令，除root用户外，其他用户只能操作本用户创建的任务。

gko3 cancel [-t taskid ...] [--all]
gko3 pause  [-t taskid ...] [--all]
gko3 resume [-t taskid ...] [--all]

gko3 getopt [-t taskid | --unix-socket path]

不指定-t或--unix-socket则输出全局限速信息；指定-t，输出特定做种任务的限速信息。指定--unix-socket则输出该下载任务的限速信息。该参数需要与down中该参数搭配使用。 ##setopt 修改bbts-agent全局限速，或某个后台做种任务的限速，或设定unix sockt path的一个下载任务的限速。目前只有root用户可以修改全局限速，其他用户只能修改本用户添加任务的配置信息。

gko3 setopt [-t taskid | --unix-socket path] [-d downrate] [-u uprate] [-c connlimit]

##hdfs下载 从hdfs上进行p2p下载数据时，需要分两步进行： ###生成种子文件*.torrent 生成种子文件有两种方式，如下：

• （1）源数据本身在某台单机上，那么在该机器上执行gko3 mkseed命令生成一份种子文件
• （2）源数据在hdfs集群上，那么可使用我们的分布式做种工具hadoopseed进行做种。具体使用方式请参考

###下载数据 下载命令行参考gko3 down。如果是单机生成的torrent文件，在没有指定数据在hdfs上的地址的情况下，需要通过指定-C参数来确定

gko3 down -r *.torrent -p ./ -C hdfs://user:passwd@namenode:port/path

当然，mkseed的时候也可以统一指定-C参数，这样数据在集群上的地址会写入到torrent文件中去，下载时无须重复指定（如重复指定以下载时指定的hdfs地址为主）

gko3 mkseed -p path -r *.torrent -C hdfs://user:passwd@namenode:port/path

##hadoopseed使用说明 ###简介 hadoopseed工具随gko3一起上线，同样会在/usr/bin下打个软链。该工具用来对hdfs集群上某个数据进行计算，生成种子文件*.torrent供gingko 3.0进行基于hdfs的p2p下载。

###前提条件 使用hadoopseed需要python/java/hadoop支持，目前noah已未全百度绝大部分机器部署了这些基础工具，部署路径在/home/opt，没有部署的可能是磁盘inode数不足等原因，使用hadoopseed前请确定/home/opt下的工具是可用的。如不可用请联系noah_help协助部署。

###使用方式 hadoopseed -u user,passwd -H NameNode:port -T JobTracker:port -d 集群目录 (-f 本地torrent文件 | -F 远程torrent文件) [-s 分块大小]

gko3 down –r .torrent –p path