p2p传输

Posted 2020-07-30

实现思路：

1、稳定快速：大文件的分发的稳定性受限于传输网络，受限于传输协议。我们的分发网络建立在公司专用GPN之上，传输网络的稳定性得到保证，传输协议采用的 P2P传输，很明显优于 FTP等相关协议。

这里其实大家通过公网和私有网络也可以实现。

2、开发： P2P(BT)相关的的软件，工具社区已经有很多成型的产品，因此我们没有必要自己研发。只需要选择适合的开源工具，进行二次开发即可。云计算时代，开发效率是最关键的。

3、部署交付：分发网络Docker容器化部署，镜像交付。基于Docker的轻量，跨平台特性，标准统一的打包方案，生成可交付的镜像产品。具有良好的 REST API，很适合自动化测试和继续集成，分发网络的动态扩展。

项目实现：

1、网络：文件分发网络构建在我们公司专有GPN 全球互联网络之上（博客里不打广告，实际在公网和自有内网里也可以实现，但注意限速！）。

2、tracker: 采用集中式的 P2P 传输模式，tracker使用peertracker。peertracker是一个简单，高效，快速的 BT Tracker。负责记录每个peer的信息;可以搭建多个tracker做冗余，防止一个tracker宕机导致集群不可用。

3、peer: 使用的是 transmission,  是一个跨平台的自由软件，自带 web 界面，支持 API 调用，可编程性好。

4、agent: 基于flask + dockerapi开发，封装了一整套dockerapi相关操作，提供认证机制, 接收中心控制节点的调度，创建 peer docker容器，执行相关任务。部署层级与transmission peer端一致。

5、控制节点：基于django + celery开发。可实现监控整个分发网络运行情况，分发任务执行情况，动态扩展分发节点，下发任务等操作。

整个原理图和流程图如下：

wKiom1dihabg1VTZAAG18Dl1t7c702.jpg-wh_50

wKioL1dihuGAPjDkAAEhhRMUucY630.png-wh_50

这里主要分享一个playbook，用于P2P网络的搭建，docker和实现代码部分等整理之后在共享出去。

github的地址：

https://github.com/xujpxm/ansible-peertracker

由于写的比较仓促，有带后期改善，经测试此脚本在ubuntu14上能够正常运行。

README：

这是一个用ansible写的自动化搭建P2P传输网络的脚本。Tracker采用谷歌2010年开源出来的peertracker，p2p种子的生成和传输采用transmission。

安装

安装peertracker:

ansible-playbook install_peertracker.yml

默认创建的数据库:peertracker,用户名:peertracker,密码:yais6Yab

脚本执行完成后,通过网页创建数据库,详见下面peertracker的安装.

安装transmission:

1

ansible-playbook install_transmission.yml

默认rpc_username和password: transmission/transmission

可自行修改/etc/transmission-daemon/settings.json文件自定义.

创建下载目录

1

ansible-playbook mk_download_dir.yml

默认下载路径是:/data/transmission-daemon/downloads可自行更改

Peertracker

P eerTracker是一个简单、高效、迅速的BitTorent Tracker。

安装要求：

1. HTTP Web Server.Apache，nginx,lighttpd等只要支持php均可。

2. PHP5+ 推荐php5.3以上版本

3. Database.支持mysql、SQLite3、PostgreSQL8.0和txtSQL 脚本里采用的web server是apache2,数据库使用mysql。

Important Links:

Development Website: http://code.google.com/p/peertracker/

Issue Tracker: http://code.google.com/p/peertracker/issues/list

Source Code Repository: http://peertracker.googlecode.com/svn/trunk/

github respository:https://github.com/JonnyJD/peertracker

peertracker的安装

脚本a安装环境：ubuntu

1. 确认代码拷贝到网站根目录之后，浏览器访问: <http://serverip/peertracker/help.php

2. 编辑配置文件tracker.mysql.php，这里已提前编辑好，主要更改了数据库的db_user、db_pass和db_name，默认数据库明和user是peertracker，密码：yais6Yab，也可自行修改templates里的文件。

通过help页面提供的Utilities，安装Tracker Database。安装成功后可看到，数据库结构很简单，只有两个表：pt_peers和pt_tasks,分别记录peer和任务的信息。

数据库创建成功之后实际已可以使用，tracker的url即为：http://serverip/peertracker/mysql/announce.php 如果是外网使用，可以把对应的announce和scrape.php文件移置网站的顶级目录，那么生成的tracker url即为:http://serverip/announce.php

help.php的页面示例：

也可以查看peer的状态：

http://serverip/peertracker/mysql/scrape.php?stats

Transmission

Transmission是一个强大的BitTorrent开源客户端，实现了BT协议中描述的大多数功能。目前，在它的官方网站上提供了多个版本可以下载，包括：Mac、GTK+、QT版本，还有Daemon版本。

Transmission支持DHT、Magnet Link、uTP以及PEX等特性。尤其是支持Magnet Link磁力链接下载十分重要，因为目前网上很多资源都是采用这种方式来分享的，而不是传统的.torrent文件，例如TPB、BTDigg。

transmission的安装/配置

安装

安装很简单，直接apt-get安装即可，运行transmission的role,脚本会自动安装。

安装过程中会顺带把transmission-cli也安装上，安装完毕后系统会多出如下一些命令行工具。

transmission-cli： 独立的命令行客户端。

transmission-create： 用来建立.torrent种子文件的命令行工具。

transmission-daemon： 后台守护程序。

transmission-edit： 用来修改.torrent种子文件的announce URL。

transmission-remote： 控制daemon的程序。

transmission-show：查看.torrent文件的信息。

配置

settings.json是主要的配置文件，设置daemon的各项参数，包括RPC的用户名密码配置。它实际上是一个符号链接，指向的原始文件是/etc/transmission-daemon/settings.json。

脚本里提供了一个模板文件，主要修改了下载路径、rpc认证和白名单、默认的rpc认证用户名/密码为：transmission/transmission

RPC的几个配置参数：

rpc-authentication-required: rpc认证，建议开启

rpc-bind-address: String (default = “0.0.0.0”) Where to listen for RPC connections

rpc-enabled: Boolean (default = true)

rpc-password: String

rpc-port: 默认端口9091Number (default = 9091)

rpc-url: String (default = /transmission/. Added in v2.2)

rpc-username: String

rpc-whitelist: 设置白名单 String (Comma-delimited list of IP addresses. Wildcards allowed using ‘‘. Example: “127.0.0.,192.168..“, Default: “127.0.0.1” )

rpc-whitelist-enabled: Boolean (default = true)

transmission使用web界面控制

浏览器中访问：http://serverip:9091/transmission/web/

即可在浏览器中添加种子文件，进行p2p网络传输。

种子文件的生成可以使用transmission自带的transmission-remote命令，例如：

transmission-create -c "Standard Template " -t http://192.168.1.1/announce.php -o Template.torrent StandardTemplate

下图是我自己测试的transmission实时速度，限速100M，起了五个peer基本打满带宽：

需要注意的是transmission的下载路径是/data/transmission-daemon/downloads,注意文件目录是否存在和权限,可以用mk_download_dir.yml脚本创建

transmission-create 创建的种子文件的权限是600,需要更改为644,使other可读

本文出自 “7464112” 博客，请务必保留此出处http://7474112.blog.51cto.com/7464112/1793132