最近开发了一个 bt搜索 的网站,产生了仔细了解bt协议的想法,所以写了这一篇文章,后续还会写一些关于搜索和索引的东西,都是在开发这个网站的过程中学习到的技术,敬请期待。
bt是BitTorrent协议的简称,bt协议是最流行的p2p下载协议,另外一种比较流行的p2p下载协议叫ed2k,ed2k的全称叫eDonkey2000 network,这里我们只讨论bt协议,ed2k协议以后有机会再和大家分享。
相信很多人都听说过bt协议。但是当我问周围的人究竟什么是bt协议呢?他们的解释让我对bt协议的理解变得更含糊,为了弄清楚心中的问题,我开始了自己对bt协议的学习。
我在 官网 上找到一篇文章 The BitTorrent Protocol Specification 。这个标题翻译过来就是“bittorrent协议规范”,是bittorrent协议的基础篇,为什么说是基础篇呢?
有点像tcp/ip协议一样,bt协议不是一个简单的协议,而是一系列相关的协议组成的,而且这个协议簇一直在进化。
既然这篇文章的主题是“基础篇”,所以它的内容主要来自 bep_0003 ,也就是bittorrent协议规范,因为其它的协议都是以这个协议为基础的,可见这个的重要性。
bittorrent是一个文件分发协议,它使用url来定位文件而且跟web服务无缝集成。当有多个人同时下载同一个文件时,下载者之间可以互相上传自己已有的那部分文件,让一个文件支持很多人同时下载却只增加小量的带宽负担变成可能,这就是bt协议相比http协议的优势。
bt文件分享由下列内容组成:
一个服务器按照下面的步骤开始文件分享过程
一个用户按照下面的步骤开始文件下载
strings(字符串)编码为: <字符串长度> : <字符串>例如: 4:test 表示为字符串"test",4:例子 表示为字符串“例子”,字符串长度单位为字节,没开始或结束标记字符串> 字符串长度>
integers(整数)编码为:i <整数>e,开始标记i,结束标记为e,例如:i1234e 表示为整数1234,i-1234e 表示为整数-1234,整数没有大小限制,i0e 表示为整数0,i-0e 为非法,以0开头的为非法如: i01234e 为非法整数>
lists(列表)编码为:le,开始标记为l,结束标记为e,列表里可以包含任何bencoding编码类型,包括整数,字符串,列表,字典。例如: l4:test5abcdee 表示为二个字符串["test","abcde"]
dictionaries(字典)编码为de,开始标记为d,结束标记为e,关键字必须为bencoding字符串,值可以为任何bencoding编码类型,例如: d3:agei20ee 表示为{"age"=20},d4:path3:C:/8:filename8:test.txte 表示为{"path"="C:","filename"="test.txt"}
metainfo files(俗称torrent文件)使用bencoding进行编码的一个dictionaries数据类型,有两个key
announce : bt tracker服务器地址
info : info又是一个dictionaries(bencoding支持数据类型的嵌套),info里面的字符串都是使用utf-8编码。
info dictionary: info字典
name(文件名) : 通常用作torrent文件的文件名
piece length(文件块长度): 每一个peace(文件块)的字节长度。为了传输的方便,bt协议把文件分成等大的文件块,除了最后一块。每一个文件块的长度通常是2的指数(bittorrent 3.2默认文件块大小是 1M)
pieces : pieces是一个字符串,它的长度是20的倍数,每一段20个字符表示对应文件块的sha1 hash值。
length和files 两个中有且只有一个会出现。当存在length key事,表示torrent种子文件只包含一个单一的文件,length表示这个文件的字节数,俗称文件长度。
当torrent种子文件包含多个文件时,files表示总的文件个数,
files : files也是一个dictionaries数据类型,它有两个key
files dictionary:
length: 文件长度,总字节数
path: 一个utf-8编码的字符串数组,最后一个字符串保存真实的文件名,前面的字符串保存文件路径。长度为0表示path字段不合法。
tracker服务器接收get请求,一个get请求由下列字段组成
tracker返回的内容是一个bencoded dictionaries数据类型,如果返回的内容包含failure reason字段,表示请求失败,failure reason包含失败的理由。如果没有failure reason字段,则返回内容必须包含interval和peers字段。interval代表客户端发起下一次请求的间隔,peers包含一个peer列表。一个peer由peer、id、ip、port组成。
bt tracker服务器可以返回一个压缩的peer列表,见 BEP 23 。
跳转到 下篇 。
本文地址: bt协议详解 基础篇(上)