Kad网络点资源探测研究

Kad

网络节点资源探测分析

?

刘祥涛

1, 2

，龚才春

3

，刘悦

1< /p>

，白

硕

1

1

（中国科学院计算技术研究所

北京

100190

）

2

（中国科学院研究生院

北京

100190

）

3

（北京市计算中心

北京

100005

）

摘

要

Kad

网络中存在数以亿计的共享资源，而其中有相当一部分可被评 定为敏感资源。首先用我们的

Kad

网络采集器：

Rainbow

对节点拥有的文件资源进行探测；然后对节点资源和敏感资源 进行相关统计分

析。我们发现：

1)

文 件流行度和文件所对应的文件名数量都近似符合

Zipf

分布；

2)

利用同一个“文件内容

哈希”

(

即

file-content-hash )

的多个文件名的共现词可以更准确地进行敏感判别；

3)

敏感资源占随机样本的

6.34%

，且敏感 资源中

74.8%

为

video

文件。

关键词

对等 网络；

Kad

网络；探测分析；敏感资源

Peer Resource Measurement and Analysis in Kad

Network

LiuXiang-Tao

1,2

, Gong Cai-Chun

3

,Liu Yue

1

,BaiShuo

1

1(Institute of Computing Technology, Chinese Academy of Sciences,Beijing 100190)

2(GraduateUniversity, Chinese Academy of Sciences,Beijing 100190)

3(Beijing Computing Center,Beijing 100005)

Abstract

In Kad network, there are hundreds of millions of shared resources, among which a considerable part can

be rated as sensitive resources. Firstly, the file resources of peers are measured using our Kad-network crawler:

Rainbow,

then,

those

resources

and

sensitive

resources

are

statistically

analyzed.

We

find

that:

1)both

the

popularity of files and the number of filenames corresponding to a file approximately fit Zipf distribution

。

2) the

sensitivity of files can be judged more accurately using co-occurrence-words in multiple filenames corresponding

to

the

same

file- content-hash

。

3)

sensitive

resources

only

occupy6.34%

of

random

sample,

and

74.8%

of

sensitive resources are video files.

Keywords

Peer-to-peer network

。

Kad network

。

measurement and analysis

。

sensitive resource

1

引言

eMule

网络

[1]

是一种混合类型的文件共享对等网络，它由两部分：集中式网络和纯分布

式网络 组成。其中纯分布式网络采用了

Kademlia

协议

[2]

，是

eMule

网络的主要组成部分。

一般来说，采用

Kademlia

协议的

eMule

网络称为

< br>Kad

网络。

Ipoque

2 008~2009

年度的因特

网流量报告表明：依地理位置的不 同，

eMule

占

P2P

流量的

2%~47%

，占因特网流量

?

基金工程：

本课题得到国家自然科学 基金（

No.60803085, No. 60873245

）；国家高技术研究发展计

划

(863

计划

)

（

2006AA01Z452< /p>

）的资助。

作者简介：

刘祥涛，男，

1977

年生，博士研究生，研究方向：

P2P

网络安全，数据挖掘等，

Ema il

：

liuxiangtao@

.

龚才春 ，男，

1978

年生，博士，研究方向：信息检索，数据挖掘等

.

刘悦，女，

1971

年生，副研究员，研究方向：信息检索，社区挖掘与分析，分布式计算等

.

白硕，

男，

1956

< br>年生，博士，研究员，博士生导师，研究方向：自然语言处理，网络安全等

.

1%~26%

[3]

，且呈上涨趋势

[4][5]

。

Kad

网络为不健康内容的传播提供了方便，在

Kad

网络中存在数百万的共享资源，其

中有相当一部 分不合适让特定人群观看，我们称这些资源为敏感资源。所以对

Kad

< br>网络中

的共享资源进行探测分析是相当必要的，这样不仅可以了解敏感资源的扩散 程度，也可以

为不健康内容的过滤做好铺垫工作。从而减少特定人群受不健康内容侵蚀的 影响，有助于

社会精神文明建设。

Kad

网络的探测分析存在如下挑战：

?

虽然对等网络爬虫研究已经取得了 较大进展

[6][9][10][11]

，但直到现在，也不存 在一

个可以探测“节点”即被指定了一定标识的物理机器的

共享 资源

的爬虫；

?

节点资源名是多语言的，比如英语 、中文、日语、韩语、法语、西班牙语等，给

资源的敏感判别增加了难度；

?

节点资源名通常都较 短，从而其特征往往不足以判定其是否为敏感资源。

针对上述挑战：

?

在已有对等网络爬虫的工作基础上 ，设计和实现可以采集节点资源的爬虫；

?

本文只对中文、英语和其他易判资 源进行敏感判别和统计分析，但是分析方法也

适用于其他语言；

?

采用两种增加文件名特征的方法。

a)file- content-hash

是通过哈希文件内容获得的

128< /p>

位标识符。一个

file-content-hash