CAIDA调研报告

Posted 2022-10-29 qq_51102350

CAIDA

• 一，CAIDA是什么？
• 二，CAIDA在干什么？
• • 1，总体概述
  • 2，项目简介
  • 3，研究与分析的情况
  • 4，数据收集
• 三，深究ARK项目
• • 1，这到底是个啥？
  • 2，数据去向
  • 3，vela
  • 4，MIDAR
  • 5，测量工具
  • • ①硬件
    • ②软件
• 四，深究PANDA项目
• • 1，性质
  • 2，AS RANK
  • 3，路由测量以及推断
  • 4，对其它项目提供支持
• 五，Periscope Looking Glass API

一，CAIDA是什么？

CAIDA全称：the Center for Applied Internet Data Analysis
大本营在加州大学圣地亚哥分校。

二，CAIDA在干什么？

1，总体概述

CAIDA致力于研究AS级的拓扑结构。他的主页上提供了一些拓扑资料和相关分析。

据官网所述，CAIDA主要干四件事：

• 提供互联网基础设施、现象、运用以及演变的宏观视角
• 营造一个合作开放的数据分享和分析平台
• 完善互联网科学领域
• 公布公众科技政策

2，项目简介

CAIDA干的项目挺多，这里先粗略介绍一下其中的一部分：

• PANDA，这应该是一个我们比较关心的一个，它主要是依据客户数量制作了一个所谓的AS排名，研究网络堵塞，完善AS级数据组，研究BGPStream等。
• Ark，这个也比较重要。它现在在测量IPv4/6的稳定性，域名健康程度，收集Traceroute以及干其它一些事。
• Network Telescope主要关注的是网络安全。主要是提供一个动态的IBR（Internet Background Radiation )视图。而IBR是由一些威胁网络安全的事件造成的。
• MANIC，这个项目主要在研究网络堵塞的状况。
• IODA，主要是研究分析全球范围内的断网事件。
• Spoofer，一个开源软件，致力于保护互联网安全，有一个储存IP地址有效性的数据库。

稍后将剖析这几个项目。

3，研究与分析的情况

• 绘制反映互联网结构和行为的地图。包括：完善AS水平的网络拓扑；往地图上添加更多的经济，地理和基础设施的注释；完善互联网络路由器地图等。
• 研究互联网经济学。
• 分析网路拓扑。包括分析特定地区的拓扑缺陷；研究国家/地区的网络拓扑演变；观察分析网络劫持事件，并向研究之提供这些事件的数据等。
• 研究测量端点接口。

4，数据收集

数据来源主要是RouteViews的数据，还有它自家收集的一些数据，以及WHOIS。

CAIDA的数据资源

在这个网站上可以看到CAIDA提供的数据资源。
数据集分为三种： Ongoing ， One-time snapshot 和Complete 。
Ongoing数据集是至今仍然在收集中的，Complete数据集是已完成的Ongoing数据集， One-time snapshot 数据集中仅包含片刻的数据。
数据集中，一些是所有人都可以访问的，还有一些得向CAIDA发起表格以申请。
此外也标记了每个数据集的来源，粗略的看一下，还是它自己收集到的比较多，RouteViews也提供了相当一部分。

除了数据集，CAIDA也提供了一些相关方面的报告，论文。
而在这个链接中，可以下载到CAIDA的许多工具和软件，颇具实用价值。

三，深究ARK项目

1，这到底是个啥？

这是一个全球性的分布式测量平台，有许许多多的monitor，这些monitor马不停歇的在收集数据，收集的数据主要是关于Traceroute的，数据提供给CAIDA自己的DATASET。
总共有分布在43个国家98个AS域中的120个节点。

2，数据去向

数据主要提供给几个项目：

• The IPv4 Routed /24 Topology Dataset主要是研究IPv4网络拓扑的。
• IPv4 Prefix-Probing Traceroute Dataset对BGP前缀的traceroute进行调查。
• Ark IPv6 Topology Dataset研究IP级和AS级的网路拓扑。
• 此外，还用于研究网络堵塞以及IODA项目

它的数据不怎么向外部直接免费公开，可以在它自家的dataset中找到部分数据

这是详细的数据组界面：Ark收集的数据组

此外，Caida还提供了每一个监视器的详细数据：
在这里可以看到概览
这里可以下载数据

3，vela

vela是Caida的提供的一个请求式测量服务，向使用者提供了在ark上进行的便捷的测量，使用者可以得到请求式拓扑测量的结果。

vela主要有两个接口，一个命令行的接口，还有一个web的。

• 命令行接口。目前没有找到相关信息，官方只是提了一嘴，还在测试当中，仍然建议我们使用web api。
• web接口。使用这个接口，得填一张申请表。官方提供了一段基于python的样例代码。
  vele web api提供了四种服务：mons，ping，trace，get

以下是vela提供的几个api，每个api使用都得填申请表。

• aliasq web-api，向使用者提供了MIDAR aliases数据组
• Vela MIDAR API，提供了一个运行MIDAR的web 服务。
• 命令行接口。提供路由接口和ping的测量服务。
• web接口

4，MIDAR

供给一个互联网拓扑地图，包括接口是如何连接的以及接口属于哪一个路由器。
这个页面提供了详细的下载要求以及下载链接。

5，测量工具

①硬件

Ark的硬件基础是一个名叫Ark Internet Monitor的工具。

②软件

• Marinda。Marinda是一个元组空间，一个多对多的交流合作媒介。使用者能在上面交换注入states和triggering actions之类的信息，还能在其中写路由跟踪测试服务。Github下载
• RADclock，用于提高测量时间同步的精确性，我只能在google上找到了下载界面，官网并没有提供。RADclock下载
• scamper，一个功能强大的测量工具，支持IPv4/6，路由路径和ping。
  源码下载地址
• 还有上面介绍的vela。

四，深究PANDA项目

1，性质

PANDA是一个应用互联网数据分析的平台，提供研究者友好快捷的互联网生态系统研究工具。

2，AS RANK

PANDA项目一个比较重要的方向就是研究AS RANK。
其数据主要来源于Ark项目提供的拓扑数据以及RouteViews和RIPE NCC提供的BGP路由协议。
详细信息页
这个界面提供了UI界面，脚本以及Restful API的入口。

3，路由测量以及推断

另一个方向就是助力BGPStream发展。

BGPStream是一个能够对古往今来的BGP数据作分析的软件。

4，对其它项目提供支持

这个项目对Ark，Spoofer，MANIC，以及Periscope LookingGlass都提供了支持。

五，Periscope Looking Glass API

这个项目提供了一个能够获取Caida Looking Glass节点讯息的API，直接用python就可以获得相关讯息。其中包含关于BGP的。
但仍然还是申请才能使用。
申请链接