Enabling Network Security Through Active DNS Datasets
摘要
大多数现代网络犯罪利用域名系统（DNS）来实现高水平的网络敏捷性，并使对互联网滥用的检测具有挑战性。大多数恶意软件代表了非法互联网操作的关键组成部分，它们被编程为通过DNS查找来定位其命令和控制（C＆C）服务器的IP地址。为了使恶意基础设施既灵活又富有弹性，恶意软件作者通常使用复杂的通信方法，利用DNS（即域生成算法）进行活动。一般而言，互联网犯罪分子广泛使用短期可支配领域来推广各种各样的威胁并支持其犯罪网络运营。
为了有效打击互联网滥用，安全社区需要访问免费提供和开放的数据集。此类数据集将支持开发新算法，从而实现现代互联网威胁的早期检测，跟踪和整体生命周期。为此，我们创建了一个系统Thales，它可以从各种种子中主动查询和收集大量域名的记录。这些种子是从多个公共来源收集的，因此没有隐私问题。这项工作的成果将打开并免费提供给研究界。通过三个案例研究，我们展示了收集的活动DNS数据集包含的检测优势。我们表明，（i）公共黑名单（PBL）中超过75％的域名提前几周（有些案例几个月）出现在我们的数据集中，（ii）现有的DNS研究可以仅使用活动DNS实现， （iii）可以使用活动DNS提供的信号识别恶意活动。
研究点的提出
- 网络犯罪利用DNS的情况十分普遍，并且DNS滥用也很常见。
- 一般网络管理员使用DNS 黑名单，但是静态黑名单局部性激励着很多系统实现。但是这些系统依赖于有效的被动DNS收集数据集，这些数据难以获取。研究界需要一个系统、开放、免费的数据集来支持对对安全威胁的认识和研究。
- 开发了一个DNS开放性数据集和系统：http://www.activednsproject.org/
知识点
1. DNS怎样被恶意软件利用？
描述命令和控制（C2）信标如何在DNS上运行，以及数据如何渗透和泄露？
如果客户端系统上恶意植入载荷通过DNS基础设施反复向恶意软件控制端的服务器发送查询，则恶意软件控制者可以从日志中判断出恶意植入载荷正在运行
如上图所示，该恶意软件正在构建通过DNS发送奇怪外观的查询字符串。 像这样的查询仍然充当心跳指示敌人他们的恶意载荷仍然是活跃的，但是他们还提供关于受害者的一些基本元数据，并且更重要的是，其提供了唯一地识别一个受害者的方式。
NAT转换机制导致可能出现多个相同IP，但是系统确实可以使用通用唯一标识符（UUID）或其他属性，或者这些属性组合在一起来创建唯一标识符，以此来给主机或受害者命名。
参考：
[DNS 隧道: DNS怎样被恶意软件利用][1]
[1]:https://bbs.pediy.com/thread-250230.htm
论文内容
- 提出了一个可以可靠地查询，收集和提取活动DNS数据集的系统Thales，不包含任何敏感信息；系统每天生成超过1 TB的未处理DNS PCAP以及数十GB的重复数据删除DNS记录
- 提供了新收集的活动DNS数据集与从大型大学网络收集的被动DNS之间的深入比较。actibe DNS数据集提供了更大的广度（即，扩展到IPv4，IPv6和DNS空间的更大部分）。相反，被动DNS在查询的域名与剩余的IP和DNS基础结构之间产生更密集的图形。
- 过几个案例研究，实际探索如何使用主动DNS来提高现代网络的安全性
数据集
active DNS 数据收集工作——Thales
目标：生成活动DNS数据集，每天多次提供DNS基础架构的系统快照。
- a) 流量生成器：使用域名种子列表生成大量的DNS请求
- b)数据收集器：收集网络流量，对这些原始DNS数据做清洗准备
Domain seed:多年来收集的可公开访问的域名和URL来源的集合、Common-Crawl dataset爬虫
公开黑名单：
- Abuse.ch 2
- Malware DL 9
- Blackhole DNS 8
- sagadc 10
- hphosts 6
- SANS 11
- itmate 1
实验内容
数据收集后与被动DNS数据集对比工作
数据集： 被动DNS数据集的收集
- 匿名client 和本地解析器
- 本地解析器和上层解析器
活动的DNS数据提供了更大的覆盖范围（即，更大的数量和更多种类的记录），但被动DNS数据提供了更密集，更紧密连接的图
active DNS 使用案例
- 增加公开的黑名单：active DNS可以用作原始数据集的潜在来源，可用于及时检测域滥用
- 利用Thales收集到的数据可以在它们没有被识别成具体的恶意软件之前揭露其滥用信号
- 两个重要的日期：第一天被Thales探测到的日期；被其他黑名单加入的时间
- 比较不同黑名单某个域名出现的日期和系统检测出这个域名出现的日期
- 加强域名剩余信任变化的检测
- 识别由于到期或其他原因导致的所有权变更是防止滥用剩余信任的重要问题
- 大量收集WHOIS超出限制
- 在不可路由的IP空间中跟踪恶意域名
- 保留未分配的IP块
创新点 & 不足
- 利用现有公布的list资源等，主动方式获取DNS数据集，为研究提供了很好的帮助
- 主动式收集比被动DNS数据收集覆盖范围更加广泛
- 与censys等开源扫描项目相比，censys它们没有设计扫描IPv4地址空间内的域名，我们包括更多的细节
