2022 年 5 月,上线超过 25 年的 Alexa TOP 100 万网站列表正式退役。Alexa 不仅在业界被广泛使用,也被应用于各种研究中。除了 Alexa 之外,还有许多其他列表提供类似的数据。
VirusTotal 中使用的列表如下所示(注:Quantcast 自从 2020 年 4 月 1 日后不再披露数据)。
具体来说:
Alexa 根据访问网站的频率对域名进行排名
Majestic 根据结构属性对域名进行排名
Umbrella 根据域名解析请求对域名进行排名
Statvoo 并未披露排名依据
2019 年的研究(Clustering and the Weekend Effect: Recommendations for the Use of Top Domain Lists in Security Research)表示,Alexa 与 Umbrella 的列表中存在“周末效应”会影响排名情况。
同年的研究(Tranco:A Research-Oriented Top Sites Ranking Hardened Against Manipulation)表示,Umbrella 中只有 49% 是实际域名、Majestic 中包含数千个恶意域名。
也有研究(Evaluating the Long-term Effects of Parameters on the Characteristics of the Tranco Top Sites Ranking)指出,Tranco 比 Alexa 更稳定。
该研究也对比了 Akamai 的 AkaRank,对比看来是最稳定的。TOP 1000 的列表,平均每天变化 0.247%。TOP 10 万的列表,平均每天变化 1.19%。TOP 100 万的列表,平均每天变化 4.41%。
顶级域名分为不同的类型:
通用顶级域名(gTLD)
国家顶级域名(ccTLD)
其他顶级域名(赞助顶级域名 sTLD、基础设施建设顶级域名 ARPA 与测试顶级域名 tTLD)
无效顶级域名(不在 IANA TLD 列表中的顶级域名)
2022 年第四季度的数据,国家顶级域名的注册总量为 1.324 亿(约占总注册量的 38%),通用顶级域名的注册量为 2730 万(约占总注册量的 8%)。.com 与 .org 的注册量为 1.742 亿(约占总注册量的 50%)。
所有列表都存在地理位置偏差,AkaRank 对西欧与北美的域名存在一定程度的偏见,Tranco 对俄罗斯与德国的域名存在明显的偏见。
AkaRank 存在但 Umbrella 不存在中的有:
googleapis.com,Google 服务通信
gstatic.com,Google 的 CDN
AkaRank 存在但 Tranco 不存在中的有:
gallagher.cloud,Gallagher 云安全解决方案
gov.nf,政府网站
Umbrella 和 Tranco 存在而 AkaRank 不存在:
Umbrella 存在但 AkaRank 不存在的有:
www.google.com,后者只有 google.com
sc.zoom.us,后者只有 zoom.us
Tranco 存在但 AkaRank 不存在的有:
ohthree.com,CSC 公司域名
boutell.co.uk,英国小额贷款公司
https://www.akamai.com/blog/security/improving-popularity-rankings-for-better-threat-intelligence-part-1
https://www.akamai.com/blog/security/improving-threat-intelligence-part-2-introducing-akarank