计算机系统安全学术会议评价与排行
Posted 白马负金羁
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了计算机系统安全学术会议评价与排行相关的知识，希望对你有一定的参考价值。
1. 中国计算机学会CCF
这个排名/评级并不完美，本文后面给出的很多排名/统计数据，都与其有冲突。个人认为，计算机系统安全领域，目前国内学术水平整体上仍然比较落后（中国大陆高校或研究单位在S&P这样的安全顶会上以第一作者单位发表的论文，每年也只有0~2篇；相比之下，美国可以保持年平均发表超过百篇的水平），所以CCF在安全领域给出的排名肯定是有瑕疵的。例如，系统安全或者计算机安全的四大顶会（号称Big4）：S&P （有时也简称Oakland，因为会议总是在Ｏakland这个地方召开）, CCS, Usenix security, NDSS（其中，CCF给NDSS的评级常年都只有Ｂ，最新的2022年版已经将NDSS调整为A类会议）。
但是，国内高校或研究机构目前还非常看重这个CCF给出的排名，所以到哪个村就唱哪个调吧。你可以参照这个排名投稿论文，但读论文的时候，还是应该参照其它排行找资料。
下面这个列表里，剔除了专攻密码学领域的会议。
中国计算机学会推荐国际学术会议
（网络与信息安全）
A类
| 会议简称 | 会议全称 | 出版社 | 网址 |
| CCS | ACM Conference on Computer andCommunications Security | ACM | http://dblp.uni-trier.de/db/conf/ccs/ |
| S&P | IEEE Symposium on Security and Privacy | IEEE | http://dblp.uni-trier.de/db/conf/sp/ |
| USENIX Security | Usenix Security Symposium | USENIX Association | http://dblp.uni-trier.de/db/conf/uss/ |
| NDSS | ISOC Network and Distributed System Security Symposium | ISOC | http://dblp.uni-trier.de/db/conf/ndss/ |
B类（四小+CSFW）
| 会议简称 | 会议全称 | 出版社 | 网址 |
| ACSAC | Annual Computer Security Applications Conference | IEEE | http://dblp.uni-trier.de/db/conf/acsac/ |
| ESORICS | European Symposium on Research in Computer Security | Springer | http://dblp.uni-trier.de/db/conf/esorics/ |
| CSFW | IEEE Computer Security Foundations Workshop | IEEE | http://dblp.uni-trier.de/db/conf/csfw/ |
| DSN | International Conference on Dependable Systems and Networks | IEEE/IFIP | http://dblp.uni-trier.de/db/conf/dsn/ |
| RAID | International Symposium on Recent Advances in Intrusion Detection | Springer | http://dblp.uni-trier.de/db/conf/raid/ |
C类 （部分）
| 会议简称 | 会议全称 | 出版社 | 网址 |
| WiSec | ACM Conference on Security and Privacy in Wireless and Mobile Networks | ACM | http://dblp.uni-trier.de/db/conf/wisec/ |
| ACNS | Applied Cryptography and Network Security | Springer | http://dblp.uni-trier.de/db/conf/acns/ |
| AsiaCCS | Asia Conference on Computer and Communications Security | ACM | http://dblp.uni-trier.de/db/conf/ccs/ |
| DIMVA | Detection of Intrusions and Malware & Vulnerability Assessment | http://dblp.uni-trier.de/db/conf/dimva/ | |
| TrustCom | IEEE International Conference on Trust, Security and Privacy in Computing and Communications | IEEE | http://dblp.uni-trier.de/db/conf/trustcom/ |
| ICICS | International Conference on Information and Communications Security | Springer | http://dblp.uni-trier.de/db/conf/icics/ |
| SecureComm | International Conference on Security and Privacy in Communication Networks | ACM | http://dblp.uni- trier.de/db/conf/securecomm/ |
| IFIP-SEC
| IFIP International Information Security Conference | Springer | http://dblp.uni-trier.de/db/conf/sec/ |
| PETS
| Privacy Enhancing Technologies Symposium | Springer | http://dblp.uni-trier.de/db/conf/pet/ |
| SOUPS | Symposium On Usable Privacy and Security | USENIX | http://dblp.uni-trier.de/db/conf/soups/ |
| EuroS&P | IEEE European Symposium on Security and Privacy | IEEE | https://dblp.org/db/conf/eurosp/index. html |
2. 谷歌学术的指标排名（【2】）
众所周知，可以使用影响因子IF指标来对学术期刊进行评价，但是学术会议则没有IF。Google Scholar 使用其统计的论文引用情况计算了h5-index （在过去5年发表文章的h-index）和 h5-median指标，并据此对计算机会议+期刊进行综合评价。Google Scholar 仅给出了入围前二十的榜单，而且是期刊和会议混合排名。此处，我们仅列出学术会议的榜单，并且剔除了其中专攻密码学领域的会议（数据统计时间为2022.12）。Big4，仍然遥遥领先，一骑绝尘，但传统的“四小”却未能进入这个榜单。
| Publication | h5-index | h5-median | |
|---|---|---|---|
| 1. | ACM CCS | 98 | 146 |
| 2. | IEEE S&P | 89 | 134 |
| 3. | USENIX Security | 84 | 136 |
| 4. | NDSS | 72 | 146 |
| 5. | Euro S&P | 46 | 70 |
| 6. | ASIACCS | 38 | 60 |
| 7. | USENIX SOUPS | 35 | 51 |
补充说明：SOUPS 在旧版CCF的列表里归类为“计算机系统与高性能计算”，2022年新版已经归为安全领域。
3. 其它排行
3.1 清华大学计算机学科群推荐学术会议（参见【5】）
A类（剔除密码学会议）
毫无疑问的 Big 4 （S&P, CCS, Usenix security, NDSS）
B类（剔除密码学会议）
第一部分是（四小+CSFW），这部分跟新版CCF列表一致：
CSFW、ESORICS、DSN、RAID、ACSAC
第二部分是CCF里面的一些C类会议，在清华的列表中归为B类（但清华没有C类）
SOUPS、PETS、DIMVA、AsiaCCS、WiSec、ACNS、IFIP-Sec
3.2 SUTD Prof. Jianying Zhou 维护的 Top Cyber Security Conferences Ranking 参见【4】
顶会仍然是毫无疑问的 Big 4 （S&P, CCS, Usenix security, NDSS）
3.3 TAMU Prof. Guofei Gu（IEEE fellow）维护的 Computer Security Conference Ranking and Statistic 参见【3】
顶会仍然是毫无疑问的 Big 4 （S&P, CCS, Usenix security, NDSS）—— 我只能说：“英雄所见略同”
4. 出自G.O.S.S.I.P小组的研究报告（【1】）
G.O.S.S.I.P小组的X5tar和Neorah和一位神秘分析师一起，统计了2021年全年安全学术会议的情况，并对排名方法进行了大幅度更新，发布了2021版的安全学术会议排行榜。
和去年相比，今年的排名我们首先基于如下一些客观事实：
- 程序委员会学术活跃度：我们认为，安全学术会议的程序委员会的成员，其自身的研究能力非常重要，因此我们参考了Top Authors, the Systems Circus（https://nebelwelt.net/pubstats/top-authors-sys_sec.html）上安全研究人员发表顶级会议论文的数目，计算出了每个参与统计的会议，其程序委员会成员人均发表顶会论文数目的多少，借此反映程序委员会在安全研究领域学术活跃的程度。
- 论文投稿数和录用数：这两项指标客观反映了学术会议的规模和活跃度；
在这些客观数据的支持下，我们同往年相比，扩大了对安全学术会议的评估，一共对26个安全学术会议进行了统计，它们是：
IEEE S&P、NDSS、USENIX Security、ACM CCS、ASIACCS、ACSAC、RAID、PETS、ACM WiSec、EuroS&P、ESORICS、DIMVA、ACNS、DSN、CODASPY、ICICS、ISC、Securecomm、Inscrypt、Trustcom、IFIP-sec
接下来，我们逐步为大家介绍这些安全会议的各项排名，最后给出我们的总排名。
4.1 程序委员会学术活跃度排名
在这一项指标中，我们很明显可以看到，传统四大顶会的PC在发表顶会论文的平均水平上非常之高：IEEE S&P作为最老牌的安全旗舰会议，在这项指标上以人均发表10.85篇顶会论文独占鳌头，而NDSS则以微弱劣势屈居第二。
| 会议 | PC人均顶会论文数 |
| IEEE S&P | 10.85 |
| NDSS | 10.61 |
| Usenix Security | 8.48 |
| ACM CCS | 7.88 |
| RAID | 7.8 |
| ASIACCS | 7.51 |
| ACSAC | 6.23 |
| WiSec | 5.7 |
| DIMVA | 5.31 |
| PETS | 4.39 |
| ESORICS | 4.38 |
| Euro S&P | 4.15 |
| ICICS | 3.25 |
| ACNS | 3 |
| CODASPY | 2.65 |
| SecureCcomm | 2.09 |
| DSN | 1.83 |
| IFIP-Sec | 0.59 |
| TrustCom | 0.36 |
4.2 录用论文认可度排名
我们在今年新引入了“录用论文认可度”这项指标，具体地，我们认为一个学术会议，其录用的论文数目和程序委员会规模应该相当，也就是说，用录用论文数目除以程序委员会的人数，结果数值越大，说明该会议的审稿人和投稿人的研究水平更为相当，也就是说，如果一个学术会议为了追求高录用率而一味拒稿，那在我们的排行榜上会得到低分（我们拒绝“超短裙”的出现）！当然，我们统计时，用录用论文数目除以程序委员会的人数，再乘以程序委员会的人均顶会论文数目，进一步考虑审稿人的水平。举个简单的例子，在2021年的IEEE S&P会议上，一共有132名PC（人均顶会数目10.84），而录用论文数是115篇，所以我们认为每篇论文平均得到了10.84 * 115 / 132的认可度。
在这项指标中，我们发现，NDSS中的录用论文获得了最高的认可度（唯一超过10），接下来是IEEE S&P和USENIX Security，同时我们注意到像ESORICS和DSN这样的CCF-B类安全会议，在这项指标上不尽如人意，排名比许多CCF-C类安全会议甚至无级别会议要差。
| 会议 | 录用论文认可度 |
| NDSS | 10.61 |
| IEEE S&P | 9.45 |
| Usenix Security | 7.32 |
| ACM CCS | 6.77 |
| ACSAC | 5.41 |
| ASIACCS | 4.82 |
| RAID | 4.46 |
| PETS | 3.3 |
| Euro S&P | 3.13 |
| WiSec | 2.85 |
| DIMVA | 2.45 |
| ESORICS | 1.68 |
| ACNS | 1.61 |
| CODASPY | 1.11 |
| ICICS | 1.09 |
| DSN | 1.07 |
| Securecomm | 0.97 |
| IFIP-Sec | 0.13 |
| Trustcom | 0.15 |
4.3 论文录用难度
很多人会用论文录用率去评估一个会议的论文录用难度，这样的衡量指标固然反映了问题，但是我们指出，除了关注录用率本身，我们也应该关注程序委员会学术活跃度，以表明投稿论文是否真正受到了安全研究社区的青睐。因此，我们用程序委员会的人均顶会论文数目除以该会议的论文录用率，来衡量该会议的论文录用难度（录用率低，表示录用难度大，如果是同样的录用率，程序委员会的学术活跃度越高，说明录用论文更为受到安全社区的关注）
我们发现，在这项指标上，传统的四大安全会议独占前四的格局被打破了！ACM AsiaCCS取代了ACM CCS，进入前四，这也说明ACM AsiaCCS在拥有一个高质量的程序委员会的同时，录用难度也是相关可观的！像ACM WiSec和DIMVA这类的CCF-C类会议，其实录用难度并不低，也侧面说明它们录用的论文质量还是相当不错的。至于传统的CCF-C类会议Trustcom，在这项指标上敬陪末座……
| 会议 | 论文录用难度 |
| IEEE S&P | 89.82 |
| NDSS | 69.88 |
| Usenix Security | 45.36 |
| ASIACCS | 39.70 |
| ACM CCS | 35.34 |
| RAID | 33.63 |
| WiSec | 25.54 |
| ACSAC | 25.39 |
| PETS | 23.34 |
| ESORICS | 21.65 |
| DIMVA | 19.18 |
| ACNS | 15.08 |
| ICICS | 13.40 |
| Euro S&P | 12.87 |
| DSN | 11.25 |
| CODASPY | 10.80 |
| Securecomm | 6.12 |
| IFIP-Sec | 2.36 |
| Trustcom | 1.28 |
4.4 综合排名
今年我们决定在综合排名上进行大胆改革，我们引入了一项和社交网络相关的指标来为入围的26个会议进行最终排名：通过将投稿数目除以程序委员会人数，再乘以程序委员会的人均顶会论文数目，计算出一个会议的“学术社群热力度”。这项指标可以这样理解，即程序委员会本身的学术质量自然是越高越好，在此基础上，每个程序委员会成员平均能够吸引到的投稿数目越多，说明该会议在整个安全学术社区的影响力越大，也越有可能吸收到最好的研究成果。
通过此项数据分析，最后我们将安全学术会议分为了甲乙两组，甲组选择了12家安全会议，剩余14家安全会议进入乙组。首先来看看甲组的12家会议是谁：
可以看到，在甲组中，尽管传统四强依然是传统四强，但四家之间的差别很明显：IEEE S&P雄踞榜首，NDSS紧随其后且分数大幅领先身后的USENIX Security，而四强中的末席——ACM CCS同其身后的追赶者——ACM AsiaCCS之间的差距已经很小了。同时，我们经过最近两年的分析，完全可以得出这样的结论，传统意义上的“四小安全会议”（即ACSAC、RAID、DSN和ESORICS）已经可以更新了，我们认为ACSAC、RAID、PETS和ACM AsiaCCS更为配得上“四小安全会议”这一称号！同时，DIMVA、EuroS&P ACM WiSec这几个（规模和研究方向上）小众的安全会议，其质量完全不亚于一些老牌会议，强烈推荐大家阅读它们的录用论文！
再来看看乙组的排名：
| 会议 | 学术社群热力度 |
| IEEE S&P | 78.25 |
| NDSS | 69.88 |
| Usenix Security | 39.16 |
| ACM CCS | 30.38 |
| ASIACCS | 25.49 |
| ACSAC | 22.08 |
| RAID | 19.22 |
| PETS | 17.56 |
| WiSec | 12.77 |
| Euro S&P | 9.71 |
| ESORICS | 8.31 |
| DIMVA | 8.85 |
在乙组中，过去两年表现不佳的老牌安全会议DSN依然雄风不再，即使在本组中作为唯一一家CCF-B类会议，也没能排名第一；而CANS和CODASPY作为没有被CCF列入会议列表的安全会议，其表现非常突出。相比而言，CCF会议列表中的Trustcom和IFIP-sec则表现十分糟糕，在我们的排名榜单上位居末尾。
| 会议 | 学术社群热力度 |
| ACNS | 8.09 |
| DSN | 6.58 |
| CODASPY | 4.53 |
| ICICS | 4.50 |
| Securecomm | 2.83 |
| Trustcom | 0.54 |
| IFIP-Sec | 0.52 |
参考文献
【2】Top publications (Google Scholar)
【3】Computer Security Conference Ranking and Statistic
【4】Top Cyber Security Conferences Ranking
【5】清华大学计算机学科群 推荐学术会议和期刊列表（TH-CPL）
【本文完】
以上是关于计算机系统安全学术会议评价与排行的主要内容，如果未能解决你的问题，请参考以下文章