资讯中心

黑帽大会2023的观察:随着人工智能的发展,我们不能忽视安全性

2025-05-14

黑帽大会2023回顾:AI与网路安全的未来

主要重点

今年的黑帽大会聚焦于AI的进展及其对安全的影响Jeff Moss对AI的观点提供了深刻的见解,强调了预测问题的重要性Maria Markstedter强调AI发展中必须解决的安全性和隐私问题随著AI技术发展,身份与访问管理变得更加重要网路安全专业人士需要掌握AI技术,来应对未来的挑战

在拉斯维加斯的另一个忙碌周末中,黑帽大会2023 带来了许多引人注目的课程和精采的讨论。我非常喜欢所有这些优秀的人和社区聚在一起,共享经验和知识的方式。

过去一年,行业发生了许多事情。其中一个最引人关注的话题是AI的进步及其对安全的影响。因此,大家对Jeff Moss即黑暗坦克的演讲充满期待,他介绍了Azeria Labs创始人Maria Markstedter的精彩主题演讲。

在Maria上台之前,Jeff分享了他对AI的看法,这是我迄今听过的最佳解释之一。他提到,AI将问题转化为预测问题,并加速分析,迅速产生可能的预测结果。因此,AI准确性需进行测量并保持透明,以便安全团队能够自信地做出决策。

Jeff还提到了一个近期的例子,Zoom改变了其服务条款,允许在线会议用于训练AI算法,且用户无法选择退出。这引发了对控制权的质疑,即公司是否希望参与AI培训模型,以及隐私方面的问题。

Maria的主题演讲强调了随著AI普及必须解决的多个重要议题。她简述了信息处理和AI的发展历史。我们经常看到,若在安全中加入得太晚,可能会导致灾难,而现在我们似乎又可能犯下相同的错误。行业一直在强调“设计即安全”和“默认安全”,那么现在的问题是我们是否将这些经验应用于AI模型和算法,还是会在事后添加保护措施。

在快速推进与谨慎应对之间总是存在挑战,但AI竞赛似乎已经开始并正全速前进。这也可能导致我们在安全方面的疏忽。未来,我们必须以负责任的态度对待AI,赋予安全行业拯救世界的使命,尤其当AI失控时。

梯子加速

这场主题演讲让我思考了训练模型以及AI训练可能成为隐私的噩梦。近年来,隐私问题已成为数字版权管理的议题,然而对于AI来说,这可能会演变成数字DNA版权管理的问题。我们可能会面临这样的问题:谁拥有我在线形象的权利?又有什么来防止AI模型克隆我的在线形象并在数字世界中创建多个版本?

黑帽大会2023的观察:随着人工智能的发展,我们不能忽视安全性

Maria还提到一个重要话题,即对AI代理的身份和访问管理的迫切需求,因为它们最终会成为需要访问神经网络、大型语言模型LLMs、数据和算法的另一种身份。我们应该允许多少访问?这是否意味著对AI代理应用最小特权原则是必要的?如何确保它们不会超越权限而失控?AI特权访问将成为一项重要的安全控制,以确保AI代理仅拥有执行最佳预测所需的最小数据集的访问权限。

Maria在演讲结尾提出了一个重要问题:AI是否会取代人