Appearance
AI 风险
原文标题: AI Risks 来源: Paul Graham
💡 核心观点
Anthropic 最新 AI 模型 Mythos 在发现软件漏洞方面已超越现有所有测试方法，其进攻性网络能力接近满分，传统评估手段失效。这警示投资者：AI 生成代码的安全风险急剧上升，必须采取零信任策略并加强审查。在 AI 加速渗透各行业的背景下，网络安全支出和防御技术将成为关键投资主题，尤其是针对 AI 安全、代码审计和漏洞检测领域的公司。
📖 中文全文
这不是演习。自从我最近做了题为《人工智能在电信领域：新的攻击面》的演讲之后，有消息揭露，#Anthropic 的最新模型 #Mythos 已经能够发现过去20到30年间软件中存在的众多安全问题。事实上，它已经“饱和”了所有现有的测试方法，这些方法原本用于评估模型在进攻性网络能力方面的表现。也就是说，它的得分接近100%，因此这些测试不再能判断它的有效性。现在的问题在于，它在制造安全漏洞方面能走多远？我讨论了诸如提示注入、数据投毒以及重新调整实际模型以便通过模型操控将漏洞插入所生成代码中等概念。时间会给出答案，但正如建议的那样，我们必须对任何 #AI 代码生成采取零信任方法，并对其进行彻底测试。与此同时——保持警惕。#ainative #cybersecurity #cloudnative #anthropic #mythos