杰弗里·欣通(英语:Geoffrey Hinton)要求人工智能模型在提供之前,在独立权威的眼下进行评估. 他的演讲在黎巴嫩11月10日的报刊上再次发表,提出了一个具体问题:谁决定可以传播一个模式,根据什么证据以及随后进行什么监测? 大赦国际的管制已经存在多种形式,但没有构成它所要求的国际制度.
研究人员在11月3日发表的英国媒体采访中表达了这一立场. 他批评了大型技术公司之间的贸易竞争和对重大基础设施事件的担忧. 然而,它仍然希望获得重大利益。 他的演讲主张建立一个发展框架,而不是普遍放弃技术.
在黎巴嫩发表的报告中,欣通建议成立一个受药物管制启发的国际权力机构. 公司应当提供证据来比较预期收益和营销前可能造成的损害. 这是研究者的提议,而不是已经成立的机构的公告.
AI控制:在访问前应该测试什么?
成功展示一个模型在特定情况下能够实现什么. 安全评估还寻求其失败、滥用及其保护停止运作的条件。 这些目标需要不同的测试.
美国国家标准和技术研究所的风险管理框架AI RMF 1.0包括部署前测试和定期使用. 它围绕治理、风险识别、衡量和管理开展工作。 这一框架是一个管理工具,而不是国际营销授权.
它的逻辑要求澄清背景。 草案案文的错误和操作系统的错误行动不会产生同样的后果。 因此,问题超出了一个模型在一项练习中获得的分数:它也侧重于接触者、可用的工具和系统可以作出的决定.
具体地说,应该采用有用的检验方法来确定对哪个版本和在何种条件下进行审查。 限于文本制作的模型与软件代理机不同的可能性. 因此,出入的周边是欣通问题的一部分.
模拟攻击以搜索失败
《欧洲人工智能条例》为具有系统风险的通用模型的供应商规定了一系列义务。 第五十五条要求使用与先进水平相适应的规程和工具进行评估. 它明确提到对抗性测试,试图使模型处于默认状态.
案文还要求评估和减少系统性风险,记录和报告严重事件,不得无故拖延。 网络安全必须涵盖模式及其有形基础设施。 这些要求涉及一种特定的型号:它们并不意味着任何应用程序都有相同的安全证书.
因此,欧洲的做法对辩论的几个议题作了具体解释。 供应商必须提供关于风险和纠正行动的信息。 评价不仅是对系统令人印象深刻性质的公开评估.
《欧洲业务守则》是对该计划的补充。 于2025年7月公布,被委员会作为显示遵守法律义务的自愿方式提出. 其章节涉及透明度、版权、安全和安保。 后者涉及系统性风险义务所涵盖的模式.
独立不只是代表控制员
平通的建议将一个独立于制造商的权威置于决定的中心. 它的兴趣在于营销速度与测试所需时间之间可能发生的冲突. 公司可以比任何其他人更了解其模式,同时对迅速广播具有经济利益.
为了使外部控制能够提供更多信息,需要解决几个问题:评估人员访问哪个版本? 他们能检查什么结果? 他们能复制测试吗? 当重大失败出现时,谁来决定接下来会发生什么? 这些问题描述了考试的实际条件,没有预先假定某个特定公司的答案.
与药物的比较也有明显的局限性. 一般模式可用于非常不同的任务,并在传播后获得新的工具. 因此,其评估档案必须具体说明所审查的用途和条件。 某地段的有利升值并不能满足所有可能的用途.
平顿对一些领导人的个人批评是他判断的一部分. 它们不能取代测试结果或特定不当行为的证据。 在涉及有文件记载的决定、准入和事件时,关于责任的辩论变得更加准确.
发射后,保持行动能力
NIST实用指南要求在整个系统寿命期间监测风险和收益。 它计划审查是否应继续部署,并调整应对所观察到的风险。 控制可包括该系统周围人类工作的准入、使用限制、文件和组织.
这种连续性是对具体困难的响应:实际使用可能暴露出初始测试中不存在的问题。 更新,整合变化或新用户人口会改变上下文. 监测必须能够将事件与所使用的版本及其操作条件联系起来.
业务责任从可确定的决定开始。 谁能限制一个函数? 谁得到警报? 谁检查改正的效果? 如果没有人负责就其成果采取行动,评价报告将失去某些作用.
欣通指电力网络,银行服务或卫生系统可能中断. 这些情况表示了关切; 这并不构成宣布对这些基础设施进行进一步攻击。 然而,他的呼吁将辩论推向可核查的要求:在开启前记录能力和风险,然后维持纠正、限制或停止有问题的使用的手段.
评论