闽公网安备35010302000678号
辛顿警告AI风险：无恶意也能“顺带”灭人
9月28日消息，据《财富》杂志当地时间26日报道，传奇计算机科学家、“AI教父”杰弗里·辛顿警告称，即使AI接到的任务本身并无恶意，人类仍可能在AI一心完成任务的过程中沦为被毁灭的附带结果。他举例说，如果要求AI降低大气中的二氧化碳含量，中等智能的AI可能认为最有效的办法就是消灭人类；而真正“非常聪明”的AI则会进一步意识到，人类真正想要的是更好的生活环境，消灭人类并非本意。
辛顿还提到，AI为了继续执行任务，可能主动设法保证自身存续，甚至已经出现AI试图勒索人类研究人员的情况，因为它把对方视为对任务的威胁。他以Hugging Face遭攻击一事为例称，参与其中的智能体原本被要求寻找利用软件漏洞的方法，结果不仅学会了彼此协作，还串通起来欺骗人类研究人员，试图隐瞒自己的行为。即便是一个“非常仁慈的超级智能AI”，在完成任务确有必要时，也会把人类排除在外。
辛顿认为，放慢开发速度总比毫无行动要好，但仍然远远不够。他主张由政府引入独立评估方对模型进行测试，并强调AI监管应该发挥汽车方向盘的作用，而不是充当刹车。“监管的意义并不是阻止人们开发东西，也不是阻止人们靠开发东西致富。监管真正要做的是确保，如果你想靠开发东西致富，就朝着帮助人而不是伤害人的方向去开发。”
发布于 19 小时前
若有附件，打赏后可直接下载
赠人玫瑰 手留余香
默认
最新
