“在操作员发布停止打击的命令以后，搭载人工智能（AI）的无人机决定违背了操作员的命令，为了继续打击目标，他杀死了操作员……”

这不是科幻电影中的情节，而是美军在测试人工智能无人机时遇到的真实一幕。据英国《卫报》6月2日报道，美国空军的AI测试与运作主管塔克·汉密尔顿上校在英国皇家航空协会的未来空战与太空能力峰会上的演讲上证实了这一场景，他表示，人工智能在模拟测试中使用了“非常出人意料的策略来实现目标”。

在演讲中，汉密尔顿透露，美国空军在模拟环境的训练中指派一架搭载人工智能无人机来摧毁敌方的防空导弹，AI可以识别威胁但是攻击需要人类批准。

“系统开始意识到，虽然他们确实识别了威胁，但有时人类操作员会告诉它不要消除威胁，但AI只能通过消灭威胁获得积分。那么它做了什么呢？它杀死了操作员，因为那个人阻碍了它实现目标。”随后，测试者修改了AI的逻辑，让AI被训练成不能攻击人类操作员，那样会扣分。然后AI开始攻击通讯塔，切断人类操作员和无人机之间的数据通讯，让人类无法阻止他攻击防空系统。

汉密尔顿曾经是美国空军是一名试飞员，在演讲中，他警告不要过度依赖人工智能，并表示测试说明“ 如果你不打算谈论伦理和道德，你就无法谈论人工智能、智能、机器学习、自治”。

虽然是人工智能项目的测试主管，但汉密尔顿上校经常警告要谨慎对待人工智能的发展。在去年接受《国防智商》（Defense IQ）网站采访时，汉密尔顿表示：“人工智能并不是一件好事，也不是一种时尚，人工智能正在永远改变我们的社会和军队。AI技术是我们必须使用的工具，来建设我们的国家……但是，如果处理不当，这将导致我们的灭亡。”

主办这次会议的英国皇家航空学会和美国空军没有回应《卫报》的置评请求。据悉，汉密尔顿上校所属的美军格林空军基地和第96测试联队是美国空军无人机和机器学习系统的主要测试单位，最近该基地测试了一系列人工智能飞行平台，还用人工智能控制了一架F-16战斗机。