5月底,联合国人权理事会在瑞士日内瓦开会,紧急叫停美、韩、俄、英、德、日等国各国研发“自动杀人机器人”的军备竞赛。

而在2008年,3台携带武器的“剑”式地面作战机器人,被美军部署到伊拉克后,未开一枪就被撤回来了。因为,它们将枪口对向它们的人类指挥官。

机器人会不会向人类倒戈一击,埋葬我们这个亲手创造出它们、躯体却弱于它们的智慧种族?

自从1950年科幻巨匠阿西莫夫写就《我,机器人》之后,这一直是人类的梦魇之一。从《终结者》、《黑客帝国》、《机械战警》、《太空堡垒卡拉狄加》等影视作品中,我们可以亲眼目睹可能成真的噩梦。

自主的机器人成为战争工具,难以保证不滥杀无辜,很可能会突破人类的伦理、道德底线。

联合国人权理事会特别调查员克里斯多夫海因斯认为,机器人没有感情,不会理解和辨别人类的情感,诸如复仇、惊慌、愤怒、困惑、偏见或者恐惧,并且机器人是无法识别眼前被杀戮者是敌是友。

“而且,机器人无法为自己的行为负责,不应拥有决定人类生死的权力。”

在《我,机器人》中,为了防止机器人反噬人类,阿西莫夫提出了“机器人三定律”:一、机器人不得伤害人,也不得见人受到伤害而袖手旁观;二、机器人应服从人的一切命令,但不得违反第一定律;三、机器人应保护自身的安全,但不得违反第一、第二定律。

“其实,如果武装机器人走上战场,就破坏了‘三定律’中‘不得伤害人’这一天条了。”著名科幻作家、《中国军队》杂志编委韩松说。

事实上,自主的人工智能控制的武器,已经造成了巨大惨案。《军事世界》主编陈虎告诉记者一段历史——“1988年7月3日,游弋在波斯湾的美国海军‘文森斯’号巡洋舰,发现一架伊朗民航的A300客机将飞过其上空。因为舰上防空系统当时处于全自动模式,雷达将客机识别为伊朗空军的F-14战斗机,因此自动发射了‘标准’防空导弹,直接击落客机,机上290人全部遇难,包括60多名12岁以下的儿童。”

事实上,目前还没有一套控制自动系统出错的有效措施。一旦机器人士兵的程序出错,或者被人恶意篡改,很可能造成血流成河的惨剧。

因此,美国海军的研究小组在一份研究报告中,建议为军事机器人设定严格的设计和使用“紧箍咒”,否则整个世界都可能毁于他们的钢铁之手。