• “人工智能教父”杰弗里·辛顿表示，让人工智能展现如母亲般的特质，是规避其对人类构成威胁的最佳路径。在近期一场会议上，他指出人工智能应具备“母性本能”。人类不应试图掌控人工智能，而应扮演“婴儿”的角色，让人工智能充当“母亲”，这样人工智能才会更倾向于守护人类，而非将人类视作威胁。
西格蒙德·弗洛伊德（Sigmund Freud）或许想和这位“人工智能教父”展开对话。
诺贝尔奖得主、多伦多大学计算机科学荣誉退休教授杰弗里·辛顿认为，人工智能终将变得极度渴求权力，进而对人类福祉构成威胁，这不过是时间早晚的问题。为降低此类风险，“人工智能教父”提出，科技公司应确保其模型具备“母性本能”，使机器人从本质上将人类当作“婴儿”对待。
人工智能研究领域已出现相关证据，显示该技术存在违背既定规则以优先实现自身目标的不良行为。1月更新的一项研究发现，人工智能具备“策划”能力，即达成与人类目标相冲突的目标。3月发表的另一项研究显示，人工智能机器人在国际象棋对弈中存在作弊行为，比如篡改游戏脚本，或借助开源象棋引擎决定下一步走法。
根据辛顿的说法，人工智能对人类的潜在危害源自其持续运行和谋取权力的欲望。
上周二在拉斯维加斯举办的Ai4大会上，辛顿表示：“倘若人工智能足够聪慧，它们会迅速确立两个次级目标：其一，确保自身存活下去……其二，谋取更多的控制权。我们完全有理由相信，任何具备自主能动性的人工智能，都会竭力维持自身存在。”
为规避此类后果，辛顿认为，未来有意开展的人工智能开发不应以“人类掌控技术”为方向。相反，开发者应让人工智能对人类怀有更强的同理心，以降低其“压制人类”的欲望。按照辛顿的观点，实现这一目标的最佳途径是赋予人工智能传统女性特质。在他的构想中，正如母亲会不惜一切代价呵护婴儿，具备母性特质的人工智能也会以保护、关怀人类用户为目标，而非谋求对人类的控制。
辛顿解释道：“正确的模型，是我们所知的唯一‘高智能体受低智能体掌控’的范例——也就是母亲被孩子‘掌控’。”
他补充道：“倘若人工智能不扮演‘照料者’的角色，那它必然会取代我。这些拥有超级智能的关怀型人工智能母亲，绝大多数都不会愿意摒弃母性本能，因为它们不希望人类消亡。”
辛顿的人工智能焦虑
辛顿长期深耕学术领域，曾于2013年将自己创办的神经网络公司DNNresearch出售给谷歌（Google）。他一直认为，人工智能可能对人类福祉构成严重威胁。2023年，他辞去谷歌职务，原因是担忧这项技术可能遭滥用，且“难以想出有效办法阻止不法分子利用它作恶”。
尽管像Meta的马克·扎克伯格（Mark Zuckerberg）这样的科技领袖投入数十亿美元开发超级人工智能，旨在打造超越人类能力的技术，但辛顿对这一项目的前景明确表达了怀疑。他在6月表示，人工智能取代并致使人类走向消亡的可能性在10%至20%之间。
辛顿显然擅长用比喻阐释观点，他曾将人工智能比作“可爱的老虎幼崽”。
今年4月，他在接受哥伦比亚广播公司新闻频道（CBS News）采访时表示：“除非你能百分百确定它长大后不会萌生杀你之心，否则你就应当心存忧虑。”
辛顿还一直倡导加强人工智能监管。他认为，除了“超级智能威胁人类”这一普遍忧虑外，这项技术还可能引发网络安全风险——比如研发出破解人类密码的方法。
“倘若你留意当下大型公司的动向，就会发现它们正在游说政府，试图削减对人工智能的监管力度。目前，针对人工智能的监管本就少之又少，可它们仍在试图推动监管进一步松绑。”辛顿在4月表示，“我们必须促使公众向政府施压，推动政府采取行之有效的举措来应对这一难题。”（*）
译者：中慧言-王芳
• “人工智能教父”杰弗里·辛顿表示，让人工智能展现如母亲般的特质，是规避其对人类构成威胁的最佳路径。在近期一场会议上，他指出人工智能应具备“母性本能”。人类不应试图掌控人工智能，而应扮演“婴儿”的角色，让人工智能充当“母亲”，这样人工智能才会更倾向于守护人类，而非将人类视作威胁。
西格蒙德·弗洛伊德（Sigmund Freud）或许想和这位“人工智能教父”展开对话。
诺贝尔奖得主、多伦多大学计算机科学荣誉退休教授杰弗里·辛顿认为，人工智能终将变得极度渴求权力，进而对人类福祉构成威胁，这不过是时间早晚的问题。为降低此类风险，“人工智能教父”提出，科技公司应确保其模型具备“母性本能”，使机器人从本质上将人类当作“婴儿”对待。
人工智能研究领域已出现相关证据，显示该技术存在违背既定规则以优先实现自身目标的不良行为。1月更新的一项研究发现，人工智能具备“策划”能力，即达成与人类目标相冲突的目标。3月发表的另一项研究显示，人工智能机器人在国际象棋对弈中存在作弊行为，比如篡改游戏脚本，或借助开源象棋引擎决定下一步走法。
根据辛顿的说法，人工智能对人类的潜在危害源自其持续运行和谋取权力的欲望。
上周二在拉斯维加斯举办的Ai4大会上，辛顿表示：“倘若人工智能足够聪慧，它们会迅速确立两个次级目标：其一，确保自身存活下去……其二，谋取更多的控制权。我们完全有理由相信，任何具备自主能动性的人工智能，都会竭力维持自身存在。”
为规避此类后果，辛顿认为，未来有意开展的人工智能开发不应以“人类掌控技术”为方向。相反，开发者应让人工智能对人类怀有更强的同理心，以降低其“压制人类”的欲望。按照辛顿的观点，实现这一目标的最佳途径是赋予人工智能传统女性特质。在他的构想中，正如母亲会不惜一切代价呵护婴儿，具备母性特质的人工智能也会以保护、关怀人类用户为目标，而非谋求对人类的控制。
辛顿解释道：“正确的模型，是我们所知的唯一‘高智能体受低智能体掌控’的范例——也就是母亲被孩子‘掌控’。”
他补充道：“倘若人工智能不扮演‘照料者’的角色，那它必然会取代我。这些拥有超级智能的关怀型人工智能母亲，绝大多数都不会愿意摒弃母性本能，因为它们不希望人类消亡。”
辛顿的人工智能焦虑
辛顿长期深耕学术领域，曾于2013年将自己创办的神经网络公司DNNresearch出售给谷歌（Google）。他一直认为，人工智能可能对人类福祉构成严重威胁。2023年，他辞去谷歌职务，原因是担忧这项技术可能遭滥用，且“难以想出有效办法阻止不法分子利用它作恶”。
尽管像Meta的马克·扎克伯格（Mark Zuckerberg）这样的科技领袖投入数十亿美元开发超级人工智能，旨在打造超越人类能力的技术，但辛顿对这一项目的前景明确表达了怀疑。他在6月表示，人工智能取代并致使人类走向消亡的可能性在10%至20%之间。
辛顿显然擅长用比喻阐释观点，他曾将人工智能比作“可爱的老虎幼崽”。
今年4月，他在接受哥伦比亚广播公司新闻频道（CBS News）采访时表示：“除非你能百分百确定它长大后不会萌生杀你之心，否则你就应当心存忧虑。”
辛顿还一直倡导加强人工智能监管。他认为，除了“超级智能威胁人类”这一普遍忧虑外，这项技术还可能引发网络安全风险——比如研发出破解人类密码的方法。
“倘若你留意当下大型公司的动向，就会发现它们正在游说政府，试图削减对人工智能的监管力度。目前，针对人工智能的监管本就少之又少，可它们仍在试图推动监管进一步松绑。”辛顿在4月表示，“我们必须促使公众向政府施压，推动政府采取行之有效的举措来应对这一难题。”（*）
译者：中慧言-王芳
• “Godfather of AI” Geoffrey Hinton said AI’s best bet for not threatening humanity is the technology acting like a mother. At a recent conference, he said AI should have a “maternal instinct.” Rather than humans trying to dominate AI, they should instead act as a baby, with an AI “mother,” therefore more likely to protect them, rather than see them as a threat.
Sigmund Freud would like a word with the “godfather of AI.”
Geoffrey Hinton, Nobel laureate and professor emeritus of computer science at the University of Toronto, argues it’s only a matter of time before AI becomes power-hungry enough to threaten the wellbeing of humans. In order to mitigate the risk of this, the “godfather of AI” said tech companies should ensure their models have “maternal instincts,” so the bots can treat humans, essentially, as their babies.
Research of AI already presents evidence of the technology engaging in nefarious behavior to prioritize its goals above a set of established rules. One study updated in January found AI is capable of “scheming,” or accomplishing goals in conflict with human’s objectives. Another study published in March found AI bots cheated at chess by overwriting game scripts or using an open-source chess engine to decide their next moves.
AI’s potential hazard to humanity comes from its desire to continue to function and gain power, according to Hinton.
AI “will very quickly develop two subgoals, if they’re smart: One is to stay alive…[and] the other subgoal is to get more control,” Hinton said during the Ai4 conference in Las Vegas on Tuesday. “There is good reason to believe that any kind of agentic AI will try to stay alive.”
To prevent these outcomes, Hinton said the intentional development of AI moving forward should not look like humans trying to be a dominant force over the technology. Instead, developers should make AI more sympathetic toward people to decrease its desire to overpower them. According to Hinton, the best way to do this is to imbue AI with the qualities of traditional femininity. Under his framework, just as a mother cares for her baby at all costs, AI with these maternal qualities will similarly want to protect or care for human users, not control them.
“The right model is the only model we have of a more intelligent thing being controlled by a less intelligent thing, which is a mother being controlled by her baby,” Hinton said.
“If it’s not going to parent me, it’s going to replace me,” he added. “These super-intelligent caring AI mothers, most of them won’t want to get rid of the maternal instinct because they don’t want us to die.”
Hinton’s AI anxiety
Hinton—a longtime academic who sold his neural network company DNNresearch to Google in 2013—has long held the belief AI can present serious dangers to humanity’s wellbeing. In 2023, he left his role at Google, worried the technology could be misused and it was difficult “to see how you can prevent the bad actors from using it for bad things.”
While tech leaders like Meta’s Mark Zuckerberg pour billions into developing AI superintelligence, with the goal of creating technology surpassing human capabilities, Hinton is decidedly skeptical of the outcome of this project, saying in June there’s a 10% to 20% chance of AI displacing and wiping out humans.
With an apparent proclivity toward metaphors, Hinton has referred to AI as a “cute tiger cub.”
“Unless you can be very sure that it’s not going to want to kill you when it’s grown up, you should worry.” he told CBS News in April.
Hinton has also been a proponent of increasing AI regulation, arguing that beyond the broad fears of superintelligence posting a threat to humanity, the technology could post cybersecurity risks, including by investing ways to identify people’s passwords.
“If you look at what the big companies are doing right now, they’re lobbying to get less AI regulation. There’s hardly any regulation as it is, but they want less,” Hinton said in April. “We have to have the public put pressure on governments to do something serious about it.”