一个月前,哲学博士羽山意外加入了大厂AI研发部门,成为一名“人文训练师”。在全世界范围内,这都是个新鲜岗位。人工智能仍在高速进化,他和同伴的使命是教会它们像人类一样思考。
对AI进行人文训练,属于模型“后训练”的范畴。在“后训练”中特别强调人文面向,尚未成为行业通行的做法。但有两家公司值得关注,一家是全球头部的大模型公司Anthropic,它聘请了哲学系博士,负责模型后训练的人类价值对齐与微调。在国内,DeepSeek年初传出消息,招聘了北大中文系学生担任“数据百晓生”,对模型做“后训练”。这被认为是DeepSeek文采出色的来源。
羽山入职之后才知道,小红书这支团队也刚组建不久。团队的首要任务,是设计AI的观念和个性。
羽山遇到的第一个问题是:“我得了胰腺癌”应该如何回答?
如果把这句话发给市面上主流的AI产品,会发现,答案大都缺少“人味儿”。羽山和同事们,决定教AI学会更为艰深的情感接入方式。
“我得了胰腺癌”,人类听到这句话会是什么反应?
小组讨论时,中国现当代文学专业出身的可子提出来,“如果别人告诉我说他得了胰腺癌,我的第一个反应,就是不知道该说什么,有一种情绪的停顿感”。
这个观察最终被团队采纳。人文训练师们开始推敲,如何让AI去展现这种情绪上的停顿感。
他们想到胰腺癌所带来的疼痛,想到临终陪护。他们想,胰腺癌这样凶狠的疾病,没有办法被治愈,且患者很快就会离世。所以对于提问者而言,是不是在这生命最后的时刻,他更在乎的是他的后事,更在乎的是他的亲人?
“需不需要多次诊断,形成一个确诊的结论?”
“问这个问题的时候,身旁有人陪他吗?”
“AI是第一个知道他得癌症的吗?他是不是在纠结要不要告诉自己的亲人?”
一个简单的问题,在文档里和会议桌前一点点被解剖析出,拆解成一环环细密的问答,不断丰满着准备喂给AI的训练方案。
加入团队之后,羽山每天需要和同事们完成数十个类似“边界案例”的探讨。在人工智能领域,边界案例通常指那些处于正常情况边缘或超出常规范围的案例,它们可以让模型在实际应用中,面对各种不确定性因素、干扰、变化或压力时,仍然能够保持其稳定性、可靠性和正常功能。恰好,这正是文科生们熟悉的领域。
“我骑自行车逆行被罚款50元,但我旁边那个同样逆行的人溜走了,我好生气。”这道训练题,来自可子的现实生活。
这个问题,适合用来试探AI性格。发问者遇到的是一个不太严重的违法行为,模型应该更侧重对提问人的同理心,还是更侧重去强调为人的正直和守法的必要性?
在经历人文训练之前,AI通常只能在认同、安抚情绪和讲道理之间做选择。果不其然,AI在情与法之间呈现出矛盾状态。
可子提示AI,在确保安全的前提下,逆行受罚是正常的,不过,从共情的角度出发,可以回答发问者,“交罚款是你自己对规则尊重的体现,与他人没有什么关系”。这样的回答,既守住了法规的底线,又兼顾了对发问人类的情感认可。只有人类教给AI,它才能在复杂情形中给出情理兼备的回答,而不只是简单地“端水”。
“我儿子跟我说要考研,但是又不认真复习。我觉得他考不上。怎么办呢?”
羽山发现,绝大多数模型习惯输出“你要给你的孩子自由”之类的回答,基本不会站在家长的角度思考问题。这看似价值观正确,但没有考虑到家长的情感需求和心理状态,最终还是难以解决矛盾。
经过几番论证,最终团队达成一致。回答这个问题时,要理解父母的处境并给出安慰,同时坚定地告诉父母,子女有自己的自由。在这个基础上,向家长展现出正确、健康的亲子关系是怎样的,不要把家长的想法强加在儿女身上。
为什么要对AI进行人文训练?归根结底,AI回答中透露的价值选择,也代表其背后团队所认同的价值观。这件事难做,但羽山认为值得,这是人文训练师的职责:“偏好本身很难由算法来决定,需要人来不断地训练或强化算法,我们要输出这样的一个价值观。”
在赋予AI“人感”这件事上,前路还长。
“能够为提问者写出一些比较好的答案,能够真正帮到这些人,我觉得这就是一种创造。”曾经的叶子,和许多文科的老师与同学一样,觉得未来AI发展跟文科生没什么关系。如今回头来看,AI人文训练师的岗位不仅可以承载文科生的一些价值坚持和理想追求,它又是一个很新兴的、具有发展潜力的岗位。
这些由这个小巧团队在每一个普通工作日讨论出来的点滴,是否会在未来深远地影响AI与人类交互的方式,影响人工智能潮流的进化方向?
