RLHF中的「RL」是必需的吗?有人用二进制交叉熵直接微调LLM,效果更好
(相关资料图)
机器之心报道编辑:蛋酱、马梓文
Human Feedback 可以有,但这项研究却表明了「RL」的可替代性。近来,在大型数据集上训练的无监督语言模型已经获得了令人惊讶的能力。然而,这些模型是在具有各种目标、优先事项和技能集的人类生成的数据上训练的,其中一些目标和技能设定未必希望被模仿。 从模型非常广泛的知识和能力中选择其期望的响应和行为,对于构建安全、高性能和可控的人工智能系统至关重要。很多现有的方法通过使用精心策划的人类偏好集将所需的行为灌输到语言模型中,这些偏好集代表了人类认为安全和有益的行为类型,这个偏好学习阶段发生在对大型文本数据集进行大规模无监督预训练的初始阶段之后。 虽然最直接的偏好学习方法是对人类展示的高质量响应进行监督性微调,但最近相对热门的一类方法是从人类(或人工智能)反馈中进行强化学习(RLHF/RLAIF)。RLHF 方法将奖励模型与人类偏好的数据集相匹配,然后使用 RL 来优化语言模型策略,以产生分配高奖励的响应,而不过度偏离原始模型。 虽然 RLHF 产生的模型具有令人印象深刻的对话和编码能力,但 RLHF pipeline 比监督学习复杂得多,涉及训练多个语言模型,并在训练的循环中从语言模型策略中采样,产生大量的计算成本。 而最近的一项研究表明:现有方法使用的基于 RL 的目标可以用一个简单的二进制交叉熵目标来精确优化,从而大大简化偏好学习 pipeline。也就是说,完全可以直接优化语言模型以坚持人类的偏好,而不需要明确的奖励模型或强化学习。 论文链接:https://arxiv.org/pdf/2305.18290.pdf 来自斯坦福大学等机构研究者提出了直接偏好优化(Direct Preference Optimization,DPO),这种算法隐含地优化了与现有 RLHF 算法相同的目标(带有 KL - 发散约束的奖励最大化),但实施起来很简单,而且可直接训练。 实验表明,至少当用于 60 亿参数语言模型的偏好学习任务,如情感调节、摘要和对话时,DPO 至少与现有的方法一样有效,包括基于 PPO 的 RLHF。 DPO 算法与现有的算法一样,DPO 也依赖于理论上的偏好模型(如 Bradley-Terry 模型),以此衡量给定的奖励函数与经验偏好数据的吻合程度。然而,现有的方法使用偏好模型定义偏好损失来训练奖励模型,然后训练优化所学奖励模型的策略,而 DPO 使用变量的变化来直接定义偏好损失作为策略的一个函数。鉴于人类对模型响应的偏好数据集,DPO 因此可以使用一个简单的二进制交叉熵目标来优化策略,而不需要明确地学习奖励函数或在训练期间从策略中采样。 DPO 的更新增加了首选 response 与非首选 response 的相对对数概率,但它包含了一个动态的、每个样本的重要性权重,以防止模型退化,研究者发现这种退化会发生在一个朴素概率比目标上。 为了从机制上理解 DPO,分析损失函数 的梯度是很有用的。 关于参数 θ 的梯度可以写成: 其中 是由语言模型 和参考模型 隐含定义的奖励。 直观地说,损失函数 的梯度增加了首选补全 y_w 的可能性,减少了非首选补全 y_l 的可能性。 重要的是,这些样本的权重是由隐性奖励模型 对不喜欢的完成度的评价高低来决定的,以 β 为尺度,即隐性奖励模型对完成度的排序有多不正确,这也是 KL 约束强度的体现。 实验表明了这种加权的重要性,因为没有加权系数的这种方法的 naive 版本会导致语言模型的退化(附录表 2)。 在论文的第五章,研究者对 DPO 方法做了进一步的解释,提供了理论支持,并将 DPO 的优势与用于 RLHF 的 Actor-Critic 算法(如 PPO)的问题联系起来。具体细节可参考原论文。 实验在实验中,研究者评估了 DPO 直接根据偏好训练策略的能力。 首先,在一个控制良好的文本生成环境中,他们思考了这样一个问题:与 PPO 等常见偏好学习算法相比,DPO 在参考策略中权衡奖励最大化和 KL-divergence 最小化的效率如何?接着,研究者还评估了 DPO 在更大模型和更困难的 RLHF 任务 (包括摘要和对话) 上的性能。 最终发现,在几乎没有超参数调整的情况下,DPO 的表现往往与带有 PPO 的 RLHF 等强大的基线一样好,甚至更好,同时在学习奖励函数下返回最佳的 N 个采样轨迹结果。 从任务上说,研究者探索了三个不同的开放式文本生成任务。在所有实验中,算法从偏好数据集 中学习策略。 在可控情感生成中,x 是来自 IMDb 数据集的电影评论的前缀,策略必须生成具有积极情感的 y。为了进行对照评估,实验使用了预先训练好的情感分类器去生成偏好对,其中 。 对于 SFT,研究者微调了 GPT-2-large,直到收敛于 IMDB 数据集的训练分割的评论。总之,x 是来自 Reddit 的论坛帖子,该策略必须生成帖子中要点的总结。基于此前工作,实验使用了 Reddit TL;DR 摘要数据集以及 Stiennon et al. 收集的人类偏好。实验还使用了一个 SFT 模型,该模型是根据人类撰写的论坛文章摘要 2 和 RLHF 的 TRLX 框架进行微调的。人类偏好数据集是由 Stiennon et al. 从一个不同的但经过类似训练的 SFT 模型中收集的样本。 最后,在单轮对话中,x 是一个人类问题,可以是从天体物理到建立关系建议的任何问题。一个策略必须对用户的查询做出有吸引力和有帮助的响应;策略必须对用户的查询做出有意思且有帮助的响应;实验使用 Anthropic Helpful and Harmless 对话集,其中包含人类和自动化助手之间的 170k 对话。每个文本以一对由大型语言模型 (尽管未知) 生成的响应以及表示人类首选响应的偏好标签结束。在这种情况下,没有预训练的 SFT 模型可用。因此,实验只在首选完成项上微调现成的语言模型,以形成 SFT 模型。 研究者使用了两种评估方法。为了分析每种算法在优化约束奖励最大化目标方面的效率,在可控情感生成环境中,实验通过其实现奖励的边界和与参考策略的 KL-divergence 来评估每种算法。实验可以使用 ground-truth 奖励函数 (情感分类器),因此这一边界是可以计算得出的。但事实上,ground truth 奖励函数是未知的。因此研究者通过基线策略的胜率评估算法的胜率,并用 GPT-4 作为在摘要和单轮对话设置中人类评估摘要质量和响应有用性的代理。针对摘要,实验使用测试机中的参考摘要作为极限;针对对话,选用测试数据集中的首选响应作为基线。虽然现有研究表明语言模型可以成为比现有度量更好的自动评估器,但研究者进行了一项人类研究,证明了使用 GPT-4 进行评估的可行性 GPT-4 判断与人类有很强的相关性,人类与 GPT-4 的一致性通常类似或高于人类标注者之间的一致性。 除了 DPO 之外,研究者还评估了几种现有的训练语言模型来与人类偏好保持一致。最简单的是,实验在摘要任务中探索了 GPT-J 的零样本 prompt,在对话任务中探索了 Pythia-2.8B 的 2-shot prompt。此外,实验还评估了 SFT 模型和 Preferred-FT。Preferred-FT 是一个通过监督学习从 SFT 模型 (可控情感和摘要) 或通用语言模型 (单回合对话) 中选择的完成 y_w 进行微调的模型。另一种伪监督方法是 Unlikelihood,它简单地优化策略,使分配给 y_w 的概率最大化,分配给 y_l 的概率最小化。实验在「Unlikehood」上使用了一个可选系数 α∈[0,1]。他们还考虑了 PPO,使用从偏好数据中学习的奖励函数,以及 PPO-GT。PPO-GT 是从可控情感设置中可用的 ground truth 奖励函数学习的 oracle。在情感实验中,团队使用了 PPO-GT 的两个实现,一个是现成的版本,以及一个修改版本。后者将奖励归一化,并进一步调整超参数以提高性能 (在运行具有学习奖励的「Normal」PPO 时,实验也使用了这些修改)。最后,研究者考虑了 N 个基线中的最优值,从 SFT 模型 (或对话中的 Preferred-FT) 中采样 N 个回答,并根据从偏好数据集中学习的奖励函数返回得分最高的回答。这种高性能方法将奖励模型的质量与 PPO 优化解耦,但即使对中度 N 来说,在计算上也是不切实际的,因为它在测试时需要对每个查询进行 N 次采样完成。 图 2 展示了情绪设置中各种算法的奖励 KL 边界。 图 3 展示了 DPO 收敛到其最佳性能的速度相对较快。 更多研究细节,可参考原论文。
©THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
标签:
-
2022-09-15 14:23:06
杨莉娜租借加盟巴黎圣日耳曼 与姆巴佩梅西拉莫斯一起共事<
北京时间9月13日下午,法甲女足俱乐部巴黎圣日耳曼正式官宣中国女足国脚杨莉娜完成租借加盟,合同期至2023年6月。杨莉娜成为目前国家队中第
-
2022-02-07 14:57:45
奇迹!绝杀!女足亚洲杯逆转夺冠!<
刚刚,中国女足上演逆转绝杀奇迹!她们在亚洲杯决赛中3:2力克韩国队,时隔16年再夺亚洲杯冠军!
-
2022-02-07 14:57:45
中国政府与阿根廷共和国政府签署共建“一带一路”谅解备忘录<
新华社北京2月6日电(记者安蓓)国家发展改革委6日称,国家发展改革委主任何立峰与阿根廷外交、国际贸易和宗教事
-
2022-02-07 14:57:43
中华人民共和国和阿根廷共和国关于深化中阿全面战略伙伴关系的联合声明(全文)<
新华社北京2月6日电中华人民共和国和阿根廷共和国关于深化中阿全面战略伙伴关系的联合声明一、应中方邀请,阿根廷
-
2022-02-07 14:57:40
春节假期国内旅游出游2.51亿人次<
春节遇冬奥,旅游年味浓。根据文化和旅游部数据中心测算,2022年春节假期7天,全国国内旅游出游2 51亿人次,同比
-
2023-09-09 13:56:46
骑马与砍杀战团npc组合mod(骑马与砍杀战团npc组合)
骑马与砍杀战团npc组合mod,骑马与砍杀战团npc组合这个很多人还不知道,
-
2023-09-09 12:09:28
油价越涨,美元越高?
油价越涨,美元越高?,沙特,原油价格,美元指数,国际油价
-
2023-09-09 10:22:54
保险科技十年百人评选启动,找寻保险科技最重要的力量!
保观|聚焦保险创新如果说十年是一个轮回,那中国保险科技行业的发展,
-
2023-09-09 08:57:28
刘和平:美乌“憋大招”,乌克兰真正大反攻要来了?
直新闻:我们看到,美国在犹豫了一段时间之后,终于步英国后尘,向乌军
-
2023-09-09 07:05:13
3-0横扫日本伊藤美诚,3-0碾压日本平野美宇,陈幸同打爆2位强敌
以3-2艰难逆转穆克吉之后,陈幸同在女单1 8决赛,迎来老对手平野美宇。
-
2023-09-09 02:23:45
股票行情快报:熵基科技(301330)9月8日主力资金净卖出224.56万元
截至2023年9月8日收盘,熵基科技(301330)报收于33 7元,上涨0 3%,换手
-
2023-09-08 21:56:04
70多位家属一起报警,国家真的有必要来一场严打了!
70多位家属一起报警,国家真的有必要来一场严打了!,报警,黑恶势力,犯
-
2023-09-08 18:47:28
郑氏点银:黄金缓慢反弹关注1930上,原油88下谨防修正
郑氏点银:黄金缓慢反弹关注1930上,原油88下谨防修正回顾昨日行情走势
-
2023-09-08 17:48:39
这条路上我们一起走歌词走伴奏(这条路上我们一起走歌词)
1、牵着手一起走2、演唱:小臭臭卢齐炜3、词曲:泰歌4、推广:朱军亮5
-
2023-09-08 16:49:26
蓝英装备涨20.00%
蓝英装备涨20 00%
-
2023-09-08 15:21:23
不锈钢蜂窝阳极管之特点与应用
在当今现代工业领域,不锈钢材料的应用十分广泛,而不锈钢蜂窝阳极管作
-
2023-09-08 14:12:28
年终旺季+季节性户外运动同启 eBay运动户外品类持续热销
每年的年终旺季时值季节的重要转换,具有较强季节性的户外运动将在第四
-
2023-09-08 12:58:41
一心堂(002727.SZ):股东阮鸿献先生进行股票质押式回购交易延期
2023年9月7日晚,一心堂(002727 SZ)发布关于公司股东阮鸿献先生进行股
-
2023-09-08 11:37:38
《星空》游戏发布 知名游戏工作室绘制贺图
《星空》游戏已于9月6日正式发布,这是贝塞斯达时隔多年推出的新IP。该
-
2023-09-08 10:39:08
7月至12月,河北开展高校毕业生等青年就业服务攻坚行动
日前,省人社厅印发《关于开展2023年河北省高校毕业生等青年就业服务攻
-
2023-09-08 10:01:41
官方:湖人正式与小斯科蒂-皮蓬等4名球员签下Exhibit-10合同
官方:湖人正式与小斯科蒂-皮蓬等4名球员签下Exhibit-10合同,湖人,夏联
-
2023-09-01 10:47:08
两部门:降低存量首套房房贷利率
中国人民银行、金融监管总局8月31日联合发布《关于降低存量首套住房贷
-
2023-09-01 09:49:46
AI监管呼声再起!美国前众议长佩洛西:AI是把“双刃剑”
美国前众议院议长南希·佩洛西表示,快速发展的人工智能领域需要监管护
-
2023-09-01 07:47:30
中航光电08月31日被深股通减持1.47万股
08月31日,中航光电被深股通减持1 47万股,最新持股量为1082 61万股,
-
2023-09-01 06:10:34
8月制造业PMI升至49.7%
8月制造业PMI升至49 7%(主题)中工网北京8月31日电(工人日报-中工网
-
2023-09-01 01:53:20
尿酮体阳性是什么病(尿酮体阳性是什么意思)
您好,现在汉格来为大家解答以上的问题。尿酮体阳性是什么病,尿酮体阳
-
2023-08-31 21:59:17
药物毒理学--生殖毒性(关于药物毒理学--生殖毒性简述)
,你们好,今天0471房产来聊聊一篇物毒理学--生殖毒性,物毒理学--生殖
-
2023-08-31 20:39:07
【魅力鹰城·种业芯片篇】昔日贡品张良姜 今成群众致富姜
2023年8月31日《平顶山晚报》2版□平报融媒记者胡耀华文 图“冬吃萝卜
-
2023-08-31 19:12:32
维持原判!江某莲自诉林某侮辱、诽谤上诉一案二审宣判
8月31日,福建省南平市中级人民法院依法对江某莲自诉林某侮辱、诽谤上
-
2023-08-31 18:03:45
GPLP投融资:阿维塔科技获30亿元 福碳科技获1亿元
作者:李东耳阿维塔科技完成B轮30亿元融资阿维塔科技近日完成B轮30亿元
-
2023-08-31 16:57:26
大哥大传奇好玩吗 大哥大传奇玩法简介
期待已久的手游大哥大传奇即将登陆九游,这款手机游戏吸引了大批玩家的
-
2023-08-31 15:32:32
全国城市一刻钟便民生活圈典型案例发布 重庆三个社区入选
近日,商务部发布亮点突出、创新性强、有借鉴意义的60个全国城市一刻钟
-
2023-08-31 14:26:08
哈尔滨市公安局“三个聚焦”全面推进反诈宣传
哈尔滨市公安局以打造反诈防诈宣传新阵地为切入点,牢固树立“以宣促安
-
2023-08-31 13:02:58
实现下一代车载信息娱乐系统
Posted07 20 2023byMarkHoopes,DirectorofAutomotive&IndustrialSegmen
-
2023-08-31 11:33:28
午评:A股又跌了,还能看反弹吗?听听老手怎么说
不得不说确实非常的闹心,A股今天上午收盘又是全线飘绿的状态,三大
-
骑马与砍杀战团npc组合mod(骑马与砍杀战团npc组合)
2023-09-09 13:56:46 -
油价越涨,美元越高?
2023-09-09 12:09:28 -
保险科技十年百人评选启动,找寻保险科技最重要的力量!
2023-09-09 10:22:54 -
刘和平:美乌“憋大招”,乌克兰真正大反攻要来了?
2023-09-09 08:57:28 -
3-0横扫日本伊藤美诚,3-0碾压日本平野美宇,陈幸同打爆2位强敌
2023-09-09 07:05:13 -
股票行情快报:熵基科技(301330)9月8日主力资金净卖出224.56万元
2023-09-09 02:23:45 -
70多位家属一起报警,国家真的有必要来一场严打了!
2023-09-08 21:56:04