搜尋結果
2024年2月29日 · 由边佑锡、金惠允 (金惠奫)主演的tvN新剧《背着善宰跑》官方近日宣布将于4月迎来首播，同时也释出了新一波剧照！ 前阵子公开的宣传影片中，两人超惊人的身高差就在网上掀起热议，加上拯救自己的偶像，甚至还和偶像谈恋爱小说般的剧情设定，更是让剧迷们很是期待~ 《背着善宰跑》改编自网络小说《明天的第一》，由导演尹钟镐、金泰烨与《女神降临》的编剧李诗恩合作打造。 剧情讲述遗憾结束生活的顶级男明星和为了救活他回到过去的女人之间奇幻爱情故事。 边佑锡饰演外貌、实力、魅力都完美的大韩民国顶级男明星「柳善宰」，出道以后从未从顶流的位置上下来，但这样的演艺界的生活也让他疲惫不堪，最终离开了人世...然而，在他正值青春灿烂的19岁时，遇到了粉丝任率，他平静的生活发生了变化。
2024年2月25日 · 宰客. 锡（Sn） 由金惠允 (金惠奫)、边佑锡主演的tvN新剧《背着善宰跑》预定4月首播，近日官方公开两人的同框宣传影片，超惊人身高差马上引发热议！ 金惠奫继《偶然发现的一天》后再度搭档高个，有网友翻出该剧之前流出的路透照，金…
- 概览
- 1.研究动机
- 2.P5模型
- 3. 实验
- 4. 评价
- 参考文献
本文首发于公众号：蘑菇先生学习记。
大家好，我是蘑菇先生。上周一位好友推荐了一篇Arxiv上全新文章：Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5) [1]。标题非常之 引人注目。将推荐系统问题用自然语言处理框架来建模，提出了一种通用的建模框架，包含：预训练(Pretrain)、个性化提示学习(Personalized Prompt)、预测(Predict)的范式(Paradigm)，简称为P5。
看到这篇文章标题的第一眼，笔者有如何疑问：
•Q1：推荐系统问题复杂多样，如何用统一的NLP框架来建模？所有类型的推荐系统问题都能建模吗？
•Q2：用NLP的方式统一建模相比于现在的主流推荐系统有什么优势？作者的研究动机是啥？
•Q3：如何将推荐系统的样本user侧、item侧特征转成NLP模型的输入，user/item特征交互如何建模？个性化Prompts长什么样，该怎么用？
推荐系统任务多样，例如：评分预测、点击率预估、转化率预估、序列推荐、推荐理由、对话系统等。不同的推荐系统任务通常需要特定的架构和学习目标进行建模。但不同任务之间实际上是有关联的，通常共享user或item集合，且上下文特征存在较大的重叠，割裂的建模方式导致不同任务之间蕴含的通用知识无法互相迁移，限制模型泛化到未知任务或样本的能力。
语言可以描述万物，当然也可以作为描述推荐系统任务的中间桥梁。受到近期关于多任务prompt学习的影响[2,3,4]，本文提出了一种通用的text-to-text的框架，称为："Pretrain, Personalized Prompt, and Predict Paradigm"(P5)，将推荐系统问题用统一的基于prompt学习的sequence-to-sequence框架进行建模。在P5中，推荐系统中的user-item交互行为数据、item的元数据、用户特征(如评论数据)被转成通用的"自然语言序列"格式，集成到个性化prompt模板中，作为模型的输入。在预训练阶段，P5使用统一的模型和目标来进行多任务预训练，因此拥有适用不同下游推荐任务的能力。下游应用时，使用自适应的个性化prompts来实现“千人千面”，能够在下游任务中实现零样本或少样本泛化，省去微调工作。
P5的核心优势在于：
•将推荐模型置身于”NLP环境“中，在个性化prompt的帮助下，重新形式化各类推荐系统任务输入为NLP语言序列。由于NLP模型在文本prompt模板特征上能够充分挖掘和表达语义，使得推荐系统可以充分捕获蕴含在训练语料中的知识。
•P5将各类推荐系统问题融合在一个统一的Text-to-Text Encoder-Decoder架构，建模成条件文本生成问题，并使用相同的语言模型损失来预训练，而不是每个任务用特定的损失函数。
•训练时使用instruction-based prompts，使得模型在下游应用时可以实现零样本或少样本泛化，比如泛化到其它领域或未见过的items，一定程度解决推荐系统的冷启动问题。
P5模型一言以蔽之，将5类推荐系统任务(序列推荐、评分预测、推荐理由、评论、topK推荐)的输入样本通过设计的个性化prompts模板进行输入转换，转成自然语言序列，作为encoder端的输入；再将样本的label进行prompt转换作为decoder端的输出，通过sequence-to-sequence的语言模型损失函数进行预训练。下游应用时，给定目标输入，通过zero-shot的prompts模板进行输入转换，输入到encoder端进行编码，通过预训练好的decoder端进行解码，得到预测值，比如：下一次交互的item、评分、推荐理由、评论title生成、topK item ID等。
总之，个性化prompts模板作为桥梁，沟通了原始推荐系统任务的样本(特征/label)到通用自然语言序列的转换。多任务预训练学习到了不同任务内特定的知识以及任务间的迁移知识。
实验部分针对不同的任务，采用该任务下的SOTA模型进行对比。比如评分预测的MF、序列推荐的GRU4REC、BERT4REC等。预训练模型采用的是T5，包括base和small两个checkpoint，分别对应P5-B和P5-S。比如实验中的P5-S(1-6)代表用small T5版本的预训练模型做参数初始化，用第1~6种prompts做样本生成。各类任务对比实验指标如下：
可以看到P5的效果比其它的SOTA模型都好不少，用zero-shot/few-shot的方式实现该效果还是很惊人的。
总体而言，笔者觉得这篇文章非常有意思，很简洁，one data format, one model, one loss for multi-task。
这个部分主要想回答开篇的Q5：在工业界具体场景中有哪些使用方式？能产生哪些可预见的收益？
笔者认为这篇文章的工作可以启发不少推荐系统应用，包括：多任务学习、多领域迁移学习、表征学习、冷启动等。文章主要是使用了zero-shot和few-shot的应用方式，但实际上也可以做特征提取器或者微调。比如：
可以考虑为每种任务或领域设计适配的个性化prompts，然后用统一的NLP模型进行多任务预训练。下游应用时，既可以zero-shot或者few-shot做召回或冷启；也可以考虑提取encoder端的输出作为通用的知识表征，作为特定推荐系统任务的特征输入，或进行微调；也可以用于改进现有的多任务多domain模型，融入这种通用对齐的多领域语义特征。
当然，对于预训练和微调的边界的说明，笔者有疑问，本质上文中说的多任务预训练，实际上是通常的prompt tuning的过程。同时缺点在于要人工设计很多prompts模板，这些模板不一定是最优的。因此，作者也提到，未来优化方向上，也可以考虑PETER类似的连续prompt learning或prompts搜索自动生成等工作。
最后，大模型和NLP/搜索推荐等结合的场景非常火，如果想更深入的学习大模型原理和实践等，推荐深蓝学院的这门课程：
[1] Geng S, Liu S, Fu Z, et al. Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)[J]. arXiv preprint arXiv:2203.13366, 2022.
[2] Vamsi Aribandi, Yi Tay, Tal Schuster, Jinfeng Rao, Huaixiu Steven Zheng, Sanket Vaibhav Mehta, Honglei Zhuang, Vinh Q. Tran, Dara Bahri, Jianmo Ni, Jai Gupta, Kai Hui, Sebastian Ruder, and Donald Metzler. 2022. ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning. In International Conference on Learning Representations.
[3] Victor Sanh, Albert Webson, Colin Raffel, Stephen Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Teven Le Scao, Stella Biderman, Leo Gao, Thomas Wolf, and Alexander M Rush. 2022. Multitask Prompted Training Enables Zero-Shot Task Generalization. In International Conference on Learning Representations.
[4] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. 2022. Finetuned Language Models are Zero-Shot Learners. In International Conference on Learning Representations.
聽. 文：ting3（常用）/ting1，傾聽、聽取、聆聽. 白：teng1，聽毋聽到（聽唔聽到） 青. 文：cing1，丹青、青煙. 白：ceng3，青BB（正字不明）、面青口唇白. 淨. 文：zing6，淨水機、潔淨、淨系. 白：zeng6，乾淨、乾手淨腳. 睏. 文：kwan3，睏倦. 白：fan3，眼睏（眼瞓）、睏覺（瞓覺） 困. 文：kwan3 ，困難、厄困、困境. 白：wan3（常作“韞”），困著在入邊（韞咗喺入邊） 邊. 文：bin1，邊緣、邊際、無邊. 白：bin6（或作“便”），左手邊、焉邊（邊邊）、入邊、方邊（香港常用，疑為“方面”之訛音） 在. 文：zoi6，現在、在此、在所難免.
2018栏杆拍遍. 踏遍青山人未老. 西什库天主堂， 也称 “北堂” ，位于北京市西城区西什库大街33号。 是京城唯一一座“勑建”的天主堂。 西什库天主堂 的 前身为建于清代初年的“救世主堂” ，原址在今中南海湖畔的“蚕池口”（今旧北京图书馆斜对面）。 据《迁建天主堂碑记》记载：“康熙年間，泰西教士航海來東，精於天文、曆算諸學，在欽天監供職。 蒙聖祖仁皇帝（即清圣祖爱新觉罗·玄烨，年号“康熙”）恩賞居住，頒賜敕建天主堂金字匾額，敬謹懸掛，以昭久遠者也”。 天主堂扵清康熙三十二年（公元1693年）开工修建，1703年建成开堂。 康熙去世后，雍正皇帝继位，颁布了禁教令，北堂因此衰落，到道光年间，北堂已被废弃。 1860年英、法联军入侵北京，清政府又将北堂用地归还给教会，并于1866年復建完工。
导读. 相信很多人都看过经典喜剧《九品芝麻官》，其原型就是“清末四大奇案”之首的“杨乃武与小白菜案”，家境殷实、天资聪慧的杨乃武为何与他人结怨？ 又是如何卷入纷争中的？ 本文将详细解读这一历史奇案的前因后果。 注：风云之声内容可以通过语音播放啦！ 读者们可下载讯飞有声APP，听公众号，查找“风云之声”，即可在线收听~ 今天我们来聊一下经典喜剧《九品芝麻官》中的案件原型。 “大清双王法，浙省两抚台”，这是“清末四大奇案”之首的“杨乃武与小白菜案”受害人之一的杨乃武于愤恨之中写下的一副对联。 只不过，这个“愤恨”尚在杨乃武蒙冤受刑之前。 杨乃武，字书勋，道光十六年，也就是1836年生于浙江余杭县（今浙江省杭州市余杭区）一户殷实之家。 天资聪慧又家境殷实的他于20岁考上了秀才，33岁考上了举人。
Foundation范迪信. 它是英国最顶尖的女校之一，也是英国极少数全寄宿女校之一，它的校友名录星光熠熠。 它是英国女王伊丽莎白二世的独生女安妮公主的母校，也是赌王女儿何超欣的母校。 它培养了：日本演员天海佑希Yuki Amami、著名律师费昂纳 Fiona Shackleton、伦敦《旗帜晚报》前任编辑 Veronica Wadley，还有前任保守党领导人的政治秘书 Rachel Whestone等各领域顶尖校友。 它就是名声显赫的Benenden School（博耐顿中学）！ 博耐顿中学. Benenden School. 国家：英国. 成立年份：1923年. 学校类型：女校. 是否寄宿：全寄宿. 入学年龄：11-18. 地理位置：伦敦东南 肯特. 交通距离：离伦敦市区一个小时车程.
