搜尋結果
2024年2月29日 · 由边佑锡、金惠允 (金惠奫)主演的tvN新剧《背着善宰跑》官方近日宣布将于4月迎来首播，同时也释出了新一波剧照！ 前阵子公开的宣传影片中，两人超惊人的身高差就在网上掀起热议，加上拯救自己的偶像，甚至还和偶像谈恋爱小说般的剧情设定，更是让剧迷们很是期待~ 《背着善宰跑》改编自网络小说《明天的第一》，由导演尹钟镐、金泰烨与《女神降临》的编剧李诗恩合作打造。 剧情讲述遗憾结束生活的顶级男明星和为了救活他回到过去的女人之间奇幻爱情故事。 边佑锡饰演外貌、实力、魅力都完美的大韩民国顶级男明星「柳善宰」，出道以后从未从顶流的位置上下来，但这样的演艺界的生活也让他疲惫不堪，最终离开了人世...然而，在他正值青春灿烂的19岁时，遇到了粉丝任率，他平静的生活发生了变化。
- 概览
- 1.研究动机
- 2.P5模型
- 3. 实验
- 4. 评价
- 参考文献
本文首发于公众号：蘑菇先生学习记。
大家好，我是蘑菇先生。上周一位好友推荐了一篇Arxiv上全新文章：Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5) [1]。标题非常之 引人注目。将推荐系统问题用自然语言处理框架来建模，提出了一种通用的建模框架，包含：预训练(Pretrain)、个性化提示学习(Personalized Prompt)、预测(Predict)的范式(Paradigm)，简称为P5。
看到这篇文章标题的第一眼，笔者有如何疑问：
•Q1：推荐系统问题复杂多样，如何用统一的NLP框架来建模？所有类型的推荐系统问题都能建模吗？
•Q2：用NLP的方式统一建模相比于现在的主流推荐系统有什么优势？作者的研究动机是啥？
•Q3：如何将推荐系统的样本user侧、item侧特征转成NLP模型的输入，user/item特征交互如何建模？个性化Prompts长什么样，该怎么用？
推荐系统任务多样，例如：评分预测、点击率预估、转化率预估、序列推荐、推荐理由、对话系统等。不同的推荐系统任务通常需要特定的架构和学习目标进行建模。但不同任务之间实际上是有关联的，通常共享user或item集合，且上下文特征存在较大的重叠，割裂的建模方式导致不同任务之间蕴含的通用知识无法互相迁移，限制模型泛化到未知任务或样本的能力。
语言可以描述万物，当然也可以作为描述推荐系统任务的中间桥梁。受到近期关于多任务prompt学习的影响[2,3,4]，本文提出了一种通用的text-to-text的框架，称为："Pretrain, Personalized Prompt, and Predict Paradigm"(P5)，将推荐系统问题用统一的基于prompt学习的sequence-to-sequence框架进行建模。在P5中，推荐系统中的user-item交互行为数据、item的元数据、用户特征(如评论数据)被转成通用的"自然语言序列"格式，集成到个性化prompt模板中，作为模型的输入。在预训练阶段，P5使用统一的模型和目标来进行多任务预训练，因此拥有适用不同下游推荐任务的能力。下游应用时，使用自适应的个性化prompts来实现“千人千面”，能够在下游任务中实现零样本或少样本泛化，省去微调工作。
P5的核心优势在于：
•将推荐模型置身于”NLP环境“中，在个性化prompt的帮助下，重新形式化各类推荐系统任务输入为NLP语言序列。由于NLP模型在文本prompt模板特征上能够充分挖掘和表达语义，使得推荐系统可以充分捕获蕴含在训练语料中的知识。
•P5将各类推荐系统问题融合在一个统一的Text-to-Text Encoder-Decoder架构，建模成条件文本生成问题，并使用相同的语言模型损失来预训练，而不是每个任务用特定的损失函数。
•训练时使用instruction-based prompts，使得模型在下游应用时可以实现零样本或少样本泛化，比如泛化到其它领域或未见过的items，一定程度解决推荐系统的冷启动问题。
P5模型一言以蔽之，将5类推荐系统任务(序列推荐、评分预测、推荐理由、评论、topK推荐)的输入样本通过设计的个性化prompts模板进行输入转换，转成自然语言序列，作为encoder端的输入；再将样本的label进行prompt转换作为decoder端的输出，通过sequence-to-sequence的语言模型损失函数进行预训练。下游应用时，给定目标输入，通过zero-shot的prompts模板进行输入转换，输入到encoder端进行编码，通过预训练好的decoder端进行解码，得到预测值，比如：下一次交互的item、评分、推荐理由、评论title生成、topK item ID等。
总之，个性化prompts模板作为桥梁，沟通了原始推荐系统任务的样本(特征/label)到通用自然语言序列的转换。多任务预训练学习到了不同任务内特定的知识以及任务间的迁移知识。
实验部分针对不同的任务，采用该任务下的SOTA模型进行对比。比如评分预测的MF、序列推荐的GRU4REC、BERT4REC等。预训练模型采用的是T5，包括base和small两个checkpoint，分别对应P5-B和P5-S。比如实验中的P5-S(1-6)代表用small T5版本的预训练模型做参数初始化，用第1~6种prompts做样本生成。各类任务对比实验指标如下：
可以看到P5的效果比其它的SOTA模型都好不少，用zero-shot/few-shot的方式实现该效果还是很惊人的。
总体而言，笔者觉得这篇文章非常有意思，很简洁，one data format, one model, one loss for multi-task。
这个部分主要想回答开篇的Q5：在工业界具体场景中有哪些使用方式？能产生哪些可预见的收益？
笔者认为这篇文章的工作可以启发不少推荐系统应用，包括：多任务学习、多领域迁移学习、表征学习、冷启动等。文章主要是使用了zero-shot和few-shot的应用方式，但实际上也可以做特征提取器或者微调。比如：
可以考虑为每种任务或领域设计适配的个性化prompts，然后用统一的NLP模型进行多任务预训练。下游应用时，既可以zero-shot或者few-shot做召回或冷启；也可以考虑提取encoder端的输出作为通用的知识表征，作为特定推荐系统任务的特征输入，或进行微调；也可以用于改进现有的多任务多domain模型，融入这种通用对齐的多领域语义特征。
当然，对于预训练和微调的边界的说明，笔者有疑问，本质上文中说的多任务预训练，实际上是通常的prompt tuning的过程。同时缺点在于要人工设计很多prompts模板，这些模板不一定是最优的。因此，作者也提到，未来优化方向上，也可以考虑PETER类似的连续prompt learning或prompts搜索自动生成等工作。
最后，大模型和NLP/搜索推荐等结合的场景非常火，如果想更深入的学习大模型原理和实践等，推荐深蓝学院的这门课程：
[1] Geng S, Liu S, Fu Z, et al. Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)[J]. arXiv preprint arXiv:2203.13366, 2022.
[2] Vamsi Aribandi, Yi Tay, Tal Schuster, Jinfeng Rao, Huaixiu Steven Zheng, Sanket Vaibhav Mehta, Honglei Zhuang, Vinh Q. Tran, Dara Bahri, Jianmo Ni, Jai Gupta, Kai Hui, Sebastian Ruder, and Donald Metzler. 2022. ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning. In International Conference on Learning Representations.
[3] Victor Sanh, Albert Webson, Colin Raffel, Stephen Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Teven Le Scao, Stella Biderman, Leo Gao, Thomas Wolf, and Alexander M Rush. 2022. Multitask Prompted Training Enables Zero-Shot Task Generalization. In International Conference on Learning Representations.
[4] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. 2022. Finetuned Language Models are Zero-Shot Learners. In International Conference on Learning Representations.
白：bin1（常作“邊”），焉道（其實就是“邊度”的“邊”！！！） 惜 文：sik7，惜時、可惜、惜取 白：sek8(常作“錫”)，愛惜(愛錫)、痛惜(痛錫) 嚮 文：heung3 嚮導 白：heung2 嚮焉道(嚮邊度)、嚮往 （“嚮”在簡體字中已與“向”合併，但“向”並無文白異讀 ...
2023年4月9日 · 在我们所有的海内外华人当中，有四个姓氏他们使用的是“通天家谱”，并且是一份完全相同的通天家谱，也就是说这 4 个姓氏他们的辈分都是完全相同的，这四姓就是大家所熟知的孔、孟、颜、曾。. 在开始的时候，我们先说说什么是“通天家谱”。. 就是家谱 ...
科研话题下的优秀答主. 关注风云之声 提升思维层次. 导读. 相信很多人都看过经典喜剧《九品芝麻官》，其原型就是“清末四大奇案”之首的“杨乃武与小白菜案”，家境殷实、天资聪慧的杨乃武为何与他人结怨？ 又是如何卷入纷争中的？ 本文将详细解读这一历史奇案的前因后果。 注：风云之声内容可以通过语音播放啦！ 读者们可下载讯飞有声APP，听公众号，查找“风云之声”，即可在线收听~ 今天我们来聊一下经典喜剧《九品芝麻官》中的案件原型。 “大清双王法，浙省两抚台”，这是“清末四大奇案”之首的“杨乃武与小白菜案”受害人之一的杨乃武于愤恨之中写下的一副对联。 只不过，这个“愤恨”尚在杨乃武蒙冤受刑之前。 杨乃武，字书勋，道光十六年，也就是1836年生于浙江余杭县（今浙江省杭州市余杭区）一户殷实之家。
回焊爐 (reflow)的目的是熔融錫膏並形成非金屬共化物 (IMC)於零件腳與電路板，也就是焊接電子零件於電路板之上，其溫度的上升與下降的曲線 (temperature profile)往往影響到整個電路板焊接的品質，根據焊錫的特性，一般的迴焊爐會設定預熱區、浸潤區、迴焊區、冷卻區來達到最佳的焊錫效果。 以目前無鉛製程的SAC305錫膏，其融點大約為217℃左右，也就是說回焊爐的溫度至少要高於這個溫度才能重新熔融錫膏，另外回焊爐中的最高溫度最好不要超過250℃，否則會有很多零件因為沒有辦法承受那麼高的溫度而變形或融化。 基本上電路板經過迴焊爐以後，整個電路板的組裝就算完成了，如果還有手焊零件例外，剩下的就是檢查及測試電路板有沒有缺損或功能不良的問題而已。
01. 海外权威媒体： “如果我们再年轻，我们一定会去那里” 女孩们离开的时候，收获的不仅仅是优异的考试成绩。 ——Tatler School Guide. 传统的女子寄宿带来了鲜明的最新潮流，抛弃了不好的东西，保留了所有好的东西，并增加了更多创意。 这是一个令人兴奋和吸引人的地方: 如果我们再年轻，我们一定会去那里。 ——The Good School Guide. 02. 英式庄园般的学校环境，令人心旷神怡. 肯特被人们称为“英格兰的花园”，风景优美。 Benenden也因此有着得天独厚的地理环境，占地240公顷，建筑以红砖结构为主，房子宽敞明亮，优雅美丽，树林和草地一望无际，让人心旷神怡。
&ck=5AED5FC08E3E943CB2F0CDF7C34D04D3&idpp=rc&idpview=singleimage&form=rc2idp "邊佑錫1")
&ck=1EA43CE691456C7682A039F1E56CA3CB&idpp=rc&idpview=singleimage&form=rc2idp "邊佑錫2")
&ck=FFE49017320327A8BEB6AEC4A8C89F5B&idpp=rc&idpview=singleimage&form=rc2idp "邊佑錫3")
&ck=FC3397F91F9870E93F207599ED739A48&idpp=rc&idpview=singleimage&form=rc2idp "邊佑錫4")
&ck=AC8ACC2DD51B8FF60EE88D6AF6D93741&idpp=rc&idpview=singleimage&form=rc2idp "邊佑錫5")
