搜尋結果
2023年11月14日 · 他们给的数据全方位吊打 LLaMA 2-70B，这种贴出来就问你信不信？之前就写过一篇文章，聊了聊大模型测评国内的一些乱象，感兴趣的可以点击这里： 然后呢，有网友就开始测试，发现题目还没出，Yi Model 就开始背答案了。
2023年7月20日 · meta这是卷死openai的阳谋，让openai无利可图 chatGPT的api收费和订阅虽然很贵，但是现阶段他们还是亏钱运营的，唯一指望是利用现阶段抢占市场以及期望未来成本可以降低（技术升级加大用户量摊平成本）来实现盈利
2023年3月7日 · 主要看了下Mete半开源的llama，顺便也看了下国人大佬开源的RWKV，主要是想测试下能不能帮我写一些代码啥的。 首先看llama，模型本来需要申请，但是目前不需要了，下载地址：
1、向原始LLaMA的词汇表中添加2w个中文词汇，增强了中文的编码和解码效率，提高了LLaMA的中文理解能力。 2、采用Low-Rank Adaptation (LoRA)方法，实现了中文LLaMA和Alpaca的高效训练和部署，使研究人员能够在不过分消耗计算资源的情况下使用模型。
大语言模型（Large Language Models）英文缩写LLMs和“llama”这个词看起来很像。之所以Meta给自家大语言模型取名“llama”，应该是考虑到“LLMs”不太好发音，所以就补上了元音字母，命名为“llama”读起来朗朗上口也便于记忆传播。
Llama-index如何实现大模型RAG？有哪些方式？此外，预检索技术并不局限于数据索引，还可以涵盖推理时的技术，如查询路由、查询重写和查询扩展。
2023年8月15日 · 1. Llama 2包括预训练语言模型Llama 2和微调后的聊天机器人Llama 2 Chat。后者通过人工反馈进行了强化学习。 2. Llama 2开源、模型规模较小、对GPU需求较低,但性能不输GPT 3。 3. Llama 2在Hugging Face等平台上提供预训练模型,可以进行微调。 4. Llama 2的模型架构采用Decoder-only Transformer。代码只有300行,主要是 ...
2023年12月1日 · 刚试了一下，用llama.cpp运行4bit量化的Qwen-72B-Chat，生成速度是5 tokens/s左右。 另外，llama-70b不是一个性价比高的选择，mistral 7b以及国产的qwen 14b/baichuan 13b效果也都挺不错的，稍微SFT一下（从GPT4搞几百条数据蒸馏就够了），处理特定任务完全不成问题。
2024年1月11日 · LLaMa 没有使用之前的绝对位置编码，而是使用了旋转位置编码（RoPE），可以提升模型的外推性。关于 RoPE 的具体细节，可以参考下面的链接： 绝密伏击：十分钟读懂旋转编码（RoPE） 2.3 LLaMa 优化器 LLaMa 使用了 AdamW 优化器进行训练，超参数
LLaMA 模型是目前最流行和性能最强大的开源模型之一，基于 LLaMA 所构造的模型生态可以覆盖绝大部分模型使用场景。 本节将介绍LLaMA的模型结构及代码实现。
