搜尋結果
2024年6月19日 · 据介绍，Context Caching（上下文缓存）是由 Kimi 开放平台提供的一项高级功能，可通过缓存重复的 Tokens 内容，降低用户在请求相同内容时的成本，原理如下： 官方表示，Context Caching 可 提升 API 的接口响应速度 （或首字返回速度）。 在规模化、重复度高的 prompt 场景，Context Caching 功能带来的收益越大。 Context Caching 适合于用 频繁请求，重复引用大量初始上下文 的情况，通过重用已缓存的内容，可提高效率降低费用，适用业务场景如下： 提供大量预设内容的 QA Bot，例如 Kimi API 小助手。 针对固定的文档集合的频繁查询，例如上市公司信息披露问答工具。
2024年6月18日 · 日本政府：2024年3月日本已有98.1%的应届生找到工作. 据国外媒体报道称，日本已有98.1%的应届生找到了工作，其中文科生就业率达到了97.1%。. 据日本 ...
2024年6月13日 · 一、大模型推理效率瓶颈分析. 目前主流的大语言模型都是基于Transformer架构进行设计。 通常来说，一个完整的模型架构由多个相同结构的Transformer块组成，每个Transformer块则包含多头自注意力（Multi-Head Self-Attention, MHSA）模块、前馈神经网络（Feed Forward Network, FFN）和层归一化（Layer Normalization，LN）操作。 大语言模型通常自回归（Auto-regressive）的方式生成输出序列，即模型逐个词块生成，且生成每个词块时需要将前序的所有词块（包括输入词块和前面已生成的词块）全部作为模型的输入。 因此，随着输出序列的增长，推理过程的开销显著增大。
2024年5月22日 · 微软表示，这项新的 AI 功能将能够在您观看视频时，通过配音和字幕来进行实时翻译，支持将西班牙语翻译成英语，以及将英语翻译成德语、印地语 ...
2024年5月27日 · （1）学习数据分布。 GPT通过训练，将全世界的知识压缩到万亿神经网络参数中 （参数量：GPT3达1750亿，GPT4估计约100万亿） ； （2）生成。 即基于上一步学习到的数据分布进行 采样 ，生成新的数据。 生成的过程则非常类似于系统1的直觉，毫不费力，快速而准确。 机器学习的模型使用分为 训练和推理 两个阶段，训练模型的过程类似于我们人类学习的过程比较费力，而推理阶段，只是使用训练好的模型参数进行计算，时间更短，有点类似于人的直觉。 GPT使用了混合专家（Mixture of Experts， MoEs）模型， 在相同模型参数量的情况下，8个专家会诊决策，进一步提升了表现，和本书的关系不太大，先不赘述。
2024年5月26日 · 为便于理解，下面首先介绍 DPO 的背景，然后说明 DPO 的奖励与生成所用的似然度量之间的差异，并提出一种无参考的替代奖励公式来缓解这一问题。 最后，通过将目标奖励差额项整合进 Bradley-Terry 模型中，推导出 SimPO 目标。 背景：直接偏好优化（DPO） DPO 是最常用的离线偏好优化方法之一。 DPO 并不会学习一个显式的奖励模型，而是使用一个带最优策略的闭式表达式来对奖励函数 r 进行重新参数化： 其中 π_θ 是策略模型，π_ref 是参考策略（通常是 SFT 模型），Z (x) 是配分函数。 通过将这种奖励构建方式整合进 Bradley-Terry (BT) 排名目标， ，DPO 可使用策略模型而非奖励模型来表示偏好数据的概率，从而得到以下目标：
2024年5月28日 · 当地时间5月27日，一名25岁的日本无业男子因利用互联网上公开的生成式人工智能（AI）获取非法程序信息并制作勒索型计算机病毒，被日本警视厅逮捕。 据悉，这是日本国内首次发现利用生成式人工智能制作计算机病毒的案例。 资料配图 据图虫创意. 据报道，这名被捕的男子名叫林琉辉，日本川崎市人。 2023年3月，林琉辉隐瞒编写病毒的目的，向多个生成式人工智能发出指令，让其提供非法程序信息并制作病毒。 据林琉辉陈述，他是通过互联网搜索了解到如何非法获取AI回答的方法。 林琉辉制作的 计算机 病毒是一种勒索型病毒，包含加密攻击目标数据和索求加密货币的程序。 林琉辉承认，其“一直想通过制作勒索病毒来轻松赚钱”。 目前，日本警方尚未确认该病毒是否造成了实际损害。
