搜尋結果
2024年2月1日 · Transformer的工作原理. Transformer的核心是自注意力機制，這一機制允許模型在生成輸出時評估序列內的所有單詞之間的相關性。. 這意味著模型不需要按順序逐步處理資訊，而是可以平行處理，大大加快了學習速度。. 此外，Transformer包含了多頭注意力（multi-head ...
2024年2月26日 · RAG 概念是由自然語言處理科學家 Patrick Lewis 等學者在 2020 年發表的論文 2 中所提出。 這項技術簡而言之，就是在向 LLMs 提供用戶的提示詞（prompt）之前，會先從外部的資料庫「檢索」相關資料，再將這些相關資料連同原本的提示詞提供給 LLMs 參考並「生成」回覆。 IBM 的語言技術總監 Luis Lastras 用開書考試（open-book）跟闔書考試來類比 RAG 跟模型微調的差異：「使用 RAG 系統時，你是要求模型去檢索書的內容（資料庫），而不是光依憑（模型微調）的記憶來回答問題。 」 3. 而 RAG 所使用並非傳統的資料庫，而是所謂的向量資料庫（vector database）。
2023年6月4日 · AI工程師是什麼？. 生成式AI開發應用典範轉移. 快速掌握 LLM 應用全局觀. AI工程師工作內容. AI工程師需要掌握哪些技能？. 隨著人工智慧（AI）技術的迅速發展，特別是生成式AI（如OpenAI的GPT系列）的興起，生成式AI工程師成為了一個極具前景的職業。. 但 ...
2024年3月7日 · 一、資料清理. 二、如何切割文本. 三、如何搜尋. 四、LLM 生成品質. 快速掌握 LLM 應用全局觀. 有了「長上下文 LLM」（Long-Context LLM），還需要 RAG 嗎？ RAG（Retrieval-Augmented Generation，檢索增強生成）無疑是當今開發大型語言模型（LLM）產品時，不可或缺的技術。 由於可以確保 LLM 生成的真實性，在企業 AI 應用與搜尋場景相當受到重視。 為此，我也試著實作一個簡單的 RAG 應用。 多年累積下來，我的 Apple Notes 已經有 7000 多則筆記，搜尋愈來愈不準確，常在寫新筆記時想參考舊筆記，卻怎麼也找不到。
2023年11月6日 · 如何建立自學程式的學習計劃. 1. 明確您的學習目標. 2. 設定學習時間表. 3. 選擇學習資源. 4. 實際動手練習. 5. 持續追蹤和評估進度. 6. 加入社群和尋求支持. 7. 保持耐心和積極態度. 有哪些學寫程式可利用的資源和工具. 教學網站和指南. 程式碼編輯器和開發工具. 線上程式練習平台. 實作練習的重要性. 加入社群和討論區. 程式設計持續學習與進步. 如何持續學？ 拆解目標、階段完成、要開心. 為什麼要學寫程式. 隨著科技演進，越來越多產業開始數位轉型。 所以除了軟體工程師之外，數位產業裡的其他職能角色（如 PM、行銷、設計師…等等）若能培養程式專長，也能進一步提升工作效率，增加個人能力獨特性，進而開創更好的職涯。 掌握基本的程式能力，你將能夠建立. 1.
2024年2月22日 · 運算思維的四大步驟. 1. 拆解 (decomposition) 2. 辨識規律 (pattern recognition) 3.抽象化 (abstraction) 演算法 (algorithm)設計. 生活中用到運算思維的例子. 如何培養運算思維. 總結. 我們常會聽到「演算法」和「運算思維」這兩個名詞，但卻不太了解他們實際的意涵。 演算法和運算思維，除了是學習程式的重要基礎，也能幫助你邏輯思考、解決問題。 這篇文章就用實際的範例，帶你了解演算法和運算思維是什麼？ 以及學習他們的重要性。 什麼是運算思維 (Computational Thinking)？ 運算思維是一種思考過程。 微軟研究院全球副總裁周以真（Jeannette Wing）對運算思維的定義如下：
2023年8月11日 · 本文全面解析了RAG（Retrieval-Augmented Generation）架構，它如何革新大型語言模型（LLM）Generative AI的能力，提供更準確、豐富的資訊回應。.
