搜尋結果
2024年2月1日 · Transformer模型概述. Transformer模型是基於自注意力機制（self-attention mechanism）的一種架構，它能夠在處理序列數據時，同時考慮序列中的所有元素，這種全局視角使得Transformer在多個領域特別有效。 與傳統的遞歸神經網路（RNN）或卷積神經網路（CNN）相比，Transformer顯著提高了處理速度和效率，尤其是在處理長序列數據時。 Transformer的工作原理. Transformer的核心是自注意力機制，這一機制允許模型在生成輸出時評估序列內的所有單詞之間的相關性。 這意味著模型不需要按順序逐步處理資訊，而是可以平行處理，大大加快了學習速度。
2024年2月26日 · 在我 前一篇分享 OpenAI 研究員 Andrej Karpathy 介紹 LLMs 的文章 曾介紹到，通常 LLMs 的訓練會經過兩個階段：產出基本模型（base model）、曠日廢時且需要投入大量資源的「預訓練」階段，以及後續頻繁進行的「模型微調（fine-tuning）」階段。 在上述的訓練過程中，若希望 LLMs 理解特定領域的知識，就得從模型微調的階段下手，將特定領域的專業知識輸入基本模型進行訓練。 但模型的微調不僅得仰賴硬體的運算，且無法很快地將公司或組織的新資料納入模型之中，這都會對客製化 LLMs 的落地應用形成限制。 而 RAG 就能夠突破上述的限制。 RAG 概念是由自然語言處理科學家 Patrick Lewis 等學者在 2020 年發表的論文 2 中所提出。
2024年2月1日 · Stable Diffusion 安裝步驟. 第1步：安裝Python和Git. 首先，您需要安裝Python 3.10.6，這是運行Stable Diffusion所必需的。 您可以從 Python官方網站 下載安裝。 若安裝過程中遇到困難，可以參考我們的 Python安裝教程 。 在命令提示符中輸入 python 並執行，以確認Python版本正確安裝。 若未顯示Python 3.10.6，請卸載電腦中的其他Python版本。 接著，安裝Git，這是一個代碼庫管理系統，用於版本控制和協作。 您可以通過 Git安裝教程 進行安裝，並可參考我們的 Git入門課程 以深入了解Git。 第2步：創建GitHub和Hugging Face帳戶.
2024年3月7日 · 本文會先簡單介紹 RAG 的原理與優勢，接著分享我的實作經驗（相關的教學文章連結我整理在文末），並討論 RAG 應用產品化過程中可能面臨的問題。 在文章最後，則會進一步探討：當 LLM 具備長文本理解能力，可以讓我們把資料全部塞進 prompt 裡，此時還需要 RAG 嗎？ RAG 是什麼？ RAG 解決了大型語言模型（LLM）實際應用時的兩大侷限：幻想（hallucination）與資料時限。 RAG 結合「資訊檢索（retrieval）」和「生成（generation）」：在文本生成之前，先從資料庫中檢索相關的資料放入上下文，以確保 LLM 可依照正確的最新資訊生成結果。 看似複雜，其實相當直覺——既然大型語言模型受限於缺乏最新資料，那我們就在生成時，提前準備好「小抄」，讓它照著回答。
2024年1月29日 · 自學程式正夯，但你一定也遇過這些問題：怎麼知道學會了？. 學了真的就可以找到工作嗎？. 怎麼持續學？. 一直撞牆怎麼辦？. 這次職涯相談室請來兩位教學經驗豐富的程式開發前輩 Jack 和維元，帶大家從「自學程式的 7 個 FAQ」，來一一破解你的迷思和誤區 ...
2023年6月4日 · 生成式AI工程師專注於設計、開發和應用生成式人工智慧模型。這些模型能夠基於給定的數據生成新的內容，例如文本、圖像或音樂。生成式AI工程師的工作不僅包括模型訓練和優化，還涉及理解和應用大型語言模型（LLM），如OpenAI的GPT-4。 生成式AI開發
2023年8月11日 · 本文全面解析了RAG（Retrieval-Augmented Generation）架構，它如何革新大型語言模型（LLM）Generative AI的能力，提供更準確、豐富的資訊回應。.
