搜尋結果
2024年2月26日 · 1 隨著越來越多的企業和組織期許能夠將 LLMs 應用到生活以及工作的各個領域，如何產生客製化的 LLMs 便成為人們關注的焦點，而名為「檢索增強生成」 （Retrieval-Augmented Generation，縮寫為 RAG）就是值得我們重視的其中一項技術。 本文將介紹 RAG 的運作方式、哪些使用情境適合導入 RAG？ 以及為什麼 NVIDIA、Microsoft 等軟硬體科技巨頭都爭相投入這個領域。 （編按：想要進一步知道 RAG 實作與產品化要考量的面向，可以閱讀這篇 〈為我的筆記加上 AI：RAG 實作經驗分享與四大產品化挑戰〉 。 什麼是 RAG？ 跟模型微調有什麼差別？
- Label Encoding
- One-Hot Encoding / Dummy Variable
- 資料前處理中必須要做的處理
根據觀察資料，可以把字串的資料分成有序和無序的。最直覺的方法就是直接將「字串」轉換成一個對應的數字即可，這種方法我們稱為標籤編碼法（Label Encoding）。有序類別字串可以直接採用標籤編碼法，利用轉換後的大小關係維持資料間的順序。標籤編碼轉換後的大小會隱含資料間的順序關係。
但原本的資料如果是無序的類別字串直接使用標籤編碼法會有點問題，以這個例子來說，會讓原本應該無序的水果間產隱含大小的關係出現。而我們在模型當中，很常會使用「大小」來表示資料間的關係。 因此，無序類別字串轉數值會採用另一種方法，稱為是獨熱編碼（One-Hot Encoding）或虛擬變量（Dummy Variable）的方法。這種方式會將原本欄位的資料轉換鍋的欄位，藉此來維持資料就的無序關係。
我自己會把「資料清理」跟「型態調整」稱為是整個分析過程中一定要操作的部分，因為若沒有經由正確的處理方法會造成模型無法存取的狀況。另外根據 CrowdFlower Survey Results 調查的結果，在資料分析的階段 60% 的時間其實是在進行資料清理的。 CrowdFlower Survey Results 最後，你以為你是在做的是資料分析的工作，實際上其實是個資料黑手。 （本文轉載自資料工程師 WeiYuan 的文章 《資料前處理必須要做的事 – 資料清理與型態調整》） 想做數據分析或轉職數據分析師？你可以先準備好必備的「數據思維」
2024年2月1日 · Transformer模型概述. Transformer模型是基於自注意力機制（self-attention mechanism）的一種架構，它能夠在處理序列數據時，同時考慮序列中的所有元素，這種全局視角使得Transformer在多個領域特別有效。 與傳統的遞歸神經網路（RNN）或卷積神經網路（CNN）相比，Transformer顯著提高了處理速度和效率，尤其是在處理長序列數據時。 Transformer的工作原理. Transformer的核心是自注意力機制，這一機制允許模型在生成輸出時評估序列內的所有單詞之間的相關性。 這意味著模型不需要按順序逐步處理資訊，而是可以平行處理，大大加快了學習速度。
2023年11月8日 · 什麼是LangChain？ LangChain是一個旨在為開發者提供一套工具和接口，以便更容易、更有效地利用大型語言模型（LLM）的開源框架，專注於情境感知和推理。它包含多個組件，如Python和JavaScript的函式庫、快速部署的模板、用於開發REST API的LangServe，以及用於除錯和監控的LangSmith。
2024年2月1日 · 第1步：安裝Python和Git. 首先，您需要安裝Python 3.10.6，這是運行Stable Diffusion所必需的。 您可以從 Python官方網站 下載安裝。 若安裝過程中遇到困難，可以參考我們的 Python安裝教程 。 在命令提示符中輸入 python 並執行，以確認Python版本正確安裝。 若未顯示Python 3.10.6，請卸載電腦中的其他Python版本。 接著，安裝Git，這是一個代碼庫管理系統，用於版本控制和協作。 您可以通過 Git安裝教程 進行安裝，並可參考我們的 Git入門課程 以深入了解Git。 第2步：創建GitHub和Hugging Face帳戶. GitHub是一個代碼托管服務，用於軟件開發的版本控制和協作。
2023年2月7日 · 通過上述詳盡的分析步驟、框架與方法，企業可以對競品有一個全面而深入的了解。. 競品分析不僅是評估對手，更是自我反思與學習的過程，幫助企業發現自身的不足，激發創新的靈感，最終在市場競爭中占得先機。. 目前，AC 有兩堂數據分析課程 「數據思維 ...
2023年4月13日 · 資料分析 5 步驟. 立即領取. 免費點我下載數據技能路線指南. 資料清洗 data cleaning 的方法. 資料清理主要包括以下幾個方面的方法： 缺失值處理：對於缺失的數據，可以選擇填充、插值、刪除或保持不變，具體方法取決於資料的特性和缺失原因。 填充：將缺失值替換為某個常數值，如 0、平均值、中位數等。 插值：根據已有的資料對缺失值進行估算，如使用時間序列資料中的前後值進行線性插值。 刪除：若缺失值占比較低，且不影響分析結果，可以直接刪除缺失值所在的樣本。 重複值處理：對於重複的數據，可以選擇保留一個並刪除其他重複值，或者根據某些規則合併重複的資料。 異常值檢測：通過統計方法或機器學習算法識別異常值，並對其進行修改或刪除。 常用方法有：
