搜尋結果
2024年3月7日 · 三、如何搜尋. 四、LLM 生成品質. 快速掌握 LLM 應用全局觀. 有了「長上下文 LLM」（Long-Context LLM），還需要 RAG 嗎？ RAG（Retrieval-Augmented Generation，檢索增強生成）無疑是當今開發大型語言模型（LLM）產品時，不可或缺的技術。 由於可以確保 LLM 生成的真實性，在企業 AI 應用與搜尋場景相當受到重視。 為此，我也試著實作一個簡單的 RAG 應用。 多年累積下來，我的 Apple Notes 已經有 7000 多則筆記，搜尋愈來愈不準確，常在寫新筆記時想參考舊筆記，卻怎麼也找不到。 於是，我決定替 Apple Notes 加上 RAG：每當輸入一則新的筆記時，便自動推薦相似度最高的五則筆記，效果可參考下方影片。
- 從知識管理到資料科學
- 從資料模型到數據產品
- 從實驗資料到真實資料
- 從模型到系統部署
資料科學是一種從資料到決策過程的方法，探討用模型去解讀不同的資料與其意涵。在管理學院中有一門知識管理的課程，將利用原始資料產生知識的過程分成四個階段。根據維基百科的定義，知識管理（Knowledge Management，KM）包括一系列的定義、創建、傳播、採用新的知識和經驗的戰略和實踐，可以用於個人知識或組織中商業流程的實踐。知識管理的目標是幫助人類如何系統性地累積經驗、管理知識，成為一個更有智慧的人類，這其中「經驗」扮演重要的齒輪。從知識管理到資料科學，知識或決策的產生方式正在改變。如果可以利用機器的優勢來轉換知識，降低對經驗的依賴，那人們就得以更加專注於「決策」。換句話說，資料科學是一種利用數據幫助人進行決策的方法。 數位化與人工智慧 「從資料開始，透過一連串的過程發現隱藏在資料中的規...
傳統的資料科學模型通常只考慮到「產出模型」為止，著重的是如何訓練一個「好」的模型，產生交付的通常是一個模型。但有了一個好的模型之後，然後呢？ 從資料模型到數據產品 模型相對來說是抽象的數學公式或是程式演算法，其實不易直接讓面向使用者。大部分的情況是具有「資料素養」的專業工作者，例如資料分析師、資料科學家會將模型解讀成一般人可以理解的資訊。因此「產生一個分析報吿、說一個好故事」是許多資料科學工作者需要訓練的基礎能力，例如資料視覺化（Data Visualization）或說故事（Storytelling）的技能。 不過當你想要打造的是一個「數據產品」時，僅有資料模型的解讀靜態的報告是遠遠不足的。我們需要的是更貼近使用者應用場景的解決方案。所以一般來說，從資料模型到數據產品需要思考的是「如何將模...
在初期模型訓練過程中，可能會有「比較嚴謹」的分析過程。例如資料會經過標準的抽樣過程，資料也必須滿足一定的統計代表性。但隨著大數據（Big Data）的觀念跟方法逐漸成熟，比起嚴謹可能更重視「可用」與「有效」。在《Big Data》這本書中，告訴我們在資料量夠完整的情況下對於資料的誤差容忍性是比較強的。不過這不代表可以忽略資料搜集的量測誤差，建議對統計解讀有興趣的朋友可以參考 那些關於「大數據」的謬論：不要再說樣本即母體了！ 和 大數據與偏差樣本這兩篇文章。所以從實驗資料到真實資料的情境中，會有幾個現實需要面對： 1. 收集到的資料可能更多、更快、更髒 2. 產生的結果通常是比較模糊的 需要思考的是如何在有限的時間中，產生可以用的模型。
模型跟報告是相對抽象跟靜態的，可能難以讓使用者直接有感。因此，從資料模型到數據產品的另外一個重點在於「如何將模型部署成一個可持續使用的線上系統」。例如像推薦系統或是圖形辨識系統之類的系統，就是以應用為目的，模型只是其中的部分而已。從這些角度來看，是否可以更早期就把最終的應用考慮進來，或是需不需要讓資料料工作者也具備系統部署的產出能力都是打造數據產品時的重點。 而最近流行的 DataOps、MLOps 和 AIOps 各種 Operation 方法，就是在探討如何導入敏捷開發的原則。讓資料開發的 Pipeline 可以有更好的分析、部署、迭代的過程，進而實踐自動化運行的目標。 https://towardsdatascience.com/what-the-ops-are-you-talking...
11 月份 ALPHA Camp AMA 活動，特別邀請到任職頂尖軟體外商的資深工程師 Brian，與校長 Bernard 一起直播，分享從歷史系自學踏上軟體工程師的歷程，並深入解析演算法的應用場景，及演算法面試心法。 Brian 指出，「對演算法的深度理解，決定了普通工程師與優秀工程師的分野！ 」想讓軟體工程師職涯有所提升，不可錯過演算法。 歷史系畢業，跨領域轉職外商軟體工程師的職涯之路. 大學念歷史系的 Brian，為什麼最後會成為軟體工程師？ 他解釋道，念歷史是興趣，而自己從小就有創業夢，他觀察「軟體創業」低門檻，又是未來趨勢，於是他大學開始自學程式、修程式學程，大四開始獨立接案，畢業後與朋友一起創業做 APP。
2023年8月8日 · 例如，技術團隊可能要找法律團隊協作，一起去瞭解資料管理單位到底在意什麼，所以設計出這些規範？ 你可能會發現法規通常寫得不太明確。但其實這是故意的，因為管理單位會擔心規範寫太明確，可能導致大家認為沒規範的事情可以做。(Angus)
2023年8月11日 · 發佈日期: 2023 年 8 月 11 日 作者: ALPHA Camp. 內容目錄. RAG的基本概念. RAG如何工作. RAG的優勢. RAG的應用. 結論. AI快速發展之下，大型語言模型（LLM）如GPT-4已經取得了顯著成就，但仍存在資訊準確性和深度的挑戰。 這正是RAG（Retrieval-Augmented Generation）架構發揮作用的地方。 RAG的基本概念. RAG是一種結合了檢索（Retrieval）和生成（Generation）的模型架構。 它首先從大量數據中檢索相關資訊，然後基於這些資訊生成回應。 這種方法使得LLM能夠在回答查詢時引用具體且相關的資訊來源，從而提高回答的品質和準確性。 Source: Amazon. RAG如何工作.
軟體工程師薪水多高？台灣 IT 業年薪行情 Side Project 作品集怎麼做？適合新手的題目 轉職工程師，挑戰賽帶你直達面試關
2023年4月3日 · Data Mining 6階段. 免費點我下載數據技能路線指南. Data Mining 的技術與方法. Data Mining 常用工具. Data Mining 實例. 小結. 資料探勘（Data Mining）是一種從大量資料中自動找出有價值資訊的過程。 通過使用各種統計、機器學習和AI技術，資料探勘可以幫助企業和研究者發現隱藏在資料中的模式、趨勢和關聯，從而做出更明智的決策。 Data Mining 6階段. 資料探勘 Data Mining 過程通常包括以下幾個階段： 資料收集：從不同來源收集原始資料，例如資料庫、網站、社交媒體等。 資料預處理：清理和整理資料，解決資料缺失、重複或不一致的問題。 資料轉換：將資料轉換為適合分析的格式，例如特徵提取、資料編碼等。
