搜尋結果
2024年3月22日 · 這篇文章是他記錄自己今年三月參加 ALPHA Camp 與 ihower 共同推出的「 Generative AI Engineer：LLM 應用開發工作坊 」完課心得與收穫，我們獲得授權刊登， 原文刊登在他的 Medium。 自從ChatGPT在2022年底問世以來，以LLMs為中心的應用服務已掀起一股革命。 因緣際會在 AI Your Summer – AI Builder Day 聽到ihower老師的分享，發現老師很用心地在準備，就這樣趁勝追擊地報名了 Generative AI Engineer：LLM 應用開發工作坊 ，透過短暫且密集地訓練來提升自己的能力。 紮實地上完課後發現工作坊帶給我的比想像中的還要多更多。
2024年3月7日 · RAG 是什麼？ RAG 的優勢. Apple Notes + RAG 的實作流程. RAG 產品化的挑戰. 一、資料清理. 二、如何切割文本. 三、如何搜尋. 四、LLM 生成品質. 快速掌握 LLM 應用全局觀. 有了「長上下文 LLM」（Long-Context LLM），還需要 RAG 嗎？ RAG（Retrieval-Augmented Generation，檢索增強生成）無疑是當今開發大型語言模型（LLM）產品時，不可或缺的技術。 由於可以確保 LLM 生成的真實性，在企業 AI 應用與搜尋場景相當受到重視。 為此，我也試著實作一個簡單的 RAG 應用。
2024年2月26日 · 在我 前一篇分享 OpenAI 研究員 Andrej Karpathy 介紹 LLMs 的文章 曾介紹到，通常 LLMs 的訓練會經過兩個階段：產出基本模型（base model）、曠日廢時且需要投入大量資源的「預訓練」階段，以及後續頻繁進行的「模型微調（fine-tuning）」階段。 在上述的訓練過程中，若希望 LLMs 理解特定領域的知識，就得從模型微調的階段下手，將特定領域的專業知識輸入基本模型進行訓練。 但模型的微調不僅得仰賴硬體的運算，且無法很快地將公司或組織的新資料納入模型之中，這都會對客製化 LLMs 的落地應用形成限制。 而 RAG 就能夠突破上述的限制。 RAG 概念是由自然語言處理科學家 Patrick Lewis 等學者在 2020 年發表的論文 2 中所提出。
2024年1月29日 · 這次職涯相談室請來兩位教學經驗豐富的程式開發前輩 Jack 和維元，帶大家從「自學程式的 7 個 FAQ」，來一一破解你的迷思和誤區，幫你修成正果。 你 為什麼學程式？ 問為什麼超重要！ 你問過自己為什麼要學程式嗎？ 是想要有個帶得走的能力、想加值職能、想轉職、想賺更多錢？ 或是你只是單純認為，現在的人不會程式好像怪怪的、大家都在學程式所以我也要學？ 但是，知道自己為什麼要學程式，很重要嗎？ 維元和 Jack 異口同聲地表示， 問「為什麼」是學習前最重要的一件事情。 只有知道學習的目標和理由，才會有有效的學習計畫和持續實踐的動力。 問為什麼，是做一件事最核心的課題，要越清楚越好。 若不清楚，你可能會把資源投到錯的地方。 輕則會有挫折感，重則造成對學習的傷害。
在 ALPHA Camp，有一個傳說中的神力女超人，她是 Student Success 團隊的學習總教練，每星期都和團隊開會監測學習數據，為學生打造更有效的學習體驗而孜孜不倦；她是營運長，確保公司大大小小專案運作狀況良好，無所不在地 carry 整個 AC 團隊，讓公司規模和團隊 ...
2023年10月11日 · KDD（Knowledge Discovery in Database）是資料庫領域在資料探勘（Data Mining）前慣用的一種名稱（也有人說 Data mining 是 KDD 的一個環節），資料探勘領域中的知名的會議就叫做 SIGKDD 。 這邊用「Knowledge」這個字其實就是呼應知識管理中的「Knowledge」。 從資料模型到數據產品. 傳統的資料科學模型通常只考慮到「產出模型」為止，著重的是如何訓練一個「好」的模型，產生交付的通常是一個模型。 但有了一個好的模型之後，然後呢？ 從資料模型到數據產品. 模型相對來說是抽象的數學公式或是程式演算法，其實不易直接讓面向使用者。
2024年1月17日 · 2023 年 11 月，目前任職於 OpenAI 、投入人工智慧領域十多年的科學家 Andrej Karpathy 上傳了一支時長一小時的影片〈Intro to Large Language Models〉（大型語言模型簡介），用深入淺出的方式分享許多關於 LLMs 的背景知識與未來預測，就算毫無程式背景的觀眾，也能夠從他的說明中理解這項技術的奧妙與趨勢。 本文是我對於這支影片的內容所整理的學習筆記。 [1hr Talk] Intro to Large Language Models. Watch on. 熱愛傳播知識的人工智慧專家 Andrej Karpathy.
