搜尋結果
2024年2月26日 · 什麼是 RAG？ 跟模型微調有什麼差別？ 在我 前一篇分享 OpenAI 研究員 Andrej Karpathy 介紹 LLMs 的文章 曾介紹到，通常 LLMs 的訓練會經過兩個階段：產出基本模型（base model）、曠日廢時且需要投入大量資源的「預訓練」階段，以及後續頻繁進行的「模型微調（fine-tuning）」階段。 在上述的訓練過程中，若希望 LLMs 理解特定領域的知識，就得從模型微調的階段下手，將特定領域的專業知識輸入基本模型進行訓練。 但模型的微調不僅得仰賴硬體的運算，且無法很快地將公司或組織的新資料納入模型之中，這都會對客製化 LLMs 的落地應用形成限制。 而 RAG 就能夠突破上述的限制。
2024年3月7日 · RAG 是什麼？ RAG 解決了大型語言模型（LLM）實際應用時的兩大侷限：幻想（hallucination）與資料時限。 RAG 結合「資訊檢索（retrieval）」和「生成（generation）」：在文本生成之前，先從資料庫中檢索相關的資料放入上下文，以確保 LLM 可依照正確的最新資訊生成結果。 看似複雜，其實相當直覺——既然大型語言模型受限於缺乏最新資料，那我們就在生成時，提前準備好「小抄」，讓它照著回答。 這裡借用並小幅修改 InfuseAI 工程師劉詩雁的比喻： 1 想像在參加考試前，如果我們完全不清楚範圍，現場很可能因為沒有讀過，只好胡謅一通；然而如果老師已經事先列出會考的頁數，並開放考試時可以「開書考」，我們就可以現場從書中找到資料並寫下答案。
2024年2月1日 · Stable Diffusion是一種由Stability AI及其合作夥伴開發的開源圖像生成模型。 它使用深度學習技術，特別是變分自編碼器（VAE）和變換器（Transformers），來生成詳細的圖像。 用戶可以通過自然語言描述（例如文字提示），指導模型生成具體的圖像內容。 立即下載. 快速掌握 LLM 應用全局觀. Stable Diffusion 是一款強大的開源AI圖像生成工具，它允許使用者根據文字提示來創造高質量的圖像。 此工具適用於藝術家、設計師、研究人員等各種背景的使用者。 如果您對AI圖像生成感興趣並希望親自嘗試，以下是完整的Stable Diffusion安裝指南。 Stable Diffusion 前置要求.
其他人也問了
黎紫書是誰?
黎明卿是天才嗎?
黎在山是誰?
什麼是樂府詩?
2023年11月8日 · LangChain的特點. 易於使用 ：LangChain提供了一系列API，讓開發者可以快速啟動和運行LLM，而無需深入了解模型的內部運作機制。 高度靈活 ：透過配置和擴展機制，開發者可以根據需要自定義LangChain的行為，使其適應不同的應用場景。 生態系統整合 ：LangChain旨在與現有的AI工具和框架無縫集成，支持多種LLM和第三方服務，從而促進生態系統的互操作性。 LangChain的應用場景. 自動文本生成 ：利用LLM生成文章、報告或其他文本內容。 智能問答系統 ：構建基於LLM的問答系統，提供精確的答案和解釋。 語言理解和分析 ：使用LLM進行語言分析，從文本中提取有用的見解和信息。 個性化推薦 ：根據用戶的互動和偏好，利用LLM生成個性化的內容和推薦。
- Orid 是什麼？討論的思維框架
- 選擇關注點：第一步就是最後一步
- 關注你的位移
- 為什麼要使用 A → B 結構？
- 狀態負面時去休息；狀態正面時做 Reflection
- 小結
- Reference
ORID 是為了主持討論，讓參與者聚焦的一種結構，和上述講的 reflection 並沒有歷史淵源，不過 reflection 是自己和自己對話，和別人對話很容易發散，和自己對話更容易發散，因此 ORID 用於 reflection 可謂十分稱手的框架。 ORID 是個在國際上被廣泛使用的焦點式提問法，透過四個層次的提問，能夠幫助使用者更結構性地思考與回應問題。以下為ORID的四層提問： 1. OBJECTIVE：具體的事實，做了哪些事情、看到與觀察哪些事情 2. REFLECTIVE：感受與反應，在當下直接的感受、反應與印象深刻的地方 3. INTERPRETIVE：事後詮釋與分析，試著解釋與分析事實與自己的感受 4. DECISIONAL：訂定目標與下一步，找出下一步可應用、執行與改善的...
「回顧」的起手式，也就是 ORID 裡的 Objective，這一段的提問法門是「你看見什麼」或「發生了什麼事」。 我個人認為，回答這個問題是一個大學問，玄妙程度幾乎和打禪機差不多。 你的視角受限於你的狀態、你的目的，甚至你的格局。到底是你很有自覺地選擇了你的關注點，還是某件雞毛蒜皮的事情綁架了你的注意力？ 在我剛開始嘗試建立 reflection 習慣時，我常常會選擇一些「自己做不好的事情」當成回顧主題，然後硬是用一種虛假的正面態度，寫出一套「愈挫愈勇」的發憤圖強文，結果是我從來沒有去踏實執行我在最後一步為自己設定的偉大 next step。 極高比例的人，在選擇關注點時，會關注自己做不好的事情，或者關注自己和別人的比較。偶爾關注一下自己的負面心態，進行「反省」是 OK 的，但不要太習慣如...
為了避免自己的注意力被拉走，我建議大家在建立 reflection 習慣時，刻意選擇有「位移」的事情來關注，也就是任何在你身上發生，從 A 狀態變成 B 狀態的事情。 別忘了「學習」的目的就是讓自己成長，知道原本不知道的事，做到原本不會做的事，發生在自己身上的任何成長，只要有 A → B 的結構，都值得我們慶祝。 講 A → B 可能略顯空洞，下圖列出一些例子： 之前提過學習其實有 outside-in 和 inside-out 兩個方向的作用力，因此這裡建議把關注點區分成兩大類別，外在專業的位移，或者內在狀態的位移。看看當下對哪個方向有感覺都可以，只是略為注意一下比例平衡，向外或向內的 reflection 都應該要不定期發生。 至於細目我這邊舉出幾個例子，只是示意給你看，一開始的時候可以...
刻意選擇 Growth mindset 視角
使用 A → B 結構來收斂你的關注點，第一個實用目的是防守自己的注意力被一些偏向 fixed mindset 的焦點拉走，起手式一開始就要落在 growth mindset 的範疇，這樣才會有效。
培養你的後設認知
另外，從「學習如何學習」的角度，你其實需要刻意去研究新態度、新觀念、新行為到底是怎麼在你自己身上發芽的。 說到底，只有自己親自掌握自己的學習模式，你的學習成效才會迎來飛躍式的進展。雖然你的學習教練/老師可能擁有比你更高的專業度去診斷學習問題，但教練/老師只能與你共享某一小段的時光，最終你需要成為你自己的教練。 因此，能夠倒退一步，把發生在自己身上的學習旅程當成客體來觀察，其實是蠻重要的技能。 而刻意關注 A → B 如何發生在自己身上，會讓你可以持續地累積對自己學習模式的洞察。
不要浪費有效經驗
最後最實在的一點，是前文提到，「做中學」為什麼強調 reflection，因為做中學裡面有太多的 try-and-error，有時候你的結果根本是誤打誤撞試出來的。 這些靠運氣、靠嘗試逼出來的「結果」（也就是 A → B 結構中的 B 狀態），如果沒有徹底掌握「究竟是怎麼發生的」，你可能根本就不再有第二次重現結果的機會。 你必須順藤摸瓜，從 B 狀態倒推回去，像偵探一樣往 A 方向探索，找出過程中的驅動要素，好好把事情發生經過描述清楚，然後辨證自己是否能重現這些有效的驅動要素。如此一來這個專業技能才是真正掌握到你的手裡。 不關注結果怎麼跑出來的，卻跑去關注別人的結果比自己好，這不是徹底的浪費嗎？
會建議大家刻意運用 A → B 結構來收斂關注點，很大的原因是，我們見證到太多的學習者努力地做 reflection，以為這就是「認真」，但事實上他們的關注點卻被 fixed mindset 拉走。 我覺得 A → B 是一個蠻簡單的訣竅，可以快速抓出有助於把你扳回 growth mindset 的方向。 事實上，要防止 fixed mindset 跑出來，還有一個是做 reflection 的時機。我建議大家要養成在「狀態好的時候做 reflection」的習慣，如果你今天完成了一個挑戰很有成效感，或者你今天忽然有個澎湃覺得自己堅持好久好偉大，或者你今天得到了一個稱讚覺得飄飄然，這是你做 reflection 的最佳時機，這個時候最容易抓到 A → B 結構。 練習在這種時候做 refle...
這篇文章介紹的是在做 reflection 的起手式，選擇關注點的「入門訣竅」。 在持續練習一段時間之後，你會開始對 growth mindset 的狀態有更高的自覺，到了那個階段以後，你可以自由選擇任何為你帶來成長的經驗進行 reflection。
2023年10月2日 · 1. 清晰和具體的提示. 提示應該清晰、具體且明確。 避免使用模糊的或含糊不清的問題，因為這可能會導致不確定的回答。 確保提示中包含所有必要的信息，以使模型能夠理解您的意圖。 2. 上下文相關. 考慮到上下文對 Prompt Engineering 至關重要。 如果您正在進行對話，則應根據先前的對話內容編寫提示。
2024年3月27日 · LeetCode常見問題類型分析. 提到演算法. 誰需要刷LeetCode. 點我免費領取全端開發學習地圖！ 個人背景. 我會怎麼寫？ 刷 LeetCode 該有的基本知識. 重新來一遍，會如何分析 Two Sum. 完成基本功的我想要增加其他訓練. Java. C. Leetcode 如何測量效率. 時間複雜度，Time Complexity. 空間複雜度，Space Complexity. two sum 這題該怎麼看待. 暴力解. 使用 Hash Table. 題外話. Leetcode 必考題有哪些？ 使用 ChatGPT 協助 Leetcode 解題. 結語. 什麼是 LeetCode？ LeetCode是一個專為程式設計師提供線上程式練習題的平台。
