搜尋結果
2024年2月26日 · 微軟的研究結果發現，RAG 和微調模型確實都能讓 LLMs 的回答變得更為精準：與 GPT-4 的基本模型相比，RAG 的精準度增加的 5%、微調的精準度增加 6%，而微調模型搭配 RAG 的精準度則增加 11%。. 由此可見，RAG 可以用較低的訓練成本達到與微調模型差不多的表現，且 ...
2024年3月7日 · Watch on. 隨著我在文件上輸入、修改，底下會出現一排依照相似度排序的推薦筆記。 而由於我的筆記包含廣泛的領域，當我輸入的是「行銷規劃」，底下只會出現關於行銷的筆記；當切換到「樂理」，則只會推薦音樂相關的筆記。 本文會先簡單介紹 RAG 的原理與優勢，接著分享我的實作經驗（相關的教學文章連結我整理在文末），並討論 RAG 應用產品化過程中可能面臨的問題。 在文章最後，則會進一步探討：當 LLM 具備長文本理解能力，可以讓我們把資料全部塞進 prompt 裡，此時還需要 RAG 嗎？ RAG 是什麼？ RAG 解決了大型語言模型（LLM）實際應用時的兩大侷限：幻想（hallucination）與資料時限。
2023年8月11日 · AI快速發展之下，大型語言模型（LLM）如GPT-4已經取得了顯著成就，但仍存在資訊準確性和深度的挑戰。這正是RAG（Retrieval-Augmented Generation）架構發揮作用的地方。 RAG的基本概念 RAG是一種結合了檢索（Retrieval）和生成（Generation）的模型
- Orid 是什麼？討論的思維框架
- 選擇關注點：第一步就是最後一步
- 關注你的位移
- 為什麼要使用 A → B 結構？
- 狀態負面時去休息；狀態正面時做 Reflection
- 小結
- Reference
ORID 是為了主持討論，讓參與者聚焦的一種結構，和上述講的 reflection 並沒有歷史淵源，不過 reflection 是自己和自己對話，和別人對話很容易發散，和自己對話更容易發散，因此 ORID 用於 reflection 可謂十分稱手的框架。 ORID 是個在國際上被廣泛使用的焦點式提問法，透過四個層次的提問，能夠幫助使用者更結構性地思考與回應問題。以下為ORID的四層提問： 1. OBJECTIVE：具體的事實，做了哪些事情、看到與觀察哪些事情 2. REFLECTIVE：感受與反應，在當下直接的感受、反應與印象深刻的地方 3. INTERPRETIVE：事後詮釋與分析，試著解釋與分析事實與自己的感受 4. DECISIONAL：訂定目標與下一步，找出下一步可應用、執行與改善的...
「回顧」的起手式，也就是 ORID 裡的 Objective，這一段的提問法門是「你看見什麼」或「發生了什麼事」。 我個人認為，回答這個問題是一個大學問，玄妙程度幾乎和打禪機差不多。 你的視角受限於你的狀態、你的目的，甚至你的格局。到底是你很有自覺地選擇了你的關注點，還是某件雞毛蒜皮的事情綁架了你的注意力？ 在我剛開始嘗試建立 reflection 習慣時，我常常會選擇一些「自己做不好的事情」當成回顧主題，然後硬是用一種虛假的正面態度，寫出一套「愈挫愈勇」的發憤圖強文，結果是我從來沒有去踏實執行我在最後一步為自己設定的偉大 next step。 極高比例的人，在選擇關注點時，會關注自己做不好的事情，或者關注自己和別人的比較。偶爾關注一下自己的負面心態，進行「反省」是 OK 的，但不要太習慣如...
為了避免自己的注意力被拉走，我建議大家在建立 reflection 習慣時，刻意選擇有「位移」的事情來關注，也就是任何在你身上發生，從 A 狀態變成 B 狀態的事情。 別忘了「學習」的目的就是讓自己成長，知道原本不知道的事，做到原本不會做的事，發生在自己身上的任何成長，只要有 A → B 的結構，都值得我們慶祝。 講 A → B 可能略顯空洞，下圖列出一些例子： 之前提過學習其實有 outside-in 和 inside-out 兩個方向的作用力，因此這裡建議把關注點區分成兩大類別，外在專業的位移，或者內在狀態的位移。看看當下對哪個方向有感覺都可以，只是略為注意一下比例平衡，向外或向內的 reflection 都應該要不定期發生。 至於細目我這邊舉出幾個例子，只是示意給你看，一開始的時候可以...
刻意選擇 Growth mindset 視角
使用 A → B 結構來收斂你的關注點，第一個實用目的是防守自己的注意力被一些偏向 fixed mindset 的焦點拉走，起手式一開始就要落在 growth mindset 的範疇，這樣才會有效。
培養你的後設認知
另外，從「學習如何學習」的角度，你其實需要刻意去研究新態度、新觀念、新行為到底是怎麼在你自己身上發芽的。 說到底，只有自己親自掌握自己的學習模式，你的學習成效才會迎來飛躍式的進展。雖然你的學習教練/老師可能擁有比你更高的專業度去診斷學習問題，但教練/老師只能與你共享某一小段的時光，最終你需要成為你自己的教練。 因此，能夠倒退一步，把發生在自己身上的學習旅程當成客體來觀察，其實是蠻重要的技能。 而刻意關注 A → B 如何發生在自己身上，會讓你可以持續地累積對自己學習模式的洞察。
不要浪費有效經驗
最後最實在的一點，是前文提到，「做中學」為什麼強調 reflection，因為做中學裡面有太多的 try-and-error，有時候你的結果根本是誤打誤撞試出來的。 這些靠運氣、靠嘗試逼出來的「結果」（也就是 A → B 結構中的 B 狀態），如果沒有徹底掌握「究竟是怎麼發生的」，你可能根本就不再有第二次重現結果的機會。 你必須順藤摸瓜，從 B 狀態倒推回去，像偵探一樣往 A 方向探索，找出過程中的驅動要素，好好把事情發生經過描述清楚，然後辨證自己是否能重現這些有效的驅動要素。如此一來這個專業技能才是真正掌握到你的手裡。 不關注結果怎麼跑出來的，卻跑去關注別人的結果比自己好，這不是徹底的浪費嗎？
會建議大家刻意運用 A → B 結構來收斂關注點，很大的原因是，我們見證到太多的學習者努力地做 reflection，以為這就是「認真」，但事實上他們的關注點卻被 fixed mindset 拉走。 我覺得 A → B 是一個蠻簡單的訣竅，可以快速抓出有助於把你扳回 growth mindset 的方向。 事實上，要防止 fixed mindset 跑出來，還有一個是做 reflection 的時機。我建議大家要養成在「狀態好的時候做 reflection」的習慣，如果你今天完成了一個挑戰很有成效感，或者你今天忽然有個澎湃覺得自己堅持好久好偉大，或者你今天得到了一個稱讚覺得飄飄然，這是你做 reflection 的最佳時機，這個時候最容易抓到 A → B 結構。 練習在這種時候做 refle...
這篇文章介紹的是在做 reflection 的起手式，選擇關注點的「入門訣竅」。 在持續練習一段時間之後，你會開始對 growth mindset 的狀態有更高的自覺，到了那個階段以後，你可以自由選擇任何為你帶來成長的經驗進行 reflection。
2024年1月23日 · 針對求職的情境，side project 所呈現目的性是相當重要的。. 面對百百種的職缺，要如何讓面試官覺得這份 side project 是為這份職缺量身打造的，則需要先分析職缺、確立專案要解決的問題或是要展現的技術，再考慮資料取得的途徑，最後思考專案的呈現方式 ...
2024年1月17日 · 2023 年 11 月，目前任職於 OpenAI 、投入人工智慧領域十多年的科學家 Andrej Karpathy 上傳了一支時長一小時的影片〈Intro to Large Language Models〉（大型語言模型簡介），用深入淺出的方式分享許多關於 LLMs 的背景知識與未來預測，就算毫無程式背景的觀眾，也能夠從他的說明中理解這項技術的奧妙與趨勢。 本文是我對於這支影片的內容所整理的學習筆記。 [1hr Talk] Intro to Large Language Models. Watch on. 熱愛傳播知識的人工智慧專家 Andrej Karpathy.
2023年4月2日 · 以下是一些常見的前端工程師職涯路徑：. 初級前端工程師（Junior Front-end Developer）： 作為職業生涯的起點，初級前端工程師主要負責網站和應用程式的基本開發工作，如切版、樣式設計和基本互動功能的實現。. 中級前端工程師（Mid-level Front-end Developer）： 經過 ...
