搜尋結果
2024年1月30日 · Large是Mistral AI的旗艦AI模型，擁有32k令牌的最大上下文窗口，精通英語、法語、西班牙語、德語和意大利語，並具有寫程式能力。 隨著大型語言模型（LLM）技術的進步，如Anthropic的Claude、Google的Gemini、Meta的LLaMA以及Mistral AI的模型，正在改變我們與人工智能互動的方式。
2024年2月26日 · RAG 概念是由自然語言處理科學家 Patrick Lewis 等學者在 2020 年發表的論文 2 中所提出。 這項技術簡而言之，就是在向 LLMs 提供用戶的提示詞（prompt）之前，會先從外部的資料庫「檢索」相關資料，再將這些相關資料連同原本的提示詞提供給 LLMs 參考並「生成」回覆。 IBM 的語言技術總監 Luis Lastras 用開書考試（open-book）跟闔書考試來類比 RAG 跟模型微調的差異：「使用 RAG 系統時，你是要求模型去檢索書的內容（資料庫），而不是光依憑（模型微調）的記憶來回答問題。 」 3. 而 RAG 所使用並非傳統的資料庫，而是所謂的向量資料庫（vector database）。
2023年8月11日 · RAG架構為大型語言模型的未來發展開辟了新的道路。. 通過結合先進的檢索技術和強大的生成能力，RAG不僅增強了LLM的準確性，還擴展了它們的應用範圍。. 隨著技術的不斷進步，我們可以預期RAG和類似技術將在人工智慧領域發揮越來越重要的作用。. 【GenAI ...
- 從想要親手打造產品的初衷開始
- 追求自己想要的工作和環境
- 為什麼選擇成為 AC 助教？
- 誠實面對自己 給選擇不斷前行的你
Sam 的故事聽起來很像許多台灣學生的典型故事，因為家人的力薦念了企管系，雖然沒有特別喜歡，但就這樣繼續唸完了企管研究所，但其實三類的 Sam 的心中一直有個理工魂，從小看著爸爸修理電子產品，打電腦的身影，自己也一直對軟體和程式很有興趣，曾經當興趣自學過很基礎的 html/css/Javascript。 畢業後第一份工作是遊戲公司的 PM，需要同時做行銷，但也有機會碰到軟體，做了兩年左右，為了追求更好的薪資，進了一家傳產做行銷，沒想到這份短暫的工作，卻意外成為了 Sam 轉職工程師的轉捩點。 「我還記得剛進去不久，有天我的主管有份提案需要總經理簽名，因為總經理不在，所以他就要我留下來自己等他簽名，我坐在辦公室等到晚上十點多，當天總經理卻沒有來。」Sam 記得當時自己一邊對這樣封閉官僚的 環境...
說起第一份軟體工程師工作印象最深刻的事情，Sam 分享了一個常常在新創會聽到的故事：「我剛進去就遇到招募我進去的主管離職，然後自己瞬間成為公司第二資深的工程師！」雖然突如其來的壓力非常大，但也是成長的好機會。 「那時我被賦予優化費用計算module的重責大任，剛開始幾個月真的是每天都在研究後台的每一行 code，讀所有的文件，好不容易讀懂之後，還要了解背後的商業邏輯，嘗試重構程式碼，用原本的測試檔來驗證，一步一步完成模組的優化。」那時還是菜鳥工程師的 Sam 撐過了這段時間，也在短短的幾個月內大幅成長。除此以外，在香港工作，對於 Sam 另外一個最主要的收穫就是語言能力。 「因為我不會講廣東話的關係，只要我參加的會議，大家就都會用英文，一兩年下來，對於用英文工作，也算是建立了滿扎實的能力。」...
Sam 去香港工作之後，其實一直都和 ALPHA Camp 保持聯繫，在大航道成功募資之後就受到邀請成為了 AC的助教，「因為自己曾經經歷那個過程，也是受很多人幫助走過來的，抱持著一種社群回饋的心情，希望能對學生們有所幫助！」另一方面也是滿認同 AC 的理念： 「AC 希望我們助教在回答問題時都盡可能的用引導的方式，因為在軟體的世界裡沒有標準答案，有的只是在當下那個時空，受限於當時資源所能做出的最佳選擇，我們希望同學們也能理解，學習的重點是自己去選擇去探索最好解法的那個思考過程，而不是一昧地追求標準答案，很多時候即使是看起來要達到一樣的目的，也不代表我們可以簡單的複製貼上，過程中有很多需要被考慮的因素。」 而在做助教的過程中，Sam 提到了自己也得到了意想不到的回饋：「在一直持續忙碌工作時，...
目前已經是 Senior 工程師的 Sam，短期目標是希望能成為 tech lead，為了補足自己技術能力之外的溝通和管理的能力，Sam 開始訓練自己更主動地和團隊成員分享，在會議上帶領討論等等， 「我從 AC做專案的時候，就發現軟體工程師不能只會寫 code，還要懂得和各種不同角色的人溝通，雖然覺得自己不擅長，但是我決定接受這個事實，誠實面對自己不足的地方。」Sam 笑著說：「所以如果是因為覺得自己不擅長和人溝通，才決定要轉職成軟體工程師的人，可能要再多想一下！」 在被問到給還在猶豫自己適不適合轉職成為工程師的學生有甚麼建議？ Sam 觀察：「我自己觀察表現比較好的學生，ORID通常都會寫得很認真，他們也會很清楚地依照當周的進度幫自己設定比較小的目標，整體來說也比較主動，不只是有問題時會主...
2024年3月7日 · 本文會先簡單介紹 RAG 的原理與優勢，接著分享我的實作經驗（相關的教學文章連結我整理在文末），並討論 RAG 應用產品化過程中可能面臨的問題。 在文章最後，則會進一步探討：當 LLM 具備長文本理解能力，可以讓我們把資料全部塞進 prompt 裡，此時還需要 RAG 嗎？ RAG 是什麼？ RAG 解決了大型語言模型（LLM）實際應用時的兩大侷限：幻想（hallucination）與資料時限。 RAG 結合「資訊檢索（retrieval）」和「生成（generation）」：在文本生成之前，先從資料庫中檢索相關的資料放入上下文，以確保 LLM 可依照正確的最新資訊生成結果。 看似複雜，其實相當直覺——既然大型語言模型受限於缺乏最新資料，那我們就在生成時，提前準備好「小抄」，讓它照著回答。
2023年10月2日 · 什麼是 Prompt Engineering？ Prompt Engineering 是指設計和構建一個提示或問題，以指導機器生成所需的內容或回答。這種技術主要應用於自然語言處理（NLP）領域，用於控制語言模型的輸出。舉例來說，當您使用語言模型生成文章、回答問題或創建對話時，您通常會提供一個提示或問題，以引導模型生成您 ...
2024年2月1日 · 本文是愛語言創辦人 Ted Chen 整理他在 2023 年學習關於大型語言模型的知識與歷程，文中提供豐富的參考資料。 本文是愛語言創辦人 Ted Chen 整理他在 2023 年學習關於大型語言模型的知識與歷程，原文刊載於他的電子報《ChatGPT 落地研究 | Ted》，ALPHA Camp 獲得授權刊登。
