搜尋結果
2024年2月1日 · Transformer的工作原理. Transformer的核心是自注意力機制，這一機制允許模型在生成輸出時評估序列內的所有單詞之間的相關性。 這意味著模型不需要按順序逐步處理資訊，而是可以平行處理，大大加快了學習速度。 此外，Transformer包含了多頭注意力（multi-head attention）機制，這使得模型能在多個子空間中同時學習資訊，增強了其學習能力和表達力。 自注意力機制. 想像一下，當你讀一句話時，你的大腦會同時關注這句話中的每個單詞，並理解每個單詞與其他單詞之間的關係。 自注意力機制也是如此。 它允許模型在處理一句話時，能同時考慮到句中所有單詞的信息，而不是一個接一個地處理。
2024年3月7日 · 一、資料清理. 二、如何切割文本. 三、如何搜尋. 四、LLM 生成品質. 快速掌握 LLM 應用全局觀. 有了「長上下文 LLM」（Long-Context LLM），還需要 RAG 嗎？ RAG（Retrieval-Augmented Generation，檢索增強生成）無疑是當今開發大型語言模型（LLM）產品時，不可或缺的技術。 由於可以確保 LLM 生成的真實性，在企業 AI 應用與搜尋場景相當受到重視。 為此，我也試著實作一個簡單的 RAG 應用。 多年累積下來，我的 Apple Notes 已經有 7000 多則筆記，搜尋愈來愈不準確，常在寫新筆記時想參考舊筆記，卻怎麼也找不到。
2024年1月30日 · Mistral AI. 隨著大型語言模型（LLM）技術的飛速進展，這些先進的系統正在改變我們與機器的互動方式。 這些模型不僅提升了機器理解和生成語言的能力，還在許多領域開創了新的應用前景。 本文將介紹Anthropic的Claude、Google的Gemini、Meta的Llama，以及開源的法國Mistral，這些模型各自在技術上的特色和應用實例。 Claude by Anthropic. Claude是Anthropic開發的一系列大型語言模型，旨在改變人們與人工智能互動的方式。 Claude擅長處理各種涉及語言、推理、分析、寫程式等任務。 Anthropic的Claude模型經過預訓練，並使用Constitutional AI進行微調，以使其成為有益、誠實且無害的AI系統。
總結. 拜訪完阿姨來了之後，我覺得值得討論的重點在於，我們在思考商業模式時，要把文化與社會脈絡的差異也考慮進去。 在中國，人與人之間的信任度較低，清潔僱傭人員很需要一個能夠保障他們權益的角色，像阿姨來了這種具公信力的第三方平台就有其存在的價值，同樣的服務在人民教育程度、信任程度較高的歐美市場就未必可行，供給需求雙方可能會選擇跳過平台規避交易的手續費（詳情請參考失敗者聯盟 Homejoy 的故事）。 另外，阿姨來了最初在思考服務時，跳脫我們對於家政服務的想像，以高層次的經營方式經營傳統的雇傭服務市場，顛覆中國原有家政產業的經營方式；如同 Uber 超越使用者最初對於計程車的想像，打造新型態的乘車體驗。
2023年10月2日 · 1. 清晰和具體的提示. 提示應該清晰、具體且明確。 避免使用模糊的或含糊不清的問題，因為這可能會導致不確定的回答。 確保提示中包含所有必要的信息，以使模型能夠理解您的意圖。 2. 上下文相關. 考慮到上下文對 Prompt Engineering 至關重要。 如果您正在進行對話，則應根據先前的對話內容編寫提示。 這樣，模型可以理解之前的對話，並生成相關的回答。
2023年7月4日 · 轉職工程師常見問題：. 轉職有年齡天花板嗎？. 30 歲後才開始學程式、準備轉職有機會嗎？. 非本科系如何和資工系競爭？. 在職進修半年可行嗎？. 在現代科技快速發展的時代，許多人都希望轉職成為軟體工程師，這是一個充滿挑戰但也充滿機會的職業。. 然而 ...
2023年12月20日 · Hi 讀者，. 年底快到了，最近有許多趨勢報告陸續推出，我們在 上一期 分享了分析師 Benedict Evans 的科技趨勢報告，這期為大家挑選了一份 2024 年的消費者趨勢報告《Consumer Trends 2024》。. 本週還有一篇專訪文章，是我們採訪擁有多年技術主管經驗的 Angus ...
