搜尋結果
2024年3月7日 · Watch on. 隨著我在文件上輸入、修改，底下會出現一排依照相似度排序的推薦筆記。 而由於我的筆記包含廣泛的領域，當我輸入的是「行銷規劃」，底下只會出現關於行銷的筆記；當切換到「樂理」，則只會推薦音樂相關的筆記。 本文會先簡單介紹 RAG 的原理與優勢，接著分享我的實作經驗（相關的教學文章連結我整理在文末），並討論 RAG 應用產品化過程中可能面臨的問題。 在文章最後，則會進一步探討：當 LLM 具備長文本理解能力，可以讓我們把資料全部塞進 prompt 裡，此時還需要 RAG 嗎？ RAG 是什麼？ RAG 解決了大型語言模型（LLM）實際應用時的兩大侷限：幻想（hallucination）與資料時限。
2023年8月11日 · RAG的基本概念. RAG如何工作. RAG的優勢. RAG的應用. 結論. AI快速發展之下，大型語言模型（LLM）如GPT-4已經取得了顯著成就，但仍存在資訊準確性和深度的挑戰。 這正是RAG（Retrieval-Augmented Generation）架構發揮作用的地方。 RAG的基本概念. RAG是一種結合了檢索（Retrieval）和生成（Generation）的模型架構。 它首先從大量數據中檢索相關資訊，然後基於這些資訊生成回應。 這種方法使得LLM能夠在回答查詢時引用具體且相關的資訊來源，從而提高回答的品質和準確性。 Source: Amazon. RAG如何工作. 檢索階段 ：當RAG接收到一個查詢時，它會使用先進的檢索算法在大型數據庫中尋找與該查詢相關的資訊。
- 如何成為數據分析師：必備的工作技能
- 數據分析師兩大工作內容：需求確認及分析
- 專業的 Data Analyst 要有哪些特質？
- 數據分析師薪水範圍
- 數據分析師的職涯發展路徑與選項
數據分析師必備的三個技能： 1. 1.1. 數據處理和分析能力：這是數據分析師的核心技能。他們需要掌握如SQL、Excel、R或Python等數據處理工具，並具有使用統計方法進行數據分析的能力。 1. 1.1. 數據視覺化：能將數據視覺化是數據分析師必備的技能之一。這需要掌握如Tableau、PowerBI等數據視覺化工具，以便能將複雜的數據以易於理解的方式呈現給決策者或非技術人員。 1. 1.1. 業務理解和問題解決能力：優秀的數據分析師不僅需要技術技能，還需要對業務有深入的理解，以便將數據分析應用於實際問題。他們需要能從業務的角度來理解和解釋數據，並能提出基於數據的解決方案。 三個成為數據分析師的學習重點：專業技能、產業知識、及批判性思考： 1. 1.1. 專業技能：Excel、程式語言...
資料分析師一天的時間分配，工作有一半時間在做分析工作「SQL 跑資料、畫報表」，然而每天花最多時間的，反而是「需求確認」！與部門同事討論、了解他們的資料分析需求。例如： 1. 1.1. 為什麼他們需要資料？ 1. 1.1. 這些資料能夠解決他們的問題嗎？ 1. 1.1. 除了他們所需的資料，我們如何挖掘其他資料，幫助他們了解的更多？ 從事數據分析工作通常要經歷幾個步驟 1. 1.1. 定義要解決的問題 1. 1.1. 收集正確數據 1. 1.1. 清理數據 1. 1.1. 數據分析與解讀 關於這些步驟更詳細的說明，請看〈資料分析 5 步驟〉這篇文章 數據分析的類別大致上有這四種： 1. 1.1. 描述分析（Descriptive analysis）：描述性分析回答 What happened...
1. 好奇心
好奇心驅動數據分析師不斷追問和探索數據背後的真實含義。這種特質促進創新思考，能夠引領分析到更深層次。在解決具有挑戰性的問題時，好奇心也可以幫助分析師發現新的解決方案和視角。
2. 批判思考
批判思考允許數據分析師理性分析數據，避免受到偏見和誤解的影響。這個特質不僅提高了分析的準確性和可靠性，還幫助分析師更好地理解問題並提出有力的解決方案。
3. 注意細節
對細節的敏感有助於發現潛在的數據錯誤和不一致。這個特質確保分析結果的品質和準確性，並有助於避免在後續工作中出現成本高昂的錯誤。
根據Glassdoor的資料，在台灣的數據分析師工資大概在年新月薪4萬到14萬之間，基本上是看資歷與工作經驗。電商的數據分析師職缺也很多，大部分的薪資都在四萬之上，根據1111人力銀行統計，目前數據分析師這個職缺就有近8000個工作機會。如果看國外網站ERI的薪資情報，台灣數據分析師的年薪平均數和中位數都在150萬。 不同的產業也都對數據分析師的需求非常旺盛，從軟體業到傳統的金融業、房仲業，都需要數據分析師的相關人才。
初級階段：數據分析師
1. 1.1. 學習基礎技能：熟悉Excel、SQL和基礎統計學。 1. 1.1. 實務經驗：進行數據清洗、初級分析，以及撰寫數據報告。 1. 1.1. 軟技能培養：加強溝通與協作能力。
中級階段：高級數據分析師
1. 1.1. 技能深化：學習R、Python進行複雜的統計分析和數據處理。 1. 1.1. 數據可視化：精通Tableau或Power BI製作報表。 1. 1.1. 跨部門協作：參與業務策略規劃，進行業務分析和預測。
高級階段：數據科學家
1. 1.1. 機器學習：掌握機器學習算法，使用如TensorFlow或PyTorch等工具。 1. 1.1. 大數據技能：學習使用Hadoop、Spark等大數據處理工具。 1. 1.1. 專案管理：能夠主導大型數據分析項目。
2023年7月5日 · ① BI 工具. ② 分析模型套裝軟體. ③ 程式語言. BI 工具. BI 是 Business Intelligence，商業智慧 的簡寫，主要強調的點在於「商業價值」的呈現。 對資料人來說，其實就是著重在資料視覺化、資料呈現這一件事情上。 但「商業價值」並不會憑空從資料直接呈現出來，BI 工具的價值在於如何快速的讓閱讀者，可以看出資料背後的價值所在。 除了統整後的視覺圖表之外，BI 通常會需要具備一筆一筆資料的報表功能。 而資料呈現跟原始數據格式有相當大的關係，所以 BI 工具內多少需要提供基本的資料操作功能，能夠讓使用者在比較低的負擔下可以處理資料。 . 分析模型套裝軟體.
2023年4月3日 · 資料探勘（Data Mining）是一種從大量資料中自動找出有價值資訊的過程。 通過使用各種統計、機器學習和AI技術，資料探勘可以幫助企業和研究者發現隱藏在資料中的模式、趨勢和關聯，從而做出更明智的決策。 Data Mining 6階段. 資料探勘 Data Mining 過程通常包括以下幾個階段： 資料收集：從不同來源收集原始資料，例如資料庫、網站、社交媒體等。 資料預處理：清理和整理資料，解決資料缺失、重複或不一致的問題。 資料轉換：將資料轉換為適合分析的格式，例如特徵提取、資料編碼等。 資料建模：應用統計、機器學習或AI演算法來挖掘資料中的模式和關聯。 評估和驗證：評估模型的性能和準確性，根據需要對模型進行調整。
2023年7月25日 · 如何用 ORID 框架，記錄心得、內化學習 - ALPHA Camp. 首頁 » Blog » 如何用 ORID 框架，記錄心得、內化學習. 程式學習. 如何用 ORID 框架，記錄心得、內化學習. 發佈日期: 2020 年 10 月 19 日 作者: Ellen. 內容目錄. Reflection 與做中學. ORID 是什麼？ 討論的思維框架. Objective 客觀、事實. Reflective 感受、反應. Interpretive 意義、價值、經驗. Decisional 決定、行動. 選擇關注點：第一步就是最後一步. 關注你的位移 (A—>B) 為什麼要使用 A → B 結構？ 刻意選擇 Growth mindset 視角. 培養你的後設認知. 不要浪費有效經驗.
2024年2月20日 · 資料科學家在做什麼？ Data Scientist 工作內容與3大核心技能. 發佈日期: 2022 年 5 月 28 日 作者: ALPHA Camp. 內容目錄. 資料科學家工作內容，從實際案例分析. 免費點我下載數據技能路線指南. 資料科學家需具備什麼核心技能與特質？ 常見入門資料科學領域的三大背景. 資料分析師、資料科學家、資料工程師，有何差異？ 想成為資料科學家，如何累積作品？ 小結. 資料科學家 (Data Scientist)收集和分析大量結構化和非結構化數據。 資料科學家的角色結合了計算機科學、統計學和數學。 他們分析、處理和建模數據，然後解釋結果，為公司制定可行的計劃。 資料科學家工作內容，從實際案例分析. 資料科學家的工作主要為溝通、分析，提出解決方案，但具體怎麼執行？
