搜尋結果
2024年3月7日 · 為 Apple Notes 加上 RAG：Demo 影片. 隨著我在文件上輸入、修改，底下會出現一排依照相似度排序的推薦筆記。. 而由於我的筆記包含廣泛的領域，當我輸入的是「行銷規劃」，底下只會出現關於行銷的筆記；當切換到「樂理」，則只會推薦音樂相關的筆記。. 本文會 ...
- 大數據是什麼？
- 什麼是「醫療」大數據?
- 但實際上ai醫療數據為甚麼會失敗
- 解決方法
- 結論
大數據（Big Data) 又被稱為巨量資料， 隨著儲存設備越來越便宜， 越來越大量的資料被儲存，不論企業或研究員都開始思考, 巨量資料對我們的幫助以及如何從中萃取知識。 目前大數據用資料特性可以定義為以下5V: 1. Volume（容量/大）：資料量「大」。像是網頁資訊，在社群軟體內，每天可能會產生數億個文章以及按讚、回覆資訊，而日積月累下，將會存放非常巨量的資料。 2. Velocity（速度/快）：資料產生和更新速度「快」。 3. Variety（多樣性/雜）：資料來源多元、總類繁多，格式雜「亂」，儲存大量的非結構化資料(Unstructured data)。 4. Veracity（真實性/疑）: 對於資料的質量與可信賴度存「疑」。 5. Value（價值/珍）：資料量龐大，「珍」貴...
在醫院，每天都會產生數以萬計的資料。 每個病人來到了醫院，會做各種不同檢查，像是量測病人的身體資訊(身高, 體重), 生命特徵(血壓, 心跳, 呼吸速度等等) 或是 放射影像 ( X-ray, CT 等等 )。 而這些檢查的結果都會被存放在醫院的資料庫內，並且隨著時間不斷的倍數增長，對於醫師和研究員來說，這些數據埋藏了許多寶藏在裡面，相對的，也埋藏了許多陷阱。 像是新生兒的名字，在一開始建檔的時候會寫成 “XXX之子”; 或是時態的資料，每個科別都會有自己的儲存方法 (ex: 年/月/日, 月/日/年, 年/月/日 時:分:秒) 等等，尤其是急診資料，在很多緊急情況下，醫師或是護理師時常會不小心輸入錯誤資訊。 但是當克服這些資料髒亂問題後，我認為「 AI + 醫療大數據」可以產生無限種可能。...
「AI in Healthcare」 議題其實已經有許多大企業開始投入開發，但是 Watson 和 Google都陸續宣告失敗，原因是什麼呢? 我以個人觀點列出以下原因: 1. 醫療體系封閉 醫療資料因為隱私的問題，基本上是完全無法攜出各醫院的，導致資料和模型在各醫院無法做交流。當資料量不夠全面時，各醫院訓練出來的模型通常都會有資料偏差(Bias)問題，使得A醫院訓練出來的模型無法在B醫院使用。 當資料集的某些元素比其他元素具有更大的權重或大小時，我們稱之為有偏見的資料集，此類的資料集通常做不出通用模型，從而導致結果偏斜，準確性水平低和分析錯誤。舉例來說: 當資料集內都只有黃種人資料而訓練出來的模型，通常用在白種人的資料集內會導致結果與預期差距甚大。 1. 資料面的問題 我們從標籤(labe...
以下我會針對上面提到的困難，介紹一些現有處理的方法 1. 當出現資料偏差(Data Bias)該怎麼做?: 在醫療資料內，會有很多原因造成資料偏差，包含病人的生理差異(男生/女生)、種族差異(黃種人/白種人)、甚至社會文化差異(閩南人/原住民)。訓練偏差的資料會產生偏差的模型，而導致錯誤的分類結果。而為了解決此問題，可以嘗試使用 Google 在2017年提出的新想法 — 聯邦式學習 (Federated learning) $^2$。在近幾年，AI LAB致力於推動台灣的聯邦學習醫療聯盟，期望能共同打造善用台灣醫療大數據的智慧醫療產品。 資料偏差議題可以參考的影片 : 推薦的聯邦學習Python Package: https://www.tensorflow.org/federated ...
如果把AI比喻成一艘行駛在水上的大船，而水就是我們的大數據。水亦能載舟，也能覆舟。在航行的時候，會遇到各種不同類型的水，要怎麼航行到達目的地，就要靠各個掌舵人大顯身手了。 「如果你懂海，海就會幫你」— 海龍王彼得
2024年2月23日 · 數據分析師（Data Analyst）是做什麼的？ 數據分析師（Data Analyst）又稱資料分析師，一般定義是能將原始數據轉化成可用於制定決策的資訊，具有數據洞察力、且有能力處理數據轉化成知識的人。 「數據分析師」也是資料產業中一個重要的職能之一，而且這個位置在資料科學熱潮之前就存在已久。
2024年1月30日 · 隨著大型語言模型（LLM）技術的飛速進展，這些先進的系統正在改變我們與機器的互動方式。這些模型不僅提升了機器理解和生成語言的能力，還在許多領域開創了新的應用前景。 本文將介紹Anthropic的Claude、Google的Gemini、Meta的Llama，以及開源的法國Mistral，這些模型各自在技術上的特色和應用實例。
2023年2月7日 · 通過上述詳盡的分析步驟、框架與方法，企業可以對競品有一個全面而深入的了解。. 競品分析不僅是評估對手，更是自我反思與學習的過程，幫助企業發現自身的不足，激發創新的靈感，最終在市場競爭中占得先機。. 目前，AC 有兩堂數據分析課程 「數據思維 ...
2023年7月25日 · 數據分析轉後端工程師 Ching 的「鬆弛有度」學習法. 了解更多 ALPHA Camp 高留存率的學習體驗. ORID 是個在國際上被廣泛使用的焦點式提問法，透過四個層次的提問，能夠幫助使用者更結構性地思考與回應問題。. 本文以大家熟悉的 ORID 焦點討論法為起始點，接下來 ...
2023年4月13日 · 資料分析 5 步驟. 立即領取. 免費點我下載數據技能路線指南. 資料清洗 data cleaning 的方法. 資料清理主要包括以下幾個方面的方法： 缺失值處理：對於缺失的數據，可以選擇填充、插值、刪除或保持不變，具體方法取決於資料的特性和缺失原因。 填充：將缺失值替換為某個常數值，如 0、平均值、中位數等。 插值：根據已有的資料對缺失值進行估算，如使用時間序列資料中的前後值進行線性插值。 刪除：若缺失值占比較低，且不影響分析結果，可以直接刪除缺失值所在的樣本。 重複值處理：對於重複的數據，可以選擇保留一個並刪除其他重複值，或者根據某些規則合併重複的資料。 異常值檢測：通過統計方法或機器學習算法識別異常值，並對其進行修改或刪除。 常用方法有：
