搜尋結果
2020年3月10日 · 李龍真因為他在《Player》這檔綜藝中的Show me the player這個環節當中展現了他不遜於饒舌歌手的實力以及他本身的嗓音本來就超適合饒舌的啊！ https ...
2018年12月29日 · Dec 29, 2018. 很多朋友看完前面幾篇貼文後，都提到了《推手》這部老片子，有趣的是，也暗合著前幾天寫的東西，就是有關台灣電影好不好看的問題。 台灣有很多好導演跟好演員，比方李安碰上了郎雄，還談了一個非常直接的問題，就是中國人到了美國，父子跟兒子，大家庭觀跟小家庭觀兩者之間的關係。...
- Ian Chen
2020年4月29日 · Published in. 我親愛的 (日本)電影偏執狂分站. ·. 8 min read. ·. Apr 29, 2020. 雖然說日本主流電影現在真的很多都慘不忍賭，不過對我來說，更重要的是我還是希望透過不少舊電影認識更多不同面貌的日本。 因為上年年頭的一個消息，我上年突然多了一個目標：把這麼多年來的《男人之苦》從頭看一遍，結果我真的做到了...
2021年5月25日 · May 25, 2021. -- 「問卷」已經可以說是大學生（或寫小論文的高中生）必備的技能，可是卻很少有課程手把手教你怎麼製作。 到底要怎麼開始設計問卷，並且，怎麼樣才算是一份好的問卷呢？ 本篇文章會 淺談設計問卷的邏輯要點 ，以「從零到有」一步一步分享設計問卷的過程，這篇文我會參考 哈佛商業評論HBR 2002...
- Self-Attention
- Attention Is All You Need
- Self-Attention 計算方式
- Self-Attention 流程
概念
1. 以 sequence labeling 的任務為例，輸入4個向量，輸出4個向量。 輸入向量可以是整個模型的輸入，也可以是某層 hidden layer 輸出的向量。 2. 每一個輸出的向量，都是考慮過所有輸入向量後才得到的結果。 3. 深藍色的輸入，通過 self-attention 後，會得到一個深藍色的輸出，以此類推。 4. 接著在把有考慮整個句子的向量，丟到 fully-connected 去輸出我們想要的數值、類別。 5. 如此一來，fc 就可以考慮到整組句子的資訊。 self-attention 跟 fully-connected 重疊使用
Google 提出 Transformer 的架構，裡面最重要的 module 就是 self-attention (就像變形金剛裡的火種源) 其實在更早的 paper 就有出現過類似的架構，但在這篇文章裡面，才將 self-attention 發揚光大。
Sequence labeling 的輸出 b1 如何產生？
α1：表示輸入的 a1跟其他輸入向量之間的相關性，它會去考慮其他向量裡面，有沒有哪些資訊是 α1 輸出到 b1 會用到的。
相關性怎麼計算？
有很多不同種做法，最常見的是 dot product。
Dot Product
假設要計算 a1, a4 的相關性，就會將這兩個向量，分別乘上兩個不同的矩陣（wq, wk），得到 q, k 之後，再對 q, k 做 dot product，得到一個數值（α）。
計算 Attention Score 剛剛提到的 q 被稱作 query，k 被稱作 key。 實際要算出 α1 時，需要分別去計算 a1 跟 a2, a3, a4 的相關性。 1. 因此我們會將 a1 乘上一個矩陣，得到 q1，a2 乘上一個矩陣，得到 k2，a3, a4 也分別乘上矩陣得出 k3, k4。 2. 對 q1, k2 做 dot product 就可以計算出 α1,2，這個數字被稱作 attention score。 3. 接著分別對 q1, k3、q1, k4 做一樣的事情，就可以得到 α1,3、α1,4。 實作時也會讓 a1 跟自己做關聯性，因此也會得到一個 α1,1。 這時候我們就有了 α1,1、α1,2、α1,3、α1,4。 4. 接著會在過一層 activation...
2020年10月8日 · 演算法介紹. 1. ID3 ：疊代二元樹3代（Iterative Dichotomiser 3），一種基於資訊獲利（Information Gain）的演算法，其基礎是 借助熵（Entropy）的概念來衡量每種特徵分類後的資訊量，資訊量越高就越優先做為決策條件。...
2019年4月6日 · 545. 4. Photo by Leo Furiolo on Unsplash. 2017年，《學苑》出咗一本用「香港話」寫嘅書（我仲有大量存貨，想要嘅問我攞）當然我寫咗一篇回應。 下面係修訂版。 寫廣東話嘅路，應該點行落去. 為大家解決幾個關於粵語書寫嘅困惑. medium.com....
