這陣子幾乎每天都有transformer的新突破，不但能搞定文字，還能跨行搞視覺，甚至還能根據文字產生視覺圖像，但我始終不愛transformer，這篇文章是很標準的transformer擁戴者論點，什麼卷積只能處理局部特徵啦，為了處理遠程依賴動用大尺寸卷積會造成維度災難啦，然後接著安麗自注意力（但都忘了自注意力來自於視覺）有多好能處理全局特徵。
我要說的是，如果1700億個權重的gpt3的不會有維度災難，那卷積鐵定不會。我不喜歡transformer的最大原因是因為他就只是傳統的全連接層改裝，他不像卷積是權值共享，他純粹就是以權重為基礎的特徵儲存器，所有的神奇結果都來自於他強大的「記憶」能力而非是智力，以及有個喜歡強迫餵食的富爸爸（谷歌臉書或微軟），因為是背的，所以不管再厲害他而，他都是一隻鸚鵡而已，我認為智能的一種特性就是高壓縮比以及高復原能力，所謂高壓縮比指的是人類可以很快的掌握事物相似相異之處（歸納），在腦中存的不是記憶的細節（transformer很擅長），而是抽象的概念理解，這是機器無法辦到的,而高復原能力指的是即使數據缺失或僅有局部，但仍能復原（腦補）全貌，就像帶了口罩或只靠背影我們就能認出熟人，這兩個能力，現在的AI可以透過大規模數據做到後者一部分，但高壓縮比就是卷積所擅長但tranformer沒辦法的部分
https://mp.weixin.qq.com/s/V43dbrdvJgar1nyi-Uy5GA
鸚鵡餵食器 在 大鸚帝國ParrotEmpire - 義大利2GR | 防灑餵食器，大容量自動 ... 的推薦與評價
禾園鳥坊. Keperluan Haiwan Peliharaan ; 粉絲頁-磨趾棍工廠- 鸚鵡 器具. Keperluan Haiwan Peliharaan ; 鸚珞坊. Kedai Haiwan Peliharaan ; 木入森. ... <看更多>