為了因應即將到來的AI時代,
各家CPU廠開始在CPU裡面加入NPU, 即神經網路處理器
這邊已有一篇評測
https://www.youtube.com/watch?v=cN_bm3jT5VI
以這個評測為例, 讓我有點霧裡看花, 不是很能明白:
Intel Ultra 7 155H
CPU分數 67
GPU分數 413
NPU分數 282
嗯....這NPU看起來沒比較厲害?
所以我的疑問就是:
1. NPU 表現還不如 GPU, 這也許可以理解為最佳化還沒到位,
不過即使未來能小贏, 為什麼不拿去做GPU就算了, 還可以增加3D性能。
2. NPU 能執行通用計算嗎? 如果可以, NPU 只是神經網路運算特化
的 GPU?
3. 如何調用 NPU? 是視為 OpenCL / DirectML 裝置?
還是又整出新的方法跟API了?
又或只是在GPU下的子集? (調用核顯運算時指示調用NPU?)
有沒有正在行內的說說看吧...
-----
未來五年可能漸漸開始沒人要比x86性能, 改比NPU性能了...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.169.11.48 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1703666680.A.127.html
※ 編輯: wahaha99 (118.169.11.48 臺灣), 12/27/2023 16:47:57
→ smallreader: 類似說桌上型處理器可以直接用CPU算 114.27.25.210 12/27 16:53
→ smallreader: 但行動裝置會太耗電所以設計專用電路 114.27.25.210 12/27 16:53
→ friedpig: asic拼的就能耗比 除非規模堆到超大 不 223.140.22.3 12/27 16:58
→ friedpig: 然輸GPU 也還好吧 223.140.22.3 12/27 16:58
確實
要等NPU的每瓦性能出來才知道
不過類神經網路也是百百種
應該不會是ASIC這麼沒彈性的做法吧
※ 編輯: wahaha99 (118.169.11.48 臺灣), 12/27/2023 17:00:31
→ friedpig: 相容性87%靠one api去處理吧 牙膏養一 223.140.22.3 12/27 17:00
→ friedpig: 堆人做one api不是養假的 223.140.22.3 12/27 17:00
→ friedpig: 牙膏的npu 居然是有支援fp16的 本來以為 223.140.22.3 12/27 17:06
→ friedpig: 只有到int8的 ASIC 223.140.22.3 12/27 17:06
→ wahaha99: fp16一定要的吧 int8跑AI應該很BI 118.169.11.48 12/27 17:09
推 SHR4587: 看起來問題會是桌上型真的需要這東西嗎 220.136.0.247 12/27 17:17
→ SHR4587: 目前看起來煮戰場會是筆電跟平板，看微軟 220.136.0.247 12/27 17:18
→ SHR4587: 之後的動向了 220.136.0.247 12/27 17:18
→ wahaha99: 如果AI服務成為標配,那桌上型肯定也要啊 118.169.11.48 12/27 17:19
→ wahaha99: 尤其是沒獨顯的系統 118.169.11.48 12/27 17:21
推 aegis43210: 因為微軟想推廣copilot，所以一定要有114.136.179.249 12/27 17:28
→ aegis43210: NPU114.136.179.249 12/27 17:28
推 kimula01: 以後說不定玩lol可以離線全AI隊友了 59.124.205.12 12/27 17:33
→ kimula01: 全隨機中路 本地電腦運算AI控制隊友 59.124.205.12 12/27 17:34
推 aegis43210: 實際上MTL上面的應該叫VPU，並不是專114.136.179.249 12/27 17:34
→ aegis43210: 門拿來加速LLM的推論，所以只是堪用程114.136.179.249 12/27 17:34
→ aegis43210: 度，真正的NPU要等ARL114.136.179.249 12/27 17:34
→ kimula01: 星海爭霸3搞不好也不用微操 每個都AI算 59.124.205.12 12/27 17:35
推 rgo: 炒股用的話術 1-2個月就消風啦223.137.176.161 12/27 17:44
→ rgo: 但能把 宏碁 華碩這些帶到突破幾十年的新高也223.137.176.161 12/27 17:46
→ rgo: 是很利害223.137.176.161 12/27 17:46
→ lazioliz: 你先會用再來說吧 1.174.199.39 12/27 17:55
推 hidalgo22976: 應該是軟體要優化吧，等於arm64又 1.171.170.150 12/27 17:56
→ hidalgo22976: 多了類神經 1.171.170.150 12/27 17:56
→ hidalgo22976: 這華碩年前就在手機做過了 1.171.170.150 12/27 17:57
→ hidalgo22976: 現在還不成熟，之後再看吧 1.171.170.150 12/27 17:58
→ zo6596001: 未來說不定會出現AI小畫家，可以自動 111.71.116.106 12/27 18:01
→ zo6596001: 摳圖、調色。 111.71.116.106 12/27 18:01
推 Rust: 如果把這個 NPU 設計成插 PCI-E會有市場嗎 123.110.251.5 12/27 18:03
→ stepnight: 已經有自動摳圖了 49.216.163.179 12/27 18:25
→ pig: 可以參考一下 apple 的a系列跟m系列怎麼用的 114.33.222.193 12/27 19:12
→ Ceferino: 特化計算阿，而且應該是CPU+GPU+NPU混 123.192.234.4 12/27 19:16
→ Ceferino: 合計算，微軟的DirectML團隊應該正在忙 123.192.234.4 12/27 19:16
→ Ceferino: 這些事 123.192.234.4 12/27 19:16
推 oppoR20: Pcie的不就是tensor tpu嗎 223.139.85.192 12/27 19:16
→ oppoR20: 當然沒像npu那麼通用就是了 223.139.85.192 12/27 19:18
推 ss218: 先有實際應用面再來討論效能也還來得及 114.34.40.71 12/27 20:21
→ tokikaze: 目前生成式AI那麼夯哪沒有實用面 36.236.197.112 12/27 20:23
推 Ereinion9895: 他能做的顯卡都能做，只是能耗問題 114.32.176.250 12/27 22:46
→ Ereinion9895: 還有是否最佳化過。要是你用4090， 114.32.176.250 12/27 22:46
→ Ereinion9895: npu還是無法贏過那是當然。相較之 114.32.176.250 12/27 22:46
→ Ereinion9895: 下筆電上的npu會更加實用。能耗問 114.32.176.250 12/27 22:46
→ Ereinion9895: 題 114.32.176.250 12/27 22:46
推 tint: 剛起步 而且還有等未來微軟Win12的要求標準 218.187.86.49 12/27 22:47
→ tint: 目前NPU主要是執行低精度矩陣乘法 功耗更低 218.187.86.49 12/27 22:53
→ leviva: 說不定zen 5 / arrow lake就會拼NPU了 27.52.103.83 12/27 23:33
→ crimsonmoon9: int8在邊緣運算很常見啊 低功耗精度 42.77.118.32 12/27 23:39
→ crimsonmoon9: 也不會掉太多 42.77.118.32 12/27 23:39
→ crimsonmoon9: *準確度 42.77.118.32 12/27 23:44
→ stepnight: 對你沒有實際應用 49.216.163.179 12/28 01:30
→ stepnight: 不等於這東西沒實際應用內== 49.216.163.179 12/28 01:30
推 menchian: 是蠻期待以後遊戲導入之後，能看到完全 220.134.55.45 12/28 02:12
→ menchian: 不同風貌的遊戲出現 220.134.55.45 12/28 02:12
推 asmodee: 等PS/XBOX導入再說吧 118.161.66.58 12/28 03:48
→ ma721: 再過2到3代再來煩腦 39.14.40.253 12/28 09:37
推 lpoijk: 當初cpu覺得算圖形很浪費 所以跑出了GPU 111.196.243.14 12/28 09:50
→ lpoijk: 同樣道理 現在gpu覺得算這些數學很浪費 111.196.243.14 12/28 09:50
→ lpoijk: 所以出了npu/vpu 111.196.243.14 12/28 09:51
→ lpoijk: gpu還有很多其他能力 用4090其實很浪費 111.196.243.14 12/28 09:51
推 mitchness: 等3代以後吧 前面一定是又貴效能低 111.250.42.113 12/28 10:48
推 phylen: 目前看起來沒什麼特別優勢 49.216.160.118 12/28 12:25
