今年はいよいよAI真っ盛りな一年になりそうです。
AlphaGoクローンの移植をきっかけに、せっかく、(学習じゃなくて)推論方面で色々ノウハウを持てたので、応用できたらと推論系調査備忘録。
| プラットフォーム | iOS/iPadOS | macOS | Android | Windows |
| フラグシッププロセッサ | A17 Pro | M3 | Snapdragon 8 Gen 3/Dimensity 9300 | Ryzen 7040U/Core Ultra |
| 上記プロセッサNPU性能 | 35TOPS(実力は8.75FLOPS) | 18TOPS(実力は9FLOPS) | 45TOPS/33TOPS | 10TOPS/11TOPS |
| 今年発売予定プロセッサ | A18 | M4? | Snapdragon X Elite | |
| ランタイム | Core ML | Core ML | TensorFlow Lite | DirectML |
| フォーマット | mlmodel/mlpackage | mlmodel/mlpackage | tflite | ONNX |
| 変換対象 | TensorFlow/PyTorch | TensorFlow/PyTorch | TensorFlow | TensorFlow/PyTorch/... |
以下、根拠のない印象。
ランタイムを使った開発の情報はあまりなく、相変わらずまだ開発者が少ない印象。
Core MLは現在、生成AI関連のウェイトをNeural Engine用にコンパイルする時間が非常に長く、推論の速さを活かすのが難しい。
AI Readyを謳おうと思うとCore MLの大改造が必要で、WWDCに向けて大忙しのはず。
メモリも今のiPhone/iPadで標準的な6〜8GBはちょっと苦しい。
今年のモデルから16GBが標準になるんじゃないか。
今のところ、Core MLやMPSGraphよりMetal生書きのサードパーティの生成AI実装のほうが優秀。
TensorFlow Lite、盛り上がっているのか不明。Pixel 8 ProやGalaxy S24のAI機能も果たしてTensorFlow Liteの上に作られているのかどうか。
DirectMLもこれから？
NPUを使おうと思うとこれを介する必要があるが、普通の開発者はNPU使わず、GPUでPyTorchおよびその関連ランタイムを使いそう。
PCメーカがAI PCをアピールするために同梱アプリを作るところから始まりそう。
