Deze podcast-aflevering belicht de cruciale rol van werkgeheugen (RAM) in het huidige AI-tijdperk en verkent de manier waarop Apple de grens trekt tussen lokale inferentie en de cloud.

• RAM als Flessenhals: Verwerkingssnelheid (CPU/GPU) is niet langer de doorslaggevende factor voor on-device AI; de hoeveelheid werkgeheugen is dat wel. Grote taalmodellen vereisen dat miljarden parameters gelijktijdig in het RAM geladen blijven. Zonder minimaal 12 GB RAM ontstaat een merkbare vertraging door het voortdurend wisselen van data met de harde schijf.
• Apple’s Triagesysteem: Apple introduceert in iOS 27 en macOS Golden Gate een hybride inferiemodel met drie lagen:
  1. Lokaal op het apparaat: Lichte taken draaien direct via de Neural Engine en het lokale model (3 miljard parameters op 2-bitRes ...