Het gewicht van AI: van cloud-illusie naar edge-realiteit, stroomgrenzen en governance gravity

Deze podcast behandelt de verschuiving van gecentraliseerde cloudinfrastructuur naar gedistribueerde kunstmatige intelligentie (AI) op de edge, evenals de fysieke, financiële en organisatorische beperkingen die daarbij komen kijken.

De Jevons-paradox van AI en Fysieke Grenzen

• Gewicht van data: In 2006 wogen alle data-elektronen van het volledige internet samen ongeveer 50 gram (berekend via E=mc2). Inmiddels groeit de wereldwijde databerg richting de 1.200 zettabytes.
• Jevons-paradox: Hoe efficiënter en goedkoper cloudopslag werd, hoe meer data organisaties massaal gingen opslaan in plaats van opruimen.
• Energie & Schaarste: Generatieve AI versterkt deze druk; chips voor AI-training verbruiken 5 tot 8 keer meer energie dan standaard processors.
• Net-overbelasting: Stroomnetwerken zoals PJM (Virginia) en ERCOT (Texas) lopen vast. Datacenters zoeken oplossingen in vloeistof- en immersion cooling (waar 21% van de datacenters naar overstapt) en Power Purchase Agreements (PPA's) voor duurzame stroom (momenteel zo'n 58% van het stroomaandeel).

Data Gravity vs. Customer Gravity

• Data Gravity: Grote datasets trekken applicaties aan omdat het verplaatsen van data te traag en te duur is (egress fees van cloudproviders). Londen scoort 167 op de Data Gravity Index, terwijl Amsterdam op 8,5 scoort.
• Training vs. Inference: Het trainen van modellen vergt gigantische centrale rekenkracht (Data Gravity). Bij het gebruik van getrainde modellen (inference) geldt echter Customer Gravity: rekenkracht wordt naar de gebruiker toe getrokken om vertraging (latency) te voorkomen.
• Kosten op de Edge: Rekenkracht op de edge is 35% tot 60% duurder dan bij centrale hyperscalers. Dit drieft de opkomst van AI FinOps, waarbij continu de afweging wordt gemaakt of de tijdswinst van nanoseconden de hogere kosten waard is.

Het 4-Lagen Infrastructuurmodel

Toekomstige infrastructuur verdeelt zich over vier lagen:

1. On-site: Direct op apparaten, machines of voertuigen (ultralokaal).
2. Micro datacenters: Binnen een straal van 10 km (bijv. ingebouwd in zendmasten).
3. Regionale datacenters: Binnen 50 km, belangrijk voor lokale controle en AI-soevereiniteit van overheden en bedrijven.
4. Metro datacenters: Centrale hyperscalers voor zware trainingen en grootschalige verwerking.

Governance Gravity

Naast fysieke netwerkgrenzen vormt Governance Gravity (de vertraging door verouderde bedrijfsculturen en regels) een groot risico. Door het AI-amplificatierisico kan een verkeerd ingesteld proces op de edge binnen één milliseconde tienduizenden keren verkeerd worden uitgevoerd. Successen hangen daardoor af van de vraag of een bedrijfscultuur even wendbaar is als de gekozen infrastructuur.