AMD vergroot focus op AI-chips met overname van start-up Taalas

Als je de snelheid even wil testen kan dit hier:

https://chatjimmy.ai

Een stelling die ze in de video analyseren is dat het halfjaarlijks bakken van een vast model haalbaar zou zijn als je ervan uitgaat dat in de toekomst het gros van de subtaken door simpele sub-agents uitgevoerd kan worden.

Mijn inziens schieten er daarom mede tal van bedrijven de grond uit die zich specialiseren op het classificeren en routeren van prompts op dit moment. Mede ook het bekende verhaal; dat de kosten voor de frontier labs de pan uit rijzen. Maar dus ook voor scenario's waarin delen van prompts bij dergelijke gespecialiseerde snelle/goedkope maar minder capabele modellen terecht komen. Ook bij announcements van frontier labs over de modellen zelf zie je regelmatig grote woorden over het kunnen opdelen en aansturen van nog meer sub-agents binnen dezelfde prompt.

Als AMD dat in z'n next-gen rack dan hardwarematig stukken beter gerouteerd krijgt dmv dergelijke 'hardcore 1' chips hebben ze een interessante usp te pakken.

Waarschijnlijk https://chatjimmy.ai/, die word al meerdere keren in de comments hier genoemd als voorbeeld.

Excuus, ik las het alsof ze dat on the fly konden veranderen. Klopt ASICs weldegelijk ja.

<leest terug>

Ik snap nu ook waarom:

AI modellen in hardware programmeren

Dat leest voor mij alsof het aan te passen is.

Dank, we waren er inmiddels al uit: Dat_Doen_We_FF in 'AMD vergroot focus op AI-chips met overname van start-up Taalas'

Opzich zou dat een valide argument kunnen zijn waare het niet dat alle geheugen chip vormen slecht verkrijgbaar zijn.

Bijvoorbeeld de Ram en opslag in je telefoon zijn totaal niet geschikt voor AI. Dit houdt in dat de bestaande productie lijnen zijn omgebouwd om enkel geheugen te bakken dat wel geschikt is voor AI.

De personeel stakingen bij Samsung zijn de grootste teken geweest van dit voorval. Omzet was opeens 300-400% meer en het personeel kreeg helemaal niks ervoor terug behalve meer overwerk uren.

Geheugen wordt gebruikt om het model in te laden en daarna continu te raadplegen bij het verwerken van elke token. In chipvorm hoeft dit niet, dus heb je geen geheugen nodig. En aangezien het allemaal al op 1 chip zit, kun je deze chip razendsnel raadplegen zonder tussenkomst van PCI-E lanes, RAM/VRAM en CPU/GPU.

Net zo snel als de tijd die het kost voor de chip om 1 complete cyclus te doorlopen. Met de gigaherzen van tegenwoordig is dat een flinke klap sneller dan dat je dat met GPU en het nieuwste type VRAM voor elkaar kan krijgen.

HBM geheugen is specifiek voor AI doeleinden ontworpen. Maar deze beslaan bijna 3 keer het oppervlak van 1 wafer dan een DDR5 RAM module in beslag neemt. En omdat het zoveel oppervlak meer vergt, is het meteen ook veel foutgevoeliger. Dus duurt het fabricage-proces voor de wafer al een stuk langer.

En daarna moeten meerdere wafer-lagen over elkaar heen worden gelegd en dan verbonden worden met flinterdunne gouden draadjes. Een procedure bekend onder de naam: 'Packagen'. Verbinden van lagen vereist een bijzonder hoge mate van precisie. Stel, je moet 8 lagen op deze manier verbinden, dan is het jammer als het bij de 8e laag misgaat. Al het goede werk bij de vorige lagen is dan meteen teniet gedaan.

Erger nog, in deze stage kun je de chip meteen weggooien en valt er niets van her te gebruiken. In de wafer stage zijn er nog mogelijkheden voor hergebruik van de basis materialen, al dan niet voor het maken van HBM geheugen.


Al die stappen consumeren heel snel alle beschikbare produktie-capaciteit bij de grote 3, foutgevoeligheid maakt de chips ook erg duur en daar komt het 'package' proces nog eens overheen.