OpenAI onthult eerste resultaten van Jalapeño-chip
OpenAI heeft de eerste resultaten van zijn Jalapeño-AI-chip gepubliceerd. Die chip is specifiek bedoeld voor inferentie. Volgens het AI-bedrijf heeft Jalapeño 1,5 tot 1,9 keer meer rekenkracht per kilowatt dan Nvidia's Blackwell-chips. Ook de latency zou lager zijn dan bij bestaande systemen.
bij de aankondiging van Jalapeño.
OpenAI heeft Jalapeño getest op InferenceX, een benchmark van SemiAnalysis die meet hoe snel en efficiënt AI-chips taken uitvoeren. Volgens het bedrijf levert Jalapeño bij verschillende opensourcemodellen 1,5 tot 1,9 keer meer throughput per kilowatt. De chip heeft een maximaal vermogen van 700W, maar zou in de tests niet meer dan 550W hebben aangetikt.
Volgens OpenAI is de end-to-endlatency van de chip 1,7 tot 3,6 keer lager dan die van Nvidia's Blackwell-chips. De maximale interactiviteit, die meet hoe snel een chip tokens kan genereren, is 2,7 tot 4,1 keer hoger dan die van Blackwell-chips.
De chip van OpenAI gebruikt tijdens de benchmarks geen 'trucjes' om betere resultaten te boeken, zoals multi token prediction of speculatieve decodering. Jalapeño minimaliseert het transport van data onder meer door de KV-cache helemaal lokaal te houden. Dat zorgt voor een veel lagere latency per token.
Kanttekeningen
Semi Analysis plaatst wel een aantal kanttekeningen bij de resultaten. Zo zijn de cijfers volledig afkomstig van OpenAI. Het onderzoeksbedrijf heeft bepaalde InferenceX-runs wel onafhankelijk geverifieerd, maar niet de volledige benchmark uitgevoerd.
Verder vergelijkt OpenAI zijn chip vooral met Blackwell-chips. Dat is niet helemaal eerlijk, omdat Jalapeño HBM4 gebruikt, terwijl Blackwell HBM3E gebruikt. Verder gebruikt OpenAI niet de AgentX-benchmark. Die krijgt de voorkeur van Semi Analysis, omdat de tests meer realistische gebruiksscenario's nabootsen.
OpenAI wil tegen het eind van het jaar zijn Jalapeño-chips gaan gebruiken. De tweede generatie van de AI-chip is volgens het bedrijf al 'vol in ontwikkeling', terwijl de derde generatie 'steeds meer vorm krijgt'. Het bedrijf benadrukt dat het Nvidia-chips blijft inzetten voor training en inferentie van AI-modellen.
Lees meer
Reacties (40)
Waarom zouden ze die “trage” NVIDEA chips hiervoor blijven gebruiken als hun eigen chip zoveel sneller is..? Of moeten we toch nog maar even wachten op onafhankelijke testresultaten?Het bedrijf benadrukt dat het Nvidia-chips blijft inzetten voor training en inferentie van AI-modellen.
Ze vergelijken hier met Blackwell en die chip is al van maart 2024...
De opvolger van NVIDIA met ook HBM4 is al in productie..
[Reactie gewijzigd door Navi op 26 augustus 2026 12:53]
Kan verkeerd zijn natuurlijk maar als je eerlijk wil vergelijken gebruik je toch de normale testen?
Anthropic kwam bijvoorbeeld met die “corrected ebita” verwoording. Geen kat in de financiële wereld die daar ooit al van gehoord had. Dat terwijl het nu toch wel al jaren de standaard is op bedrijfsresultaten onderling te vergelijken op ebita en winst. Vandaar dus dat ik vind dat het bij die AI bedrijven wel allemaal wat op dezelfde manier gaat.
Zoals al hierboven gezegd: dit is eigenlijk een Application Specific IC. Applicatie-specifiek is het tegenovergestelde van "standaard"., vraag me alleen af waarom je als fabrikant dan wil afwijken van de normale testprocedures.
[Reactie gewijzigd door Powerblast op 26 augustus 2026 16:22]
Dit is weer zo een gevalletje van we kunnen het niet verifiëren want ze gebruiken andere testen gedeeltelijk.
[Reactie gewijzigd door Powerblast op 26 augustus 2026 17:28]
Ik vind daarom datacenters uitgedrukt in GW erg raar. Dit soort ASICS zijn bijna twee keer sneller per watt in wat ze moeten doen.
Als chips efficiënter worden, dus meer berekeningen per Watt, dan kan het zijn dat een datacentrum als geheel minder stroom trekt na vervanging van oudere chips met meer efficiënte. Maar er kunnen dan ook gewoon meer chips/servers geplaatst worden, om het vermogen ongeveer hetzelfde te houden maar meer gedaan te krijgen. Want de koelinstallatie kon dat toch al aan, en bedrijven zullen hun productiemiddelen graag volledig inzetten als het gebouw er toch eenmaal staat. Zie ook: Jevon's Paradox.
Hoe dan ook houdt een datacentrum een bepaald maximum vermogen, tenzij ook de koelinstallatie in de toekomst efficiënter kan en opnieuw wordt uitgevoerd. De stroomvoorziening naar het datacentrum zal dat maximumvermogen moeten kunnen leveren, dus dat is waar de infrastructuurbouwers rekening mee moeten houden. Het gebruikte vermogen van moment tot moment hangt af van welke chips er aanwezig zijn en wat het datacentrum allemaal doet, inclusief hoe hoog de vraag is naar rekenkracht.
We zien in de ontwikkeling van chips regelmatig stappen naar minder stroomverbruik, maar ook naar meer. Vooral als de rek eruit is qua optimalisatie dan wordt de extra performance geregeld door juist meer vermogen te trekken: grotere chips, meer chips gestapeld, of hogere frequenties over soortgelijke chips. Dus over de langere tijd weet je niet of chips altijd zuiniger worden, en als dat zo is dan weet je niet of het datacentrum als geheel ook werkelijk zuiniger wordt.
[Reactie gewijzigd door geert1 op 26 augustus 2026 13:31]
Dat is echter een glijdende schaal. Een GPU is minder breed toepasbaar dan een CPU. Python draai je er niet op. En zeker oude GPUs (voor CUDA) waren gewoon ASICs om je beeldscherm aan te sturen
Dat de chip het goed doet op een benchmark is 1 ding, maar hoe gedraagt het ding zich straks in het datacentrum, zowel op performance als betrouwbaarheid? Dat is de volgende stap, en in de tussentijd leun je ook nog gewoon op Nvidia.
Uit de grafiek maak ik op dat de Jalapeño chip geen FP16 berekeningen kan uitvoeren.
Bijna alle modellen worden met FP16 of FP32 precisie bewoud, en worden vervolgens door middel van quantization gecomprimeerd. Hiermee draaien ze significant sneller door gebruik van de lagere floating point precisie, en neemt het geheugen en stroomverbruik ook af.
Nadeel van quantization is dat het model minder precies is, en de output van het model dus afneemt naar mate je meer quantization (compressie) toepast.
Kunnen ze benadrukken dat ze Nvidia-chips in blijven zetten, maar er wordt her en der door de grote partijen wel aan de stoelpoten van het 'monopolie' van Nvidia gezaagd.
Goed voor development van zuiniger (of efficiëntere) AI-chips.
OpenAI’s chip istrouwens nog geen directe vervanger voor Nvidia’s volledige aanbod, zeker niet voor training. Nvidia’s moat bestaat daarnaast niet alleen uit de chips, maar vooral ook uit CUDA, networking en het complete software-ecosysteem. Dit laat overigens wel echt zien dat grote klanten actief proberen hun afhankelijkheid van Nvidia te verminderen. Dat lijkt me op zijn minst een reden om de extreem hoge verwachtingen rond het aandeel Nvidia opnieuw tegen het licht te houden (lees: SELL).
Met Triton en wat ze op hoger niveau gebruiken kunnen ze kwa software waarschijnlijk zo overstappen. Het kan zelfs zo zijn dat Jalapeno wel kan trainen (als hun trainings software alle kritieke paden met fp4 kan is er weinig reden waarom niet) maar dat ze voor politieke redenen doen alsof het inference only is.
Ergens vind ik het vreemd dat het zo lang moet duren, Google heeft al 12(!) jaar hun Tensor-dingen, ik geloof dat mijn werklaptop ook een extra NPU heeft, die je toen al absoluut nodig zou moeten gaan hebben (voor onbekende toepassingen die helemaal schitterend zouden zijn, maar nooit gekomen zijn), en zelfs m'n ESP-32 had al zo'n tensor-ding aan boord.
Dusss mooi kerstcadeautje: een nieuwe videokaart
[Reactie gewijzigd door brama op 26 augustus 2026 12:55]
Volgens mij is het ook niet eens zo belangrijk hoeveel sneller ze zijn, veel belangrijker is, hoeveel kunnen ze er produceren? Al zijn ze 2x zo snel en je kunt nog maar een paar procent van de productie van Nvidia evenaren, dan zet het nog steeds niet echt zoden aan de dijk.
Het is onduidelijk wat de impact van het gebruik van HBM 4 -geheugen is op deze resultaten, als ze vergelijken met Blackwell-chips die uit HBM 3 bestaan. Als je kind op deze manier iets "spectaculair" komt vertellen, dan weet je dat je moet doorvragen :-).
Je kan eigenlijk nergens vanuit gaan als we het niet wetenDat valt tegen die cijfers. Aangezien ze namelijk vanuit OpenAI zelf komen, kan je er vanuit gaan dat ze het meest optimistische scenario gebruikt hebben. In de praktijk zal er dus nog wel wat vanaf gaan.
Stel ze maken zelf 3% van wat nvidia maakt en ze nemen nu 50% van alle output van nvidia af, dan gaan ze dus van 50% naar 44% (want 2x zo snel a 3% is 6%), een daling van 12% in de afname van nvidia. Ik vind dat best noemenswaardig, en je moet ook ergens beginnen, je kan moeilijk in een keer volledig afstappen, dus geef het dan nog enkele jaren en nvidia is er niet meer voor nodig.Al zijn ze 2x zo snel en je kunt nog maar een paar procent van de productie van Nvidia evenaren, dan zet het nog steeds niet echt zoden aan de dijk.
Vind het erg kortetermijn als je enkel naar deze getallen gaat kijken zonder verder te kijken eigenlijk. Dat ze daadwerkelijk zelf gaan produceren zegt eigenlijk al duidelijk wat de richting is, wat ze ook beloven (voor nu) mbt het blijven gebruiken van nvidia.
[Reactie gewijzigd door watercoolertje op 26 augustus 2026 13:21]
Dat is dan wel weer een afhankelijkheid van Amerikaanse techt, en dus het liefst ook van Europese bodem. Maar waar blijft die? Ik ken geen enkel initiatief dat een soort van Apple 2.0 probeert te zijn. We hebben Smart Photonics als enige lichtpuntje (dat ik weet), maar dat ligt morgen niet in de winkel.
(*) 1 van die veelbelovende nieuwkomers is / was groq maar die is door nvidia overgenomen. Er zou mi wetgeving moeten zijn die kritisch naar de markt kijkt en verbiedt dat een mono- guopolist een nieuwkomer van de markt kan wegplukken.
Tot over 5 jaar de hardware zoveel beter is geworden dat we achteraf die datacenters niet nodig hadden.
Laten we het "dapper" noemen die huidige strategie.
Om te kunnen reageren moet je ingelogd zijn
/i/2008326958.png?f=imagenormal)
/u/27299/hoofd.png?f=community)
:strip_icc():strip_exif()/u/449301/crop64dbaa71864ba_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/177567/crop5f8591cadf088_cropped.jpeg?f=community)
:strip_icc():strip_exif()/u/35767/images.jpg?f=community)
/u/243953/crop56f55a7bcf291.png?f=community)
:strip_icc():strip_exif()/u/71115/plus222.jpg?f=community)
:strip_icc():strip_exif()/u/218/em.jpg?f=community)
:strip_icc():strip_exif()/u/134130/crop656d9955ccc54.jpg?f=community)
:strip_icc():strip_exif()/u/174878/SCKnightMicro.jpg?f=community)
:strip_icc():strip_exif()/u/57655/SuperTeamLogo.jpg?f=community)
:strip_icc():strip_exif()/u/23149/240px-Basil_Fawlty.jpg?f=community)
:strip_icc():strip_exif()/u/249917/jaapschaap.jpg?f=community)
/u/722808/crop5c59d573bb7ca_cropped.png?f=community)