Nvidia RTX PRO 5500-gpu heeft 84GB geheugen en evenveel CUDA-cores als RTX 5090

Die grafische kaart heeft binnen no time een absurde hoge afschrijving door veroudering. Kortom een auto of grafische kaart zijn beide slechte investeringen.

Ik vrees dat je toch zal moeten opleggen dan.

Lol, daar zul je niet ver mee komen. Ik gok dat je er MISSCHIEN een 5080 van kan halen, maar denk eerder een 5060.

Wat een specs geloof me dat dat aardig aan de prijs is vooral met die huidige prijzen, nu alles al duurder is geworden maar 84 gb geheugen met dezelfde specs als een 5090 er.

Kijk je kan er een aardig spelletje mee spelen.

Zijn daar de server gpu's niet beter geschikt voor als je modellen wilt trainen? Het flagschip nvidia gpu hiervan gaat tot 180gb hbm3.

Modellen kunnen redelijk eenvoudig parallel schalen in iets als VLLM. Een mac is leuk maar qua concurrency haalt het dat niet met een GPU, en als je agentic/multi model gaat werken loop je vrij snel tegen de grenzen van unified aan, namelijk dat het ook je gewone RAM is. Dit soort kaarten gooi je in een mooie Epyc 9575F gebaseerde bak (één CPU, geen NUMA gezeik), met 384GB multi-channel RAM, en laat je óf met 4 van deze kaarten in VLLM één model draaien, of je gebruikt die CPU en z'n eigen RAM ook en laat diverse modellen naast elkaar werken. Een paar kleinen (soms op de CPU) die bestanden zoeken/file management doen/dingen preppen/zoeken, paar MCP "deterministische tools" die niet AI/LLM zijn maar écht dingen doen (zoals HTML naar markdown renderen oid), paar testers, paar coders, etc...

Gezien de grote broer PNY RTX PRO 6000 Blackwell Server Edition: beste prijzen, echte reviews en specificaties - Tweakers 18k kost, en qua tokens/sec, en startup veel sterker is dan een mac, heb je eigenlijk gewoon een heel ander product.

Naast LLM's zijn er natuurlijk ook andere workloads, ik kan me niet voorstellen dat je op een mac lekker met CuPY aan de gang gaat om absurde hoeveelheden lidar/afbeeldingen te analyseren/verwerken. Er is meer AI dan alleen tekst/generatief immers.

Ik zal niet stellen dat er geen markt voor is, maar imo is het wel een overschatte markt. Er is meer dan geheugen hoeveelheid. De geheugen bandbreedte (die is niet laag bij de Mac, maar wel lager dan deze GPUs hebben ondanks dat er veel meer geheugen op zit), maar ook gewoon de ruwe rekenkracht. Als je niet puur memory limited ben in je model gaat dat ook een rol spelen. En nu ben ik geen expert of draaien van LLMs, maar ik vermoed zo dat die gigantische hoeveelheden GPUs die naast het geheugen worden verkocht is omdat je ook een hoop rekenkracht nodig hebt.

Kijk je naar FP4 dan gaat deze kaart een ~16x meer TFLOPS hebben. (FP16 4x). En ook integer is het verschil groot. (Let op, dit is gebaseerd op verwachtingen van het internet en niet harde data!).

Dus ja je kan een €25k in een lokale 'server' voor je LLM steken. Voordeel is dat je grote modellen een beetje kan draaien, nadeel zal zijn dat tokens / seconde gewoon erg beperkt is, en dus vooral zin heeft voor op de achtergrond wat doen. En ja controle van betalingsgedrag kan natuurlijk prima op de achtergrond.

Maar het grote ding imo: Hoe ga je in hemelsnaam die uitgave goed praten tov gewoon een abbo nemen bij één van de LLM boeren? Je wil het niet naar de cloud sturen? Elk bedrijf stuurt dingen de cloud in, je hebt gewoon een verwerkingsovereenkomst waar precies staat wat er met de data mag gebeuren. Heb je het nou over echt bijzondere data, bijvoorbeeld gezondheidsdata, dan zullen er nog meer eisen zijn. Maar contracten en klantgegevens? Dat is niet zo bijzonder. En zeker niet als we het hebben over MKB bedrijven.

Ja, je kunt er grote modellen op draaien. Maar dat is dusdanig traag als poep dat je er buiten experimenteren geen klap aan hebt. Je hebt veel rekenkracht nodig. Een hoge gegevens doorvoer, en voldoende razend snel geheugen. Die Mac heeft 1 van de drie.

Aangezien de 5090 praktisch uitverkocht is (https://www.tomshardware....0-for-nvidias-fastest-gpu) denk ik dat €23.588 een schijntje is.

Tja, dit is weer zo'n gevalletje: Als je wilt weten hoe duur hij is, dan is hij niet voor jou

Maar inderdaad ongetwijfeld weer een astronomisch bedrag.

Nog beter! Als je beloofd er 1000 te kopen dan investeert nvidia in jouw kaartenhuis, en kun jij daarmee weer in hun kaartenhuis investeren. (al dan niet via nog een andere kaartenhuis of piramide)

Maar als je echt professioneel bezig bent, dan is zelfs de huidige prijs van de 5090 nog steeds een goede investering, als jij langer moet wachtebln kost uiteindelijk meer.

Tegenover de RTX5090 zal hij waarschijnlijk ietsje sneller, of gelijk zijn. Drivers zijn minder geoptimaliseerd voor games. In sommige benchmarks is de RTX6000 (met meer cuda cores) net wat sneller dan de RTX5090, dus dit zal wel aardig overeenkomen. Dat extra videogeheugen heeft vrij weinig waarde voor games.

Nog even en je moet een melding maken bij mijnaansluiting.nl

🤯 Wat is jow use case voor 2 (!!) van deze GPUs?
En op welke wijze is het kopen van deze GPUs kosteneffectiever dan het gebruik van compute services in de cloud (e.g. AWS, Lambda Labs etc.)?!