Hetzner anounces new GPU server // Mixtral ?

[cooooookies]

Available for existing customers via robot.
NVIDIA RTX 4000 SFF 20GB
Core i5 13500, 64GB RAM
2x1.92TB SSD
219 Euro/m + 94 Euro Setup

They claim you can run Mixtral on it, but what I have heard, even the 4 bit quantized model needs sligthly more than 20GB VRAM. Your thoughts?

Der neue GPU-Server GEX44 nutzt dafür die leistungsstarke NVIDIA RTX™ 4000 SFF Ada-Generation-Grafikkarte mit 20 GB GDDR6 ECC Grafikspeicher und ist somit ideal geeignet für den Einsatz trainierter KI-Modelle. So lässt sich beispielsweise das Open-Source-Sprachmodell Mixtral per API auf dem GPU-Server mühelos betreiben. Weitere Einsatzgebiete sind grafikintensive Anwendungen, wie 3D-Modellierung oder CAD.​

Ein Intel® Core™ i5-13500 Prozessor der 13. Generation “Raptor Lake” mit Hyper-Threading Technology Virtualization (Intel-VT) und stolzen 6 Performance- und 8 Effizienz-Kernen sowie 64 GB DDR4 RAM und zwei schnellen 1.92 TB Gen3 NVMe SSDs der Datacenter Edition machen den GEX44 zu einem innovativen Kraftpaket. Erhältlich ist der GEX44 inkl. IPv4-Adresse zu einem unschlagbaren Preis von nur 218,96 € monatlich zzgl. einer einmaligen Setupgebühr in Höhe von 94,01 €.​

 

[Ashk881]

Available for existing customers via robot.
NVIDIA RTX 4000 SFF 20GB
Core i5 13500, 64GB RAM
2x1.92TB SSD
219 Euro/m + 94 Euro Setup

They claim you can run Mixtral on it, but what I have heard, even the 4 bit quantized model needs sligthly more than 20GB VRAM. Your thoughts?

Der neue GPU-Server GEX44 nutzt dafür die leistungsstarke NVIDIA RTX™ 4000 SFF Ada-Generation-Grafikkarte mit 20 GB GDDR6 ECC Grafikspeicher und ist somit ideal geeignet für den Einsatz trainierter KI-Modelle. So lässt sich beispielsweise das Open-Source-Sprachmodell Mixtral per API auf dem GPU-Server mühelos betreiben. Weitere Einsatzgebiete sind grafikintensive Anwendungen, wie 3D-Modellierung oder CAD.​

Ein Intel® Core™ i5-13500 Prozessor der 13. Generation “Raptor Lake” mit Hyper-Threading Technology Virtualization (Intel-VT) und stolzen 6 Performance- und 8 Effizienz-Kernen sowie 64 GB DDR4 RAM und zwei schnellen 1.92 TB Gen3 NVMe SSDs der Datacenter Edition machen den GEX44 zu einem innovativen Kraftpaket. Erhältlich ist der GEX44 inkl. IPv4-Adresse zu einem unschlagbaren Preis von nur 218,96 € monatlich zzgl. einer einmaligen Setupgebühr in Höhe von 94,01 €.​

$220/mon is about $0.33/hr. That's a pretty great offer for 20 GB of vram.

Earlier you would only get like an Nvidia T4 GPU (that too most often serverless) at that price point.

And Mixtral-7b with 8bit quantization can easily run on 20 gb of Vram. You need a proper runtime tho.

 

[Fluctand]

GEX44 looks cool for Mixtral, but 20GB VRAM might be tight, even for the 4-bit model. Double-check with Hetzner or run benchmarks to be sure. If Mixtral's crucial, explore options with more VRAM. But for other tasks, GEX44 could still be a beast... Up to you and your needs.