staging.inyokaproject.org

1. Anwendungsbereich Desktop PC vor allem für KI. NVIDIA Cuda soll laufen!

2. Preisrahmen bis 6000,-

3. Kommt ein Gebrauchtkauf in Frage? NEIN

4. Kommt ein selbst zusammengebautes System in Frage? JA

5. Welche Ubuntu-Versionen (oder Derivate) werden bevorzugt? 24.04

8. Sollen vorhandene Komponenten genutzt werden? NEIN

9. Welche der folgenden Punkte haben hohe Priorität? LEISTUNG

Wir denken an folgende Basis:

CPU AMD Ryzen 9 7950X

GPU NVIDIA GeForce RTX 4080 SUPER Boost-Taktgeschwindigkeit: 2.55 GHz GPU-Speichergröße: 16 GB (4090 wäre noch besser aber die gibts ja scheinbar nirgends gerade.. und mehr Videospeicher schadet auch nie.. )

RAM Arbeitsspeicher Corsair DIMM 96 GB DDR5-6600 (2x 48 GB) Dual-Kit,

Mainboard? wäre cool wenn das zwei mal diesen RAM verträgt.. zur Not ( ASUS ROG STRIX X670E-F GAMING WIFI) aber vielleicht gibt es etwas besseres in der Hinsicht.

restliche Komponenten sind nachrangig..

Unsere Frage: Verträgt sich die Hardware mit Ubuntu 24.04 oder zur Not auch 22.04??

Vielen Dank im Voraus ☺

Der_Silver_Surfer schrieb:

1. Anwendungsbereich Desktop PC vor allem für KI. NVIDIA Cuda soll laufen!

Die nächste Nvidia GPU Generation "Blackwell" steht in den Startlöchern. Bei dem nicht so ganz unerheblichen Budget könnte es vielleicht sinnvoll sein, für KI und CUDA Performance so lange abzuwarten, bis die Grafikkarten mit "Blackwell" GPU Architektur erhältlich sind. In der stärksten Leistungsklasse soll es wohl rund ein Drittel Leistungszuwachs gegenüber der Vorgängergeneration geben. Zumindest bei Gaming-Benchmarks laut Computerbase:

• https://www.computerbase.de/artikel/grafikkarten/geforce-rtx-5090-5080-5070-ti-5070-details.91036/

Angeblich soll sich die KI-Leistung mit der "Blackwell" GPU Architektur sogar verdoppelt haben:

• https://the-decoder.de/nvidia-blackwell-liefert-in-ersten-benchmarks-doppelte-ki-trainingsleistung/

Billiger soll die nächste Generation Nvidia Grafikkarten leider aber wohl nicht werden.

Vielen Dank für den Hinweis..

Es ist leider so, dass wir das Geld jetzt haben und ausgeben "müssen". Wenn wir den Rechner nicht anschaffen, dann verfällt dieser Betrag ;( und wir haben nichts davon.

Eine Überlegung wäre auch ein Mainboard mit 2 GPUs.. was wäre da an Boards Ubuntu kompatibel?

Kommt drauf an, welche KI-Anwendungen/Modelle laufen sollen und wie zukunftssicher das sein soll. Soll nur ausgeführt, oder auch selbst trainiert, gemerged, etc. werden?

16 GB oder 32 GB Videoram wären mir viel zu wenig, hab KI-Zeugs aktuell lahm über den normalen System-Ram laufen.

Ich würde aktuell, bzw. in paar Monaten, wenn verfügbar, bei dem Budget vielleicht zu einem oder 2 miteinander kombinierten Nvidia DIGITS greifen, das wären dann 128 GB oder 256 GB Video Ram. Der ist allerdings lahmer als der in aktuellen Grafikkarten verbaute.

Zudem bin ich nicht sicher, ob aktuelle, verbreitete KI-Anwendungen auf ARM gut oder überhaupt laufen. Man könnte erste Tests, Rückmeldungen in den Issues/Discussion Bereichen der Gitseiten abwarten.

Edit: Anscheinend ists kein "richtiger" VRam, sondern normaler aber mehr Speicherkanäle.

Linux-based NVIDIA DGX OS

https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips

Der_Silver_Surfer schrieb:

[…] Desktop PC […] für KI […]

Warum fragst Du nicht die KI, was sie gerne haben möchte?

Der_Silver_Surfer schrieb:

[…] Es ist leider so, dass wir das Geld jetzt haben und ausgeben "müssen". Wenn wir den Rechner nicht anschaffen, dann verfällt dieser Betrag

Solche Ammenmärchen erzählen nur Schurken, die versuchen ihre Opfer unter Zugzwang zu setzen um Ihnen ihr Geld abzunehmen. Das sagt Dir zwar keine KI, aber ein natürlicher Mensch mit Lebenserfahrung.

Als Orakel würde ich davon ausgehen, dass in den nächsten Monaten, Jahren mehr Systeme auf den Markt kommen, die zum Ausführen lokaler KI-Anwendungen besser geeignet sind. Durch Modelle wie Deepseek 3, R1, R1 Zero, Llama 405b, irgendein aufs Programmieren optimierte Modell ist auch recht groß, gibts da einfach Nachfrage, aber auch schon durch die vielen 70B Modelle und bildgenerierenden, videogenerierenden, Modelle - im Audiobereich tut sich sicher auch noch was. Aktuell gibt man für wenig Videoram (z.B. 64 GB) ein Vermögen aus, der Trend geht meiner Wahrnehmung parallel in 2 Richtungen:

1.) kleinere Modelle werden besser, vielleicht durch sowas wie mehr Informationsdichte

2.) größere, noch viel bessere Modelle erscheinen auch, die Entwickelnden verschiedener Firmen/Teams konkurrieren quasi miteinander.

Ich verstehe aber auch, wenn jetzt jemand Bedarf für einen KI-Recnner hat, dass jetzt die Anschaffung zeitnah erfolgen soll. Wollte den 2. Trend nur mal erwähnen.

Zur Frage warum ich nicht die KI dazu befrage was diese möchte? Ist natürlich bereits vor diesem Post hier passiert. Nachdem die großen Sprachmodelle aber zum Halluzinieren neigen, kann es nicht schaden auch richtige Menschen zu befragen, die vielleicht schon so ein System am Laufen haben.

Die Anwendung ist eine Art Mustererkennung oder Subsegmentierung von diversen Tumorregionen wobei es tiefer ins Detail gehen soll als die üblichen Segmentierungen nach "BRATS" Art. Also Trainieren muss das System auch können. (Wie auch die Vorverarbeitungs Pipelines der Rohdaten. Aber das ist dann kein Problem.)

Wir Schurken rechnen zur Zeit in der Cloud auf A100 GPUs was wir aus eigener Tasche bezahlen müssen. Wenn wir bis Ende Jänner eine Hardware anschaffen bekommen wir diese bezahlt.

Ok, eine der A100 GPUs hat 80 GB Videoram. Schaut einfach, wieviel bei eueren Berechnungen tatsächlich belegt ist, dann kennt ihr den Bedarf.