In diesem Artikel gehe ich auf die wichtigste Komponente die Grafikkarte ein die einen Rechner erst zu einem Deep-Learning PC macht. Es wird also darum gehen mit welcher Hardware können neuronale Netze am schnellsten trainiert werden. Im vorhereigen Bericht habe ich beschrieben welche Überlegung auf jeden Fall gemacht werden müssen um solch ein System überhaupt am eigenen Bedarf ausgerichtet aufbauen zu können. Jetzt beschreibe ich die Vorteile und Nachteile bei der Grafikkarte und für welche Karte ich mich persönlich entschieden habe. Das Ziel das ich dabei verfolgt habe war ein Rechner für AI Anwendungen im Bereich des Trainings von neuronalen Netzen zu bauen der bei mir im Büro unter dem Schreibtisch stehen kann. Es wird kein Rechner sein auf dem nur fertig trainierte Netze ausgeführt werden. Dazu würde mir bereits schon ein aktuelles Smartphone mit entsprechendem Beschleuniger-Chip reichen. Es soll ein Rechner werden mit dem neuronale Netze auf Basis von großen Datenmengen trainiert werden können. Wenn der Rechner im Büro unter meinem Schreibtisch stehen soll dann bedeutete das, dass alle Komponenten so auszuwählen sind, dass der Rechner so leise wie möglich wird aber die Kosten nicht völlig aus dem Ruder laufen.

Entscheidung – Grafikkarte

Gestartet habe ich mit der Auswahl der Grafikkarte. Hier sind im Prinzip die NVIDIA RTX3090 Modelle sehr interessant oder eben die Quadro Serie mit der neuen RTX A6000 oder eben der RTX 8000. Letztere it schon etwas länger am Markt und hat sich schon gut bei mir auf der Arbeit bewährt.

Hinweis: Wenn eine deutlich günstigere Karte wie eine RTX 3090 gewählt wird dann spielt der Hersteller der Grafikkarte für Anwendungen im Deep-Learning Umfeld keine große Rolle. Denn es werden keine speziellen Treiber oder Optimierungstools benötigt wie dies bei Spielen hin und wieder notwendig ist oder eben von den Spielern selber empfholen wird. Daher ist der NVIDA Chip an sich die wesentliche Komponente und das die Karte technisch einwandfrei funktioniert also schön kühl bleibt. Bei der Kühlung der Grafikkarte muss das Augenmerk liegen und diese muss gut sein.

Daher habe ich mich bei der Auflistung der Grafikkarten hier für Modelle von PNY entschieden. Mit diesem Hersteller habe ich bereits gute Erfahrungen gemacht. Auch darf man nicht vergessen, dass PNY ein Produktpartner von Nvidia ist, d. h. PNY bestückt die eigenen Grafikkarten mit NVIDIA-Grafikchipsätzen. Im Rahmen dieser Partnerschaft ist PNY unter anderem alleiniger Boardpartner und somit Hersteller für die Quadro-Reihe also der eigenen Grafikkarten Reihe von NVIDIA (Quelle: https://de.wikipedia.org/wiki/PNY_Technologies).

Hinweis: Ich verlinke für die Anzeige der Modelle nachfolgend auf den Amazon Web-Shop mit entsprechenden Affiliate links.

PNY GeForce RTX™ 3090 24GB XLR8 (ähnliche RTX 3090 Modelle werden von mir im beruflichen Umfeld eingesetzt mit Wasserkühlung)

Die RTX 3090 Serie ist sicher ideal für Projekte die viel Rechenleistung benötigen aber deren Modelle nicht die 24 GB Speicher der Grafikkarte beim Training überschreiten. Daher sollte diese Grafikkarte für die meisten Fälle im beruflichen und privaten Umfeld völlig ausreichen. Im Wissenschaftlichen Bereich oder eben in der Industrie sind die 24 GB häufig zu klein wenn vorallem viele parallele Projekte bzw. Mitarbeiter auf einem bereitgestellten Deep-Learning Server ihre Modelle parallel trainieren. Dann sind Karten mit 48 GB Ram wie die aktuelle Quadro Serie die bessere Wahl.

Daher meine Empfehlung, wenn es darum geht ambitioniert im privaten Umfeld den Einstieg in das Thema neuronale Netze zu finden die Konsumer Grafikkarten der RTX 30XX Serie wie die RTX 3090 sich zu beschaffen.

Product Specifications

CUDA Cores 10496
Clock Speed 1395 MHz
Boost Speed 1695 MHz
Memory Speed (Gbps) 19.5
Memory Size 24GB GDDR6X
Memory Interface 384-bit
Memory Bandwidth (GB/sec) 936
TDP 350 W
NVLink Supported
Outputs DisplayPort 1.4 (x3), HDMI 2.1
Multi-Screen 4
Power Input Two 8-Pin
Bus Type PCI-Express 4.0 ×16

Hier noch der Link auf die PNY Herstellerwebseite zu der Grafikkarte: GeForce RTX™ 3090 24GB XLR8 Gaming REVEL EPIC-X RGB™ Triple Fan Edition

[asa2 tpl=”Flat_box_horizontal”]B08HBQWBHH[/asa2]

NVIDIA Quadro RTX 8000 (wird von mir im beruflichen Umfeld eingesetzt Luftgekühlt)

Ich habe einige PCs mit PNY Quadro RTX 8000 Grafikkarten auf meiner Arbeit nutzen dürfen. Diese sind sicher interssant und aktuell gut verfügbar und leistungsstark. Auch haben diese im Bereich des Trainings von neuronalen Netzen und hier bis zu 12 Jobs parallel immer eine gute Figuar abgegeben. Daher ist eine Quadro RTX 8000 Grafikkarte sicher interessant und für Anforderungen im Bereich der künstlichen Intelligenz eine gute Wahl.

Das einzige das mir an der Karte aufgefallen ist, ist dass die Karte an sich als Luft gekühlte Version recht leise ist. Dennoch gefällt mir das kleine Lochblech durch das die heiße Luft nach außen Strömt nicht sonderlich gut. Hier könnte man eine Luftstrom optimiertere Lösung als Hersteller finden wie z. B. bei der ganz neuen RTX A6000. Würde mir die Karte privat gehören würde ich wohl versuchen das kleine Lochblech einfach zu entfernen damit die heiße Luft dirketer und somit schneller und leiser austreten kann.

Das folgende Bild zeigt im Vergleich die Quadro RTX A6000 zu der Quadro TRX 8000 und hier den Luftauslas.

Deep Learning PC grafic card fan output

Deep Learning PC grafic card fan output

Nachfolgend die technischen Details für alle die sich etwas mit der Hardware auskennen die solch eine Karte auszeichnet.

Highlights

CUDA Cores 4608
RT Cores 72
Tensor Cores 576
RTX-OPS 84T
Rays Cast 10 Giga Rays/Sec
Peak Single Precision FP32 Performance 16.3 TFLOPS
Peak Half Precision FP16 Performance 32.6 TFLOPS
Peak INT8 Performance 206.1 TOPS
Deep Learning TFLOPS 130.5 Tensor TFLOPS
GPU Memory 48 GB GDDR6 with ECC
Memory Bandwidth 672 GB/Sec
System Interface PCI Express 3.0 x16
Display Connectors DisplayPort 1.4 (4) + VirtualLink

[asa2 tpl=”Flat_box_horizontal”]B07NH3HKG9[/asa2]

NVIDIA Quadro RTX A6000 (wird von mir privat eingesetzt)

Der Nachfolger der RTX 8000 aber mit etwas mehr Leistung ist die RTX A6000 die jetzt als neuestes Modell aus dem Hause Nvidia bzw. PNY verfügbar ist. Ich habe persönlich die Chance von NVIDIA erhalten solch ein Modell bereits ausprobieren zu können. Meine Tests mit der Karte und vorallem der Vergleich zur RTX 8000 werden hier folgen. Das schöne an der RTX A6000 ist das diese ebenfalls über 48 GB Ram verfügt und so im Gewerblichen Bereich viele Projekte also neuronale Netze parallel berechnen kann

Hier ein Bild der Karte noch beklebt mit einer Schutzfolie kurz nach dem ich diese von NVIDIA erhalten hatte.

NVIDIA RTX A6000

NVIDIA RTX A6000

Hinweis: Jetzt schreibe ich hier immer wieder das die 48 GB klasse sind um z. B. mehrere oder sehr große neuronale Netze parallel berechnen zu können. Dabei gilt aber immer zu beachten, dass die Trainings-Pipeline die die GPU mit den Trainingsdaten versorgt auch entsprechend programmiert sein muss. Ist dies nicht der Fall, dann schafft es die CPU nicht in ausreichender Geschwindigkeit die GPUs der Grafikkarte mit Daten zu versorgen. Das soll heißen viel RAM auf der Grafikkarte hilft nicht immer automatisch um wirklich schnell zu sein und darum geht es ja wenn man sich für solch ein professionelles Modell entscheidet. Ein Beispiel eines Flaschenhalses in der Trainingspipeline werde ich später in dieser Serie zeigen.

Aktuell gibt es die RTX A6000 noch nicht als gepflegtes Produkt auf Amazon. Daher folgt hier der Link auf die Herstellerseite von PNY.

https://www.pny.com/nvidia-rtx-A6000

Highlights

CUDA Cores 10752
Tensor Cores 336
RT Cores 84
Single Precision Performance 38.7 TFLOPS
RT Core Performance 75.6 TFLOPS
Tensor Performance 309.7 TFLOPS
GPU Memory 48 GB GDDR6 with ECC
Memory Interface 384-bit
Memory Bandwidth 768 GB/sec
System Interface PCI Express 4.0 x16
Display Connectors 4x DisplayPort 1.4a
Maximum Power Consumption 300 W

Im nächsten Bericht geht es für mich um die ganz wichtige Entscheidung der Gehäusewahl, des Netzteiles sowie um die Auswahl der CPU mit der man sich dann auch für die weiteren Kompnenten wie Motherboard und CPU Kühlung entscheidet.

Das folgende Bild zeigt meinen Computer von Innen mit der verbauten NVIDIA RTX A6000 Grafikkarte.

Deep Learning Computer setupa

Deep Learning Computer setupa

Fazit Grafikkarte

Die meisten zu lösenden Aufgabenstellungen werden mit einer RTX 3090 berechnet werden können. Wenn das nicht der Fall ist kann in den meisten Motherboards eine zweite RTX 3090 verbaut werden. Dann hat man die ähnliche Leistung wie mit einer der großen RTX Quadro Karten aber eben nicht die Vorteile noch groß weitere Karten verbauen zu können. Vorallem kann man bei solch einem Vorgehen noch etwas spekulieren ob die Preise vielleicht doch mal wieder fallen und so Geld sparen. Im professionellen Bereich würde ich immer ein Modell aus der Quadro Serie empfehlen alleine wegen der Parallelisierung dank des großen Speichers. Auch hier gilt das in den meistens Motherboards zwei Quadro Karten ganz einfach verbaut werden können solange das Netzteil mit ca. 1200W bis 1600W ausreichend Leistung liefert. Bei meinem Arbeitgeber hatten wir auch ein System aus Standard PC Komponenten aufgebaut und probehalber drei RTX Quadro 8000 Karten verbaut. Allerdings war vom Motherboard Design her kaum noch Platz für Luft zum Kühlen bei der dritten verbauten Grafikkarte.


Artikelübersicht - Wie baue ich einen Deep Learning PC:

Deep-Learning PC selber bauen - eine Schritt für Schritt Bauanleitung
Deep-Learning PC selber bauen - Auswahl der Grafikkarte
Deep-Learning PC selber bauen - Die Gehäuse Auswahl