staging.inyokaproject.org

Hallo,

Ich versuche, mir über KVM/Qemu mein komplettes System zu virtualisieren. Es sollen auf Ubuntu-Server ein Ubuntu Desktop und ein Windows laufen. Ich möchte dafür aber nicht drei Grafikkarten nutzen, sondern nur zwei. So weit ich das bisher verstanden habe, ist das Problem dabei, dass sich Ubuntu die Grafikkarte schnappt und ich diese so nicht durchreichen kann. Daher hatte ich die Idee, mir einen Kernel ohne Grafiktreiber zu kompilieren. Das funktioniert nach https://www.thomas-krenn.com/de/wiki/Linux_Kernel_unter_Ubuntu_oder_Debian_kompilieren auch soweit ganz gut. Seltsam ist jedoch, dass, obwohl ich unter dem Reiter "graphics driver" nichts zum installieren markiere, ich beim Neustart trotzdem ein Bild bekomme. Wie kann Ubuntu ohne Treiber immer noch ein Bild zeigen?

Weitere Info's:

• Mainboard: MSI X58 Pro-E MS-7522.

• CPU: Xeon X5650.

• Ram: 12GB DDR3.

• Graka: GT 710 für Ubuntu, GTX 960 für Windows

verwendeter Kernel: 4.10.5 von Kernel.org

Kann ich Ubuntu irgendwie daran hindern, die primäre Grafikkarte zu nutzen?

MfG 3homi112

3homi112 schrieb:

Wie kann Ubuntu ohne Treiber immer noch ein Bild zeigen?

Für einen von der Firmware gestellten Framebuffer braucht es keinen Treiber.

3homi112 schrieb:

Graka: GT 710 für Ubuntu, GTX 960 für Windows

Dir ist schon bewusst, dass Nvidia aktiv jeglichen Versuch von VGA Passthrough torpediert wenn auf den Dinger nicht gerade "Quadro" steht? Das ganze wird bei den Workstation Karten als Feature verkauft, dies mit Mainstream Karten zu erlauben widerspricht der Firmenphilosophie - der Treiber verweigert den Dienst, sobald er merkt dass er innerhalb einer VM läuft.

Ich habe sowas:

# lspci
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Ellesmere [Radeon RX 470/480] (rev cf)

und bekomme da auch eine Konsole/Bild in Monitorauflösung drauf. Naja, ich hab auch den Treiber dafür drin weil sonst röhrt der Lüfter auf MAX.

Naja, dem Treiber kann man das einfach unterm Arsch wegziehen.

# echo 0000:01:00.0 > /sys/bus/pci/devices/0000:01:00.0/driver/unbind

Dann ist das Bild weg... (und die Lüftersteuerung auch, Mist.)

Das gleiche Spiel nochmal mit 01:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI].

Bei mir kein Problem das im laufenden Betrieb zu machen weil die Musik über die Onboard-Intelgrafik läuft.

Mit dem gleichen echo nach bind statt unbind kann man dem Treiber das Gerät auch wieder zurückgeben. Dann bekommt der Monitor wieder ein Signal aber das Bild bleibt schwarz weil der Kernel da seine Konsole deswegen nicht neu initialisiert...

Im dmesg sieht der unbind-Spass so aus:

[50041.578451] [drm] amdgpu: finishing device.
[50041.997679] [TTM] Finalizing pool allocator
[50041.997681] [TTM] Finalizing DMA pool allocator
[50041.997704] [TTM] Zone  kernel: Used memory at exit: 10 kiB
[50041.997705] [TTM] Zone   dma32: Used memory at exit: 10 kiB
[50041.997706] [drm] amdgpu: ttm finalized

Ob dir das hilft... keine Ahnung. Du könntest über /sys/bus/pci/... zumindest schauen ob das Gerät überhaupt in Beschlag ist und wenn ja, von welchem Treiber. Bzw. teilweise wird das ja auch bei lspci -k angezeigt.

Das entbinden des Treibers gibt nicht den Framebuffer frei, da kann einem die gute alte VESA BIOS Extension richtig Ärger machen. Vor allem sind Grafiktreiber mit ihrer unglaublich hohen Komplexität nicht gerade darauf ausgelegt, einfach im Betrieb entladen zu werden - Kernel Panics sind in dem Kontext nichts ungewöhnliches.

So ist es zB unter Umständen auch möglich, auf ein virtuelles Terminal zu wechseln, welches auf einem Framebuffer läuft, der von einer Grafikkarte stammt, welche zu keinem Zeitpunkt im Kontakt mit irgend einem Grafiktreiber stand - selbst dann, wenn diese Grafikkarte bereits durchgereicht wurde. So zuverlässig habe ich bisher noch kein Linux zum Abschuss gekriegt...

Letalis_Sonus schrieb: 3homi112 schrieb:

Graka: GT 710 für Ubuntu, GTX 960 für Windows

Dir ist schon bewusst, dass Nvidia aktiv jeglichen Versuch von VGA Passthrough torpediert wenn auf den Dinger nicht gerade "Quadro" steht?

Das weiß ich schon, die GTX 960 ist aber erfolgreich durchgereicht, und zwar mittels

kvm=off

Zum Thema unbind: Das hab ich schon probiert, geht leider nicht.

Letalis_Sonus schrieb:

Das entbinden des Treibers gibt nicht den Framebuffer frei, da kann einem die gute alte VESA BIOS Extension richtig Ärger machen. Vor allem sind Grafiktreiber mit ihrer unglaublich hohen Komplexität nicht gerade darauf ausgelegt, einfach im Betrieb entladen zu werden - Kernel Panics sind in dem Kontext nichts ungewöhnliches.

So ist es zB unter Umständen auch möglich, auf ein virtuelles Terminal zu wechseln, welches auf einem Framebuffer läuft, der von einer Grafikkarte stammt, welche zu keinem Zeitpunkt im Kontakt mit irgend einem Grafiktreiber stand - selbst dann, wenn diese Grafikkarte bereits durchgereicht wurde. So zuverlässig habe ich bisher noch kein Linux zum Abschuss gekriegt...

Also kann man die primäre Grafikkarte nicht durchreichen?

3homi112 schrieb:

die GTX 960 ist aber erfolgreich durchgereicht, und zwar mittels

kvm=off

Hat natürlich aber auch den Nachteil, dass man sich damit den Weg zu diversen Virtualisierungsfunktionen verbaut und die VM damit unter anderem weniger performant ist. Insbesondere eine ordentlich virtualisierte Systemuhr kann in bestimmten Situationen Ärger ersparen - wenn die Zeit nach einer Weile auseinander driftet und sich irgendwann mit einem Sprung wieder synchronisiert, werfen einen zB einige Spiele da schon mal wegen eines plötzlichen nicht vorhandenen Lags komplett raus.

3homi112 schrieb:

Also kann man die primäre Grafikkarte nicht durchreichen?

Du musst schlichtweg sicherstellen, dass der Kernel auch nicht über Umwege auf die Karte zugreift. Du könntest bzgl des Framebuffers dein Glück mit der fbcon Bootoption versuchen.

Moin,

sorry dass ich erst so spät wieder antworte aber irgendwie war das Thema im letzten halben Jahr völlig weg bei mir.

Seit ein paar Wochen bin ich aber wieder dabei und bin auch wieder auf Probleme gestoßen:

Zunächst hat sich meine Hardware minimal verändert, ich bin nun in Besitz einer Radeon HD 6950, allerdings kann ich diese nur in qemu mit einem romfile betreiben, da das vBios der Karte kaputt ist. Daher kann ich diese Karte auch nicht als primäre Grafikkarte nutzen. Diese soll jetzt die GTX960 sein, die GT710 fliegt raus.

Das Ziel ist immer noch, beide Grafikkarten durchzureichen, ohne dazu eine dritte zu brauchen. Die Radeon lässt sich auf dem gleichen System im zweiten PciE Slot problemlos durchreichen, aber eben nicht die GTX960 im ersten Slot. Wenn ich mittels

cat /proc/iomem

die Prozesse auslese, die die Karte nutzen, kommt nur vfio-pci heraus, was nach meinem Verständnis ja auch so sein soll. Starte ich nun die VM, so kommt aber ein Fehler, den ich mir nicht erklären kann:

host@KVM-Host:~$ sudo /usr/vm1
[sudo] password for host: 
qemu-system-x86_64: -device vfio-pci,host=02:00.0,bus=root.1,addr=00.0,multifunction=on,x-vga=on,romfile=/home/host/GM206.rom: VFIO 0000:02:00.0 BAR 3 mmap unsupported. Performance may be slow

0000:02:00.0 ist dabei die ID der GTX960, in soweit also richtig. Ich habe oft gelesen/gesehen, dass man ein romfile verwenden soll, um die primäre Grafikkarte durchzureichen, das ändert an dem Fehler aber nichts. Das romfile ist getestet, daran kann es auch nicht liegen. Der an der GTX960 angeschlossene Monitor wird nach starten der VM nur schwarz, mehr passiert nicht.

Hatte jemand dieses Problem schon mal und hat eine Lösung dafür?

Grüße 3homi112