staging.inyokaproject.org

Hallo, leider habe ich mir vor einem Jahr erst einen neuen Laptop (E14,Lenovo, G3 AMD, Ram24GB DDR4-3200 (1x8GB + 1x16GB),M.2-SSD 1TB M.2 PCIe/NVMe-SSD (Samsung 970 Evo Plus, radeon rx vega 8) gekauft. Jetzt würde ich aber gerne eine Kiste haben, auf der ich Stable Diffusion und Wisper laufen lassen könnte, sonst nichts. Würde gerne Bilder generieren und vielleicht auch irgendwann 1-2 Minuten-Videos. Ein kleines Gehäuse wäre auch sehr nett. Habe aber keine Ahnung, welche Hardware man dafür bräuchte. Vielleicht habt ihr Ideen? Vom Budget würden mich zwei Varianten interessieren: optimal und Minimum. Ich würde mich sehr über Beiträge freuen.

Schau dir doch einfach mal die "System Reqirements" an. Cuda wird bei Diffusion verlangt (mind. 4GB VRAM), der "Rest" gibt sich dann von selbst.

kleines Gehäuse

Moderne Karten sind meist in jeder Hinsicht gigantisch ...

Warum erwähnst du eigentlich den AMD Laptop? 😎

Ah, es gibt den Hakel noch! Wie schön! Ich hatte die Hoffnung, dass jemand sagt, dass es vielleicht auch damit gehen könnte ☺

Ich lasse Stable Diffusion und Whisper per CPU laufen, dauert etwas, reicht mir aber. Als ich meine Hardware gekauft habe, wusste ich noch nicht, dass ich KI Anwendungen ausführen werde.

Für Stable Diffusion habe ich die Web Gui Automatic1111 im Einsatz, mit diversen Erweiterungen (ControlNet, Prompt Generator). Ich habe bereits diverse Funktionen getestet, unter Anderem Img2Img per Instruct Pix2Pix Modell, Ermittelung des Inhaltes von Bildern - Promptgenerierung anhand vorhandener Bilder...

Da du schon SSDs hast, wird zumindest das Laden der Modelle flott sein. Generieren von Bildern dauert, man kann per geeignetem negativem Prompt aber das Auftreten nicht toller Bilder minimieren.

Möchtest du hunderte Bilder generieren, um die schönsten rauszusuchen, wirst du mit der vorhandenen Hardware wahrscheinlich nicht glücklich, weil das Ändern der Auflösung, etwa von 256x256 zu 512x512 bei identischem Seed und identischen anderen Einstellungen, völlig andere Bilder ausgibt. Meistens gehe ich so vor, dass ich erst wenige Iterationen einstelle, passt das Ergebnis grob, wiederhole ich das mit vielen, manchmal sogar mit 150, weil es dann gerne mal sehr detaillierte Ergebnisse gibt.

ok, du meinst, es würde also auch mit meiner Laptophardware funktionieren? Könntest Du mit verraten, wo ich dafür eine Installationsanleitung für Ubuntu 20.4. finde?

Das funktioniert, aber Geduld wirst du brauchen.

Bei Whisper und Stable Diffusion kann ich problemlos andere Anwendungen parallel ausführen, bei Dalai (sowas wie ChatGPT, läuft aber auf dem eigenen Rechner) habe ich schon beim Abspielen von Youtubevideos Aussetzer, könnte man vielleicht beheben, wenn man die Priorität vom Dalaiprozess runtersetzt oder einen Kern weniger als vorhanden einstellt.

Du kannst ja erstmal testen, ob es für dich zufriedenstellend funktioniert und falls nicht - neue Hardware zulegen:

Grundlegend: ich verwende für jede Pyhon KI Anwendung eine virtuelle Pythonumgebung, siehe venv.

1. Whisper: https://github.com/openai/whisper, der Vollständigkeit halber erwähne ich noch whisper.cpp, das aber die Modelle in einem anderen Format verlangt und als ich es testete, nur mit bestimmtem wav-Format klar kam: https://github.com/ggerganov/whisper.cpp

2. AUTOMATIC1111: https://github.com/AUTOMATIC1111/stable-diffusion-webui

Die Hinweise dort haben für mich gereicht, die Anwendungen einzurichten. Dalai habe ich als Docker Container laufen. Vielleicht noch ein Hinweis für Stable Diffusion: Wenn du viel ausprobierst, wirst du viele Modelle laden, Loras, Hypernetworks, Embeddings... das kann viel Speicherplatz belegen, drum empfehle ich, Stable Diffusion, bzw. die GUI, direkt auf einem Laufwerk mit viel freiem Speicherplatz einzurichten. Man kann allerdings auch mit Verknüpfungen arbeiten, vielleicht auch das Modellverzeichnis ändern.

Vielen Dank für die schnelle Antwort. Ich werde mich gleich morgen mal dran machen...

Per CPU dauert ein Bild 512x512, 30 Steps, einige Minuten, per GPU nur einige Sekunden. Da ich schon früher 40 Minuten lang Fraktale generiert habe, trifft mich das nicht so hart. 😀

ich glaube, die viel größere Herausforderung wird für mich die Installation... Docker-Container habe ich z.B. noch nie installiert. Aber einmal ist immer das erste mal...

Habe ich nur für Dalai verwendet, jetzt würde ich das auch eher in einem venv einrichten. Dalai war meine erste KI-Anwendung. Vermutlich wirst du am meisten im Bereich Bilder generieren machen, daher paar Anlaufstellen für den Einstieg:

• Läd man sich neue Modelle, brauchts oft bestimmte Triggerbegriffe, um den feingetuneten Stil tatsächlich zu verwenden, oft gibts auch Tipps zur Auflösung, den optimalen Samplern, Begriffen im Prompt, die die Qualität steigern

• Modelle gibt es z.B. hier: https://huggingface.co/ https://civitai.com/

• Anregungen für Prompts: https://lexica.art/ (die verwenden eigene Modelle, aber vieles funktioniert auch in AUTOMATIC1111 so)

• Übersicht über Modifier, die man im Prompt verwenden kann: https://proximacentaurib.notion.site/2b07d3195d5948c6a7e5836f9d535592

• Stable Diffusion Prompt Book: https://cdn.openart.ai/assets/Stable%20Diffusion%20Prompt%20Book%20From%20OpenArt%2011-13.pdf

Wau, super. Danke!

Ah, dass Stable Diffusion normal Cuda verwendet, stimmt. Ich starte das ganze mit:

--use-cpu all --skip-torch-cuda-test

Weiß nicht mehr, ob das notwendig ist, oder ob ichs nur so der Zeile hinzugefügt hatte. Ich gebe auch direkt ein VAE an, das verwendet werden soll: --vae-path <pfadzumVAEModel>. Mittlerweile kann man das auch in den Einstellungen angeben.