<> Desktop Mate ist ein kleines von lokaler Textgenerierungs-KI angetriebenes Desktopfreund Programm, mit welchem man Chatten und Spielen kann. Die Entwicklung begann Ende 2025.
Idee und Beginn der Entwicklung
Die Idee entstand, als ich ein ähnliches Programm eines anderen Entwicklers testete. Mir hat es sehr gefallen, jedoch verfolgt besagter Entwickler den Design-Ansatz, dass seine Anwendung möglichst wenig Ressourcen verbrauchen darf. Das ist ein absolut legitimer Designansatz, der meiner Meinung jedoch für eine von lokale KI angetriebenen Engine eher unvorteilhaft ist, da man sich so selbst viele mögliche Features verbaut. Deshalb beschloss ich zu versuchen, ein solches Programm selbst zu erstellen.
Backend
Ich beschloss, das Rad nicht neu zu erfinden und einfach bestehende Systeme, von denen ich weiß dass sie gut funktionieren, per API anzubinden. So nutzt Desktop Mate für die Textgenerierung eine lokale Installation von oobabooga text generation webui über die openai API. Für TTS (nur englisch) nutze ich eine lokale Installation von AllTalkV2. (Ich hatte beides von einer Silly Tavern Installation eh schon eingerichtet).
Features
- Unterstützung von VRM0 und VRM1 Modellen
- Charaktereigenschaften werden in einer .yaml Datei festgelegt und können ausgetauscht werden
- Chatten, optional mit englischer Sprachausgabe (Deutsch unterstützt aktuell noch kein TTS weil ich kein passendes Modell dafür habe)
- Chats können exportiert und wieder importiert werden
- Es gibt ein konfigurierbares Kurzzeitgedächtnis und ein Langzeitgedächtnis (Informationen des Langzeitgedächtnis werden in einer kleinen Datenbank gespeichert)
- Interaktionsmodus – man kann das Modell anklicken und es wird die Stelle und derModus registriert, das Modell reagiert mit generiertem Text und einer Animation. (Modus Auge und Klick auf den Kopf löst z.B. eine Reaktion auf „Blickkontakt aufbauen“ aus).
- Geschenkmenü – es können Geschenke gegeben werden, die eine entsprechende Reaktion auslösen. Geschenke lösen außerdem einen Status aus. Ein Stück Kuchen löst z.B. den Status „glücklich“ aus, was künftige Reaktionen beeinflusst.
- Unterstützung von vrma Animationen.
- In Arbeit: Spiel-Modus. In diesem Modus kann man textbasierte Spiele schreiben, importieren und anschließend spielen. Wie bei Pen&Paper
- Und noch mehr kleinere Features wie ein Desktop-Modus, in dem das Modell nur da ist und zuguckt was du tust, ohne das System durch Textgenerierung zu belasten und mehr.
Bilder
Weitere Pläne
Derzeit versuche ich, das Spielsystem zu bauen. Wenn das fertig ist, bin ich mir ehrlich gesagt noch nicht sicher, wie ich mit dem Projekt weitermache. Ob ich es jemals veröffentliche, steht noch in den Sternen.