Private LLM - Local AI Chatbot für iOS & Android

An für sich eine großartige Idee! KI lokal laufen zu lassen. Ich habe die App gekauft, leider sind die Ergebnisse mit Deepseek R1 in der Distilled (kleinen) Version unterirdisch. Mein iPad Pro M2 scheint es nicht hinzubekommen. Die KI fantasiert und ist komplett überfordert…Kein Vergleich zu den benutzerfreundlichen Versionen von GPT usw. Drei Sterne für das Konzept und die App.

PrivateLLM just works. The curates selection of models is great and the performance is acceptable es well. You only need to make sure, that you have a beefy machine (tested w. iOS/iPadOS w. 8GB of RAM, MBP w. 64GB).

Update: Apple’s system function for moving every big file to an external hard disk, is sadly no solution for me. Maybe you could offer your app for direct downloading outside of the app store and then allow manual linking to an external SD just like Sogni and other apps do? Old: Moving models to an external disk is really missing

Von allen angebotenen Modellen in der Liste, gibt es gerade mal eines, das nach dem Download das Programm zum Absturz auf einem M2 iPad Air bringt, das war aber auch schon alles. Die Modelle arbeiten wohl wie sie es sollen, aber etwas mehr Kontext, was die Stärken und Schwächen jedes Modells sind, wäre doch wünschenswert. Der Download ist etwas inkosistent und selbst bei eingeschaltetem Stagemanager führt ein App-Wechsel sofort zum Abbruch des Downloads. Das Gute jedoch ist, man kann den Downloa

Läuft zwar ohne Abstürze auf einem iPad Pro aber die LLMs lassen zu wünschen übrig. Gerade deutsch sprachlich begabten LLMs sind Mangelware und wenn sie noch unzensiert sein sollten wird es ganz traurig, leider😖