Private LLM - Local AI Chatbot App-Rezensionen

An für sich eine großartige Idee! KI lokal laufen zu lassen. Ich habe die App gekauft, leider sind die Ergebnisse mit Deepseek R1 in der Distilled (kleinen) Version unterirdisch. Mein iPad Pro M2 scheint es nicht hinzubekommen. Die KI fantasiert und ist komplett überfordert…Kein Vergleich zu den benutzerfreundlichen Versionen von GPT usw. Drei Sterne für das Konzept und die App.

PrivateLLM just works. The curates selection of models is great and the performance is acceptable es well. You only need to make sure, that you have a beefy machine (tested w. iOS/iPadOS w. 8GB of RAM, MBP w. 64GB).

Update: Apple’s system function for moving every big file to an external hard disk, is sadly no solution for me. Maybe you could offer your app for direct downloading outside of the app store and then allow manual linking to an external SD just like Sogni and other apps do? Old: Moving models to an external disk is really missing

Von allen angebotenen Modellen in der Liste, gibt es gerade mal eines, das nach dem Download das Programm zum Absturz auf einem M2 iPad Air bringt, das war aber auch schon alles. Die Modelle arbeiten wohl wie sie es sollen, aber etwas mehr Kontext, was die Stärken und Schwächen jedes Modells sind, wäre doch wünschenswert. Der Download ist etwas inkosistent und selbst bei eingeschaltetem Stagemanager führt ein App-Wechsel sofort zum Abbruch des Downloads. Das Gute jedoch ist, man kann den Downloa

Läuft zwar ohne Abstürze auf einem iPad Pro aber die LLMs lassen zu wünschen übrig. Gerade deutsch sprachlich begabten LLMs sind Mangelware und wenn sie noch unzensiert sein sollten wird es ganz traurig, leider😖

I love that there are so many predefined models from whom one can chose and the general fact that I can execute AI models locally (!) on my iPad, which is finally a thing that takes advantage of iPad's great hardware. That said, it would be great if the UI would feel just a little more SwiftUI-native and the app would support the ability to add multiple chats and customizing the system prompt (Maybe even add system prompt profiles, like LMStudio?).

Erstaunlich gute Ergebnisse, bei so einem kleinen Model. Ich warte auf das Qwen:8b-Modell, damit kann man dann schon richtig arbeiten und nicht nur spielen/testen. Ich nutze das 8b-Model mit Ollama auf meinem Desktop-Rechner.

App stürzt ab im Sinne von irgendwann ist das Handy Geräte überlastet und die App wird geschlossen. Meiner Meinung nach sollte die Antwort dann aber automatisch unterbrochen werden, weil so der gesamte Chat-Verlauf verloren geht. Ich wünsche mir natürlich eine UI auf Deutsch oder vielleicht einfach direkt mehrsprachig das sind vielleicht 20 Minuten bei der Programmierarbeit. Weiß nicht natürlich würde ich mir genauso wie viele, viele andere mehrere Chats zulegen kann ach so und aus irgendeinem G

I do think it’s pretty good, but maybe you could make a smarter Chatbot or the option to install 7B models or something similar. But other than that I was waiting for this for a while now. Hopefully it can improve over time… I really recommend the 3b model “RedPajama- chat 3b” it’s a really good one..

But it hallucinates a lot. Or it doesn't answer my question.

This app is more like a proof of concept than a useful assistant, but that’s perfectly fine. Such a small model run locally doesn’t pack much of a punch, but the fact that it is even possible, is awesome. I am really excited for future updates and additional features.

The concept is cool and it works really great. But please add a true uncensored model because both models provided refuse to answer many prompts just like chatgpt does. Otherwise if you could provide uncensored models the app would be a solid 5 Stars. So in v1.5 the 7B Mistral OpenOrca model is still censored. It is ok to have LLMs that are appropriate for all audiences but please put a trully uncensored LLM if one even exists.

Please add an option to add the MoE Mixtral 8x7B.

Doesn't allow to download and install certain modells, because I have the wrong hardware, despite these modells running fine in Jan.ai and FreeChat.

Die App versteht mich nur sehr bedingt und oft genug überhaupt nicht. Die Antworten sind größtenteils komplett falsch und haben kaum Bezug zur Realität. Mitten in der Konversation wechselt die Sprache auf Französisch und ich bekomme nur noch französische Antworten. Das ist alles ziemlich sinnlos. Aber 5,99 € ist ja auch eher eine Spielerei.