A working chatGPT running on a mobile using llama.cpp

tibzejoker · Vorführung · Einstieg

Kurz gesagt

Der Kanal tibzejoker zeigt ein ChatGPT-artiges Modell, das mit llama.cpp auf einem Mobiltelefon läuft. Das Video passt zu Zuschauern, die wissen wollen, ob lokale KI auf dem Smartphone funktioniert. Weitere Details lassen sich aus den Angaben nicht ableiten.

Das lernst du

• Sprachmodell auf einem Mobilgerät
• Ausführung mit llama.cpp
• Machbarkeit lokaler KI am Handy

Warum es für lokale KI zählt

Es zeigt, dass lokale KI nicht nur auf Desktop oder Server, sondern auch auf Smartphones ohne Cloud laufen kann.

Hardware: nur CPU, etwa 4 GB VRAM.

Was dazu gesagt wurde

„It worked on a OnePlus 7 with Kali nethunter and 8gb ram and the speed was pretty ok.“

Reddit · 2023

Woher die Empfehlung kommt

1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.

Betrieb & Deployment Runtimes & Backends Hardware & Beschaffung