Roman Kryvolapov Engineering Blog

Offline AI Launcher — запуск AI LLM нейромереж на смартфоні

Завантажити з Google Play

Понад 10 000 завантажень у Google Play

Привіт!

У вільний час я написав застосунок, за допомогою якого можна завантажувати й запускати нейромережі AI LLM, як-от Google Gemma, DeepSeek, Llama, Qwen та багато інших, просто на смартфоні.

Застосунків зі ШІ зараз чимало, але головна відмінність цього в тому, що моделі працюють не в хмарі на серверах, а просто на смартфоні, з файлу моделі, на процесорі й відеокарті телефона.

Для роботи не потрібні ні інтернет, ні платна підписка: достатньо смартфона з 6+ ГБ оперативної пам'яті та більш-менш сучасним процесором.

Застосунок працює з репозиторієм HuggingFace — найбільшим сховищем моделей із відкритим кодом: їх там мільйони, і тисячі з них — великі мовні моделі, або LLM.

Застосунок уміє відкривати найпоширеніший формат моделей, .gguf, — рушієм llama.cpp; формати Google для рушія MediaPipe, .task і .tflite (версії моделей для MediaPipe лежать у репозиторіях Google); і моделі .litertlm — рушієм LiteRT-LM.

Для деяких моделей, наприклад Gemma 3n (відкрита модель, побудована на тих самих технологіях, що й Gemini), рушій MediaPipe підтримує обробку зображень.

Застосунок зроблено насамперед для ентузіастів ШІ, а ще для тих, хто не може користуватися хмарними моделями на кшталт ChatGPT чи Gemini через можливий витік даних, і для людей без постійного доступу до інтернету.

Зараз застосунок безкоштовний, але якщо я не знайду способу оплатити свою роботу над ним, частина функцій стане платною.

Для кого цей застосунок?

Застосунок призначений для:

  • ентузіастів ШІ, які хочуть завантажувати й пробувати нові моделі та різні їхні донавчені версії;
  • людей, які з якоїсь причини не можуть користуватися інтернетом: наприклад, перебувають там, де його немає, або летять у літаку;
  • людей, які не можуть користуватися хмарними моделями, бо побоюються витоку даних або бо їхня компанія забороняє хмарні моделі.

Як використовувати

У застосунку є вкладки: Чат, Історія, Моделі, Налаштування.

Чат

На цій вкладці — чат із моделлю, яку зараз запущено.

  • Новий чат: очищає історію діалогу з моделлю.
  • Значок «Поділитися зображенням»: додає картинку в чат. Поки це підтримують лише рушій MediaPipe та моделі Gemma 3n і Gemma 3 4B, 12B і 27B.
  • Значок «Зробити фото»: робить знімок і надсилає його в чат. Поки це підтримують лише рушій MediaPipe та моделі Gemma 3n і Gemma 3 4B, 12B і 27B.
  • Значок «Прикріпити документ»: прикріплює документ у форматі pdf, txt, doc або docx. Щойно документ завантажиться, він додасться до контексту повідомлення.
  • RAG УВІМК / ВИМК: вмикає й вимикає RAG — додавання до контексту діалогу результатів пошуку у векторній базі даних.
  • Очистити текст: стирає текст поточного повідомлення.
  • Вставити текст: вставляє текст із буфера обміну туди, де стоїть курсор.
  • Голосове введення: вмикає голосове введення. Коли ви закінчите говорити, текст піде моделі сам, якщо в налаштуваннях застосунку ввімкнено опцію «Автоматично надсилати текст моделі після розпізнавання мовлення»; якщо ні — надішліть його кнопкою «Надіслати».
  • Надіслати: надсилає повідомлення моделі. Напис на кнопці може змінюватися залежно від стану моделі.
  • Значок мікрофона біля повідомлення: читає повідомлення вголос. Швидкість читання задається в налаштуваннях застосунку параметром «Швидкість голосу». Якщо в налаштуваннях увімкнено «Автоматично озвучувати відповіді після генерації», відповідь читається сама, щойно модель закінчить її генерувати.
  • Натискання на повідомлення: відкриває меню, де повідомлення можна скопіювати в буфер обміну, надіслати в інший застосунок або прослухати.
  • Верхня панель: показує, з якою моделлю йде діалог. Ще на ній видно обсяг вільної оперативної пам'яті, якщо ввімкнено опцію «Показувати вільну пам'ять на екранах».

Історія

Список усіх діалогів з усіма моделями.

  • Натискання на діалог: відкриває діалог із моделлю.
  • Видалити: видаляє діалог. Усі діалоги одразу можна видалити в налаштуваннях застосунку кнопкою «Очистити історію чату».
  • Продовжити діалог: будь-який діалог можна продовжити, продовження збережеться як новий діалог. Після натискання відкриється список усіх доступних моделей, і продовжити можна з будь-якою з них, навіть якщо діалог починався з іншою. Зважайте, що контекст моделі обмежений: якщо в діалозі багато тексту, контекст може закінчитися, і частина діалогу загубиться. Розмір контексту задається в налаштуваннях застосунку. Він рахується не в символах, а в токенах, і токен — це зазвичай частина слова.

Моделі

Тут усі завантажені моделі, а також моделі, запущені в Ollama і LM Studio на вашому комп'ютері. Кожна модель — це файл у теці застосунку. Цю теку можна відкрити в деяких файлових менеджерах, наприклад в ES Explorer, і самому додавати чи видаляти моделі.

  • Запустити модель: запускає модель і вивантажує всі інші. Якщо модель працює на комп'ютері в локальній мережі, застосунок її не запускає, а відкриває з нею діалог: моделлю керує програма, у якій її запущено.
  • Показати інформацію: відкриває сторінку зі службовою інформацією про модель.
  • Натискання на модель: відкриває модель у підтримуваному файловому менеджері. Не всі файлові менеджери вміють відкривати файли, і не всі мають дозвіл відкривати теку іншого застосунку.
  • Видалити: видаляє модель. Видаляти можна й моделі, запущені в Ollama на комп'ютері в локальній мережі.
  • Верхня панель: показує теку застосунку з моделями. Натисніть на теку, щоб відкрити її у файловому менеджері, скопіювати шлях до неї або поділитися ним. Ще на панелі видно обсяг вільної оперативної пам'яті, якщо ввімкнено опцію «Показувати вільну пам'ять на екранах».
  • Завантажити моделі: відкриває сторінку завантаження моделей із репозиторію HuggingFace.

  • Автор: фільтрує список моделей за автором. Можна ввести текст або вибрати пресет.
  • Pipeline: фільтрує список моделей за pipeline. Можна ввести текст або вибрати пресет.
  • Фільтр: фільтрує список моделей за фільтром. Можна ввести текст або вибрати пресет.
  • Пошук: фільтрує список моделей за назвою. Можна ввести текст або вибрати пресет.
  • Параметр сортування: за яким параметром сортувати список.
  • ▼: відкриває список пресетів для відповідного фільтра.
  • +: зберігає значення з текстового поля в пресети.
  • -: видаляє значення з текстового поля з пресетів.
  • Оновити: оновлює список.
  • Закрити фільтр: ховає панель фільтрів.
  • Відкрити модель у репозиторії: відкриває сторінку моделі в репозиторії HuggingFace.
  • Завантажити: відкриває список усіх файлів моделі, доступних у репозиторії. Моделі з квантуванням Q4, що підходять для архітектури Arm, позначено зеленим. Якщо у смартфона швидкий процесор, а модель невелика, можна спробувати завантажити й запустити модель із будь-яким квантуванням: що більше число в квантуванні, то точніша модель. Після натискання вгорі екрана з'явиться стан завантаження; натисніть на нього, щоб зупинити завантаження.
  • Закладки: моделі, які ви додали в закладки.

На сторінці закладок ті самі фільтри й кнопки, що й на сторінці завантаження, крім самих «Закладок».

Налаштування

  • Налаштування застосунку

  • Вибір мови: змінює мову застосунку. З варіантом «Системна» застосунок іде за мовою пристрою. Зараз підтримуються англійська, німецька, французька, іспанська, польська, російська й українська.
  • Режим відображення: тема застосунку — темна, світла або системна.
  • Налаштування голосу: налаштування читання вголос — автоматичне читання відповідей після генерації, автоматичне надсилання повідомлення після розпізнавання мовлення та швидкість читання.
  • Налаштування налагодження: тут можна ввімкнути показ вільної оперативної пам'яті на екранах і перейти на сторінку налагоджувальної інформації рушія llama.cpp.
  • Сторінка налагоджувальної інформації рушія LLama.cpp: після ввімкнення перемикача показує службову інформацію, яку рушій виводить у консоль під час завантаження моделі та генерації відповіді. Різні рівні налагодження показано різними кольорами.
  • Токен репозиторію HuggingFace: для завантаження деяких моделей із репозиторію HuggingFace, наприклад моделей Google, потрібен токен. Його можна ввести вручну. Якщо ви цього не зробили, застосунок підтримує вхід через сайт HuggingFace: коли модель вимагає авторизації, застосунок пробує увійти через сайт і додає отриманий токен — тоді він з'явиться в полі токена.
  • Скопіювати / вставити налаштування застосунку через буфер обміну: копіює всі налаштування застосунку в буфер обміну у форматі JSON, вставляє їх із буфера або надсилає текстовим повідомленням. Налаштування різних версій застосунку можуть бути несумісні.
  • Оцінити застосунок: оцініть застосунок у Google Play. Зважайте, що це експериментальний застосунок: у деяких випадках і з деякими моделями він може працювати нестабільно.
  • Очистити історію чату: видаляє всі збережені повідомлення.
  • Відновити налаштування за замовчуванням: скидає всі налаштування застосунку. Іноді налаштування скидає й оновлення: якщо в попередній версії знайшлися критичні помилки, пов'язані з налаштуваннями, а нова версія стабільніша.
  • Налаштування пам'яті

  • Налаштування пам'яті: для запуску LLM на смартфоні потрібно багато вільної оперативної пам'яті. На цьому екрані видно, скільки її зараз вільно, і можна налаштувати сповіщення або вивантаження моделі, коли пам'яті не вистачає. У код рушія на C++ вбудовано функцію, яка бере параметри з цього екрана й зупиняє генерацію, коли пам'яті стає надто мало, але іноді пам'ять закінчується раптово, і тоді застосунок закривається. Розмір контексту моделі безпосередньо впливає на те, скільки пам'яті вона займає; задати його можна на сторінці налаштувань рушія. Ще на сторінці пам'яті видно архітектуру процесора й підтримуваний набір інструкцій.
  • Налаштування промпту: на цій сторінці можна створювати, редагувати, зберігати в пресети й видаляти промпти. Промпт використовують усі рушії, і він додається до першого повідомлення діалогу. Промпт за замовчуванням видалити не можна, а після зміни мови він скидається на промпт за замовчуванням для вибраної мови. Якщо хочете користуватися своїм промптом, не зберігайте його як промпт за замовчуванням.

  • Налаштування шаблонів: щоб спілкуватися з різними моделями, рушій llama.cpp використовує різні шаблони; у моделей однієї родини пресет зазвичай спільний. На цій сторінці можна оновити пресети або додати нові для різних моделей. Якщо в застосунку запущено модель, під час відкриття сторінки буде вибрано її шаблон.

  • Назва шаблону: шаблон пов'язується із завантаженою моделлю через «Ключове слово в назві моделі». Якщо кілька моделей використовують один пресет, їхні назви можна перелічити через кому.
  • Шаблон першого повідомлення: шаблон першого повідомлення має містити промпт. Під час надсилання повідомлення моделі параметр prompt_text замінюється промптом, а message_text — повідомленням користувача.
  • Ключове слово зупинки генерації: отримавши від моделі це слово, застосунок зупиняє генерацію. Це потрібно деяким моделям: через помилки під час їхнього навчання чи доопрацювання модель може видавати неправильні ключові слова, яких рушій не розуміє, і генерація не закінчується ніколи. Можна вказати кілька ключових слів через кому.
  • Замінити ключове слово: деякі моделі повертають у відповіді службові ключові слова. Тут перелічуються слова, які треба прибрати з відповіді, у форматі «ключове слово» -> «на що замінити». Наприклад, службовий тег, яким модель позначає свої міркування, можна замінити своїми словами.
  • Налаштування рушія LLama.cpp: налаштування рушія llama.cpp, їх можна зберігати в пресети. Докладніше про налаштування й про те, на що вони впливають, — у моїх статтях про LLM. Ось деякі з них:

  • Розмір контексту: скільки токенів модель може «пам'ятати» одночасно. Залежить від обсягу оперативної пам'яті; рекомендовані значення: 2–4 ГБ — 128–256 токенів, 6–8 ГБ — 256–1024 токени, 12–16 ГБ — 1024–32000 токенів.
  • Розмір відповіді: скільки токенів модель може згенерувати.
  • Температура: значення температури (використовується, якщо ввімкнено семплювання за температурою). Керує випадковістю: 1,0 — нейтрально, 0,7 — стримано, 1,3 — творчо.
  • Top-K: ціле значення Top-K, використовується, якщо use_top_k дорівнює true. Скільки найімовірніших токенів залишається.
  • Top-P: дробове значення Top-P, використовується, якщо use_top_p дорівнює true. Поріг накопиченої ймовірності (наприклад, 0,9).
  • Потоки: кількість потоків для ініціалізації.
  • Потоки для пакетної обробки: кількість потоків для генерації.
  • Семплери: вибір семплера, який обробляє вихідні значення.
  • Докладніше: більше — у моїй статті Нейромережі простими словами.
  • Налаштування рушія MediaPipe: налаштування рушія MediaPipe; частково повторюють налаштування llama.cpp.

  • Налаштування рушіїв LocalHost:

  • Налаштування Ollama LocalHost: Ollama можна запустити на комп'ютері, щоб відповіді генерувалися на його відеокарті, і підключитися до неї за IP-адресою. Для цього виконайте команди: $env:OLLAMA_HOST="0.0.0.0" задає змінну середовища, щоб Ollama слухала зовнішню IP-адресу (без неї Ollama слухає лише localhost усередині комп'ютера); setx OLLAMA_HOST 0.0.0.0 /M записує її в постійні змінні середовища (запускати від імені адміністратора, потім перезапустити термінал); ollama pull gemma3n:e4b завантажує модель gemma3n; ollama serve запускає Ollama; ollama list показує завантажені моделі. Коли модель завантажено й Ollama запущено, модель з'явиться в застосунку. IP-адреса — це адреса вашого комп'ютера в мережі, зазвичай 192.168.*.*; її видно в налаштуваннях Wi-Fi на комп'ютері або в налаштуваннях роутера.
  • Налаштування OpenAI LocalHost: модель можна запустити на комп'ютері в LM Studio або іншій програмі, сумісній з OpenAI API, щоб відповіді генерувалися на його відеокарті, і підключитися до неї за IP-адресою. IP-адреса — це адреса вашого комп'ютера в мережі, зазвичай 192.168.*.*; її видно в налаштуваннях Wi-Fi на комп'ютері або в налаштуваннях роутера. Щоб LM Studio слухала порт вашого комп'ютера, виберіть у LM Studio Developer → Settings → Serve on Local Network і запустіть сервер, перевівши перемикач Status у положення Running.
  • Налаштування RAG:

Якщо ви додали документ у діалог із моделлю і його розмір не перевищує ліміту, заданого на сторінці налаштувань, під час генерації відповіді документ повністю додається до контексту діалогу. Якщо він більший, його ділять на частини, кожну частину перетворюють на вектор, а під час генерації відповіді знаходять відповідний вектор і додають його текст до контексту діалогу.

  • Кількість результатів: скільки результатів пошуку у векторній базі даних і з прикріпленого документа додається до контексту під час генерації відповіді.
  • Мінімальний ступінь схожості: мінімальна схожість двох векторів, за якої вони вважаються збігом; пари з меншою схожістю відкидаються. Типові значення: 0,7–0,8 — для суворих збігів із високою релевантністю; 0,5–0,7 — для помірної схожості, коли підходять і часткові збіги; менше ніж 0,5 — лише для широкого охоплення або дослідницького пошуку.
  • Додавати прикріплені документи до векторної бази даних: документ, прикріплений під час діалогу, додається й до векторної бази даних. Тоді з увімкненим RAG кожен запит шукає у векторній базі, і відповідний документ додається до контексту запитання.
  • Розмір фрагмента в токенах: максимальна кількість токенів в одному фрагменті тексту, після якої він ділиться. Якщо значення завелике, модель ембедингів може зламатися або повернути помилку, бо фрагмент перевищить максимальний розмір її вхідних даних.
  • Перекриття фрагментів, лише для методу Sentences: скільки токенів із кінця одного фрагмента повторюється на початку наступного, щоб зберегти контекст.
  • Ділити фрагменти тексту, більші за це значення, на частини: текст, довший за цю кількість символів, ділиться на фрагменти. Це стосується й документів, доданих під час діалогу: будь-який документ, більший за це значення, перетворюється на вектори, і пошук іде за векторами. Якщо документ завеликий, у LLM закінчиться контекст, і вона не зможе згенерувати відповідь.
  • Максимум символів у фрагменті: обмежує кількість символів у фрагменті. У методі Sentences речення бувають довгими, і без обмеження модель ембедингів падає.
  • Налаштування векторної бази даних:

Документ або текст можна додати до векторної бази даних вручну. Під час додавання документ ділиться на частини, і для кожної частини створюється вектор. Якщо в діалозі з моделлю ввімкнено RAG, кожне ваше запитання перетворюється на вектор, у векторній базі знаходяться відповідні фрагменти документів, і їхній текст додається до контексту запитання. Ще можна перевірити, які документи база знаходить за текстом запиту: для цього є фільтр.

Майбутні можливості

  • LocalHost Server API: застосунок працюватиме як сервер, сумісний з OpenAI API та Ollama API.
  • Виклик функцій: підтримка On-Device Function Calling SDK. Поки її вимкнено: SDK не підтримує деяких функцій, потрібних іншим частинам застосунку.

Поточні реалізації рушія

llama.cpp

LiteRT-LM

Рушій Google для моделей .litertlm. Він вбудований у застосунок і працює дуже швидко.

MediaPipe / TensorFlow

Локальні хост-рушії

  • Ollama: підтримується Ollama API: можна запустити Ollama на комп'ютері й спілкуватися з моделлю із застосунку.
  • OpenAI API: підтримується OpenAI API: можна запустити на комп'ютері LM Studio або будь-яку програму, сумісну з OpenAI API, і спілкуватися з моделлю із застосунку.

Майбутні інтеграції

MLC LLM

Поки лише експериментально: моделі на HuggingFace складаються з багатьох файлів, це незручно, а сам рушій погано оптимізований під Android, і моделі працюють повільніше, ніж у llama.cpp і MediaPipe. Надалі планую перепакувати деякі моделі в спеціальний однофайловий формат і викласти на HuggingFace.

ONNX

Поки лише експериментально: моделі на HuggingFace складаються з багатьох файлів, і запакувати їх в один не можна, тому рушієм незручно користуватися, і на Android він працює повільно.

PyTorch

Планую додати.

Додаткові ресурси для читання

Архітектура

  • Модульна Clean Architecture Роберта Мартіна

Роберт Мартін (Вікіпедія)

Технологічний стек

  • Мови: Kotlin, Java, C++
  • Система збирання: Gradle Groovy DSL, CMake