Offline AI Launcher — запуск AI LLM нейросетей на смартфоне
Привет!
В свободное время я написал приложение, с помощью которого можно скачивать и запускать нейросети AI LLM, такие как Google Gemma, DeepSeek, Llama, Qwen и многие другие, прямо на смартфоне.
Приложений с ИИ сейчас довольно много, но главное отличие этого в том, что модели работают не в облаке на серверах, а прямо на смартфоне, из файла модели, на процессоре и видеокарте телефона.
Для работы не нужны ни интернет, ни платная подписка: достаточно смартфона с 6+ ГБ оперативной памяти и более-менее современным процессором.
Приложение работает с репозиторием HuggingFace — крупнейшим хранилищем моделей с открытым исходным кодом: их там миллионы, и тысячи из них — большие языковые модели, или LLM.
Приложение умеет открывать самый распространённый формат моделей, .gguf, — движком llama.cpp; форматы Google для движка MediaPipe, .task и .tflite (версии моделей для MediaPipe лежат в репозиториях Google); и модели .litertlm — движком LiteRT-LM.
Для некоторых моделей, например Gemma 3n (открытая модель, построенная на тех же технологиях, что и Gemini), движок MediaPipe поддерживает обработку изображений.
Приложение сделано прежде всего для энтузиастов ИИ, а ещё для тех, кто не может пользоваться облачными моделями вроде ChatGPT или Gemini из-за возможной утечки данных, и для людей без постоянного доступа к интернету.
Сейчас приложение бесплатное, но если я не найду способа оплатить свою работу над ним, часть функций станет платной.
Для кого это приложение?
Приложение предназначено для:
- энтузиастов ИИ, которые хотят скачивать и пробовать новые модели и разные их дообученные версии;
- людей, которые по какой-то причине не могут пользоваться интернетом: например, находятся там, где его нет, или летят в самолёте;
- людей, которые не могут пользоваться облачными моделями, потому что опасаются утечки данных или потому что их компания запрещает облачные модели.
Как использовать
В приложении есть вкладки: Чат, История, Модели, Настройки.
Чат
На этой вкладке — чат с запущенной сейчас моделью.

- Новый чат: очищает историю диалога с моделью.
- Значок «Поделиться изображением»: добавляет картинку в чат. Пока это поддерживают только движок MediaPipe и модели Gemma 3n и Gemma 3 4B, 12B и 27B.
- Значок «Сделать фото»: делает снимок и отправляет его в чат. Пока это поддерживают только движок MediaPipe и модели Gemma 3n и Gemma 3 4B, 12B и 27B.
- Значок «Прикрепить документ»: прикрепляет документ в формате pdf, txt, doc или docx. Как только документ загрузится, он добавится в контекст сообщения.
- RAG ВКЛ / ВЫКЛ: включает и выключает RAG — добавление в контекст диалога результатов поиска по векторной базе данных.
- Очистить текст: стирает текст текущего сообщения.
- Вставить текст: вставляет текст из буфера обмена туда, где стоит курсор.
- Голосовой ввод: включает голосовой ввод. Когда вы закончите говорить, текст уйдёт модели сам, если в настройках приложения включена опция «Автоматически отправлять текст модели после распознавания речи»; если нет — отправьте его кнопкой «Отправить».
- Отправить: отправляет сообщение модели. Надпись на кнопке может меняться в зависимости от состояния модели.
- Значок микрофона у сообщения: зачитывает сообщение вслух. Скорость чтения задаётся в настройках приложения параметром «Скорость голоса». Если в настройках включено «Автоматически озвучивать ответы после генерации», ответ зачитывается сам, как только модель закончит его генерировать.
- Нажатие на сообщение: открывает меню, где сообщение можно скопировать в буфер обмена, отправить в другое приложение или прослушать.
- Верхняя панель: показывает, с какой моделью идёт диалог. Ещё на ней виден объём свободной оперативной памяти, если включена опция «Показывать свободную память на экранах».
История
Список всех диалогов со всеми моделями.

- Нажатие на диалог: открывает диалог с моделью.
- Удалить: удаляет диалог. Все диалоги сразу можно удалить в настройках приложения кнопкой «Очистить историю чата».
- Продолжить диалог: любой диалог можно продолжить, продолжение сохранится как новый диалог. При нажатии откроется список всех доступных моделей, и продолжить можно с любой из них, даже если диалог начинался с другой. Учтите, что контекст модели ограничен: если в диалоге много текста, контекст может закончиться, и часть диалога потеряется. Размер контекста задаётся в настройках приложения. Он считается не в символах, а в токенах, и токен — это обычно часть слова.
Модели
Здесь все скачанные модели, а также модели, запущенные в Ollama и LM Studio на вашем компьютере. Каждая модель — это файл в папке приложения. Эту папку можно открыть в некоторых файловых менеджерах, например в ES Explorer, и самому добавлять или удалять модели.

- Запустить модель: запускает модель и выгружает все остальные. Если модель работает на компьютере в локальной сети, приложение её не запускает, а открывает с ней диалог: моделью управляет программа, в которой она запущена.
- Показать информацию: открывает страницу со служебной информацией о модели.
- Нажатие на модель: открывает модель в поддерживаемом файловом менеджере. Не все файловые менеджеры умеют открывать файлы, и не у всех есть разрешение открывать папку другого приложения.
- Удалить: удаляет модель. Удалять можно и модели, запущенные в Ollama на компьютере в локальной сети.
- Верхняя панель: показывает папку приложения с моделями. Нажмите на папку, чтобы открыть её в файловом менеджере, скопировать путь к ней или поделиться им. Ещё на панели виден объём свободной оперативной памяти, если включена опция «Показывать свободную память на экранах».
- Скачать модели: открывает страницу загрузки моделей из репозитория HuggingFace.

- Автор: фильтрует список моделей по автору. Можно ввести текст или выбрать пресет.
- Pipeline: фильтрует список моделей по pipeline. Можно ввести текст или выбрать пресет.
- Фильтр: фильтрует список моделей по фильтру. Можно ввести текст или выбрать пресет.
- Поиск: фильтрует список моделей по названию. Можно ввести текст или выбрать пресет.
- Параметр сортировки: по какому параметру сортировать список.
- ▼: открывает список пресетов для соответствующего фильтра.
- +: сохраняет значение из текстового поля в пресеты.
- -: удаляет значение из текстового поля из пресетов.
- Обновить: обновляет список.
- Закрыть фильтр: скрывает панель фильтров.
- Открыть модель в репозитории: открывает страницу модели в репозитории HuggingFace.
- Скачать: открывает список всех файлов модели, доступных в репозитории. Модели с квантованием Q4, подходящие для архитектуры Arm, отмечены зелёным. Если у смартфона быстрый процессор, а модель небольшая, можно попробовать скачать и запустить модель с любым квантованием: чем больше число в квантовании, тем точнее модель. После нажатия вверху экрана появится состояние загрузки; нажмите на него, чтобы остановить загрузку.
- Закладки: модели, которые вы добавили в закладки.

На странице закладок те же фильтры и кнопки, что и на странице загрузки, кроме самих «Закладок».
Настройки

- Настройки приложения

- Выбор языка: меняет язык приложения. С вариантом «Системный» приложение следует языку устройства. Сейчас поддерживаются английский, немецкий, французский, испанский, польский, русский и украинский.
- Режим отображения: тема приложения — тёмная, светлая или системная.
- Настройки голоса: настройки чтения вслух — автоматическое чтение ответов после генерации, автоматическая отправка сообщения после распознавания речи и скорость чтения.
- Настройки отладки: здесь можно включить показ свободной оперативной памяти на экранах и перейти на страницу отладочной информации движка llama.cpp.
- Страница отладочной информации движка LLama.cpp: после включения переключателя показывает служебную информацию, которую движок выводит в консоль при загрузке модели и генерации ответа. Разные уровни отладки показаны разными цветами.
- Токен репозитория HuggingFace: для скачивания некоторых моделей из репозитория HuggingFace, например моделей Google, нужен токен. Его можно ввести вручную. Если вы этого не сделали, приложение поддерживает вход через сайт HuggingFace: когда модель требует авторизации, приложение пробует войти через сайт и добавляет полученный токен — тогда он появится в поле токена.
- Скопировать / вставить настройки приложения через буфер обмена: копирует все настройки приложения в буфер обмена в формате JSON, вставляет их из буфера или отправляет текстовым сообщением. Настройки разных версий приложения могут быть несовместимы.
- Оценить приложение: оцените приложение в Google Play. Учтите, что это экспериментальное приложение: в некоторых случаях и с некоторыми моделями оно может работать нестабильно.
- Очистить историю чата: удаляет все сохранённые сообщения.
- Восстановить настройки по умолчанию: сбрасывает все настройки приложения. Иногда настройки сбрасывает и обновление: если в прошлой версии нашлись критические ошибки, связанные с настройками, а новая версия стабильнее.
- Настройки памяти

- Настройки памяти: для запуска LLM на смартфоне нужно много свободной оперативной памяти. На этом экране видно, сколько её сейчас свободно, и можно настроить уведомления или выгрузку модели, когда памяти не хватает. В код движка на C++ встроена функция, которая берёт параметры с этого экрана и останавливает генерацию, когда памяти становится слишком мало, но иногда память кончается внезапно, и тогда приложение закрывается. Размер контекста модели напрямую влияет на то, сколько памяти она занимает; задать его можно на странице настроек движка. Ещё на странице памяти видны архитектура процессора и поддерживаемый набор инструкций.
- Настройки промпта: на этой странице можно создавать, редактировать, сохранять в пресеты и удалять промпты. Промпт используется всеми движками и добавляется к первому сообщению диалога. Промпт по умолчанию удалить нельзя, а при смене языка он сбрасывается на промпт по умолчанию для выбранного языка. Если хотите пользоваться своим промптом, не сохраняйте его как промпт по умолчанию.

- Настройки шаблонов: чтобы общаться с разными моделями, движок llama.cpp использует разные шаблоны; у моделей одного семейства пресет обычно общий. На этой странице можно обновить пресеты или добавить новые для разных моделей. Если в приложении запущена модель, при открытии страницы будет выбран её шаблон.

- Имя шаблона: шаблон связывается со скачанной моделью через «Ключевое слово в имени модели». Если несколько моделей используют один пресет, их названия можно перечислить через запятую.
- Шаблон первого сообщения: шаблон первого сообщения должен включать промпт. При отправке сообщения модели параметр
prompt_textзаменяется промптом, аmessage_text— сообщением пользователя. - Ключевое слово остановки генерации: получив от модели это слово, приложение останавливает генерацию. Это нужно некоторым моделям: из-за ошибок при их обучении или доработке модель может выдавать неправильные ключевые слова, которых движок не понимает, и генерация не заканчивается никогда. Можно указать несколько ключевых слов через запятую.
- Заменить ключевое слово: некоторые модели возвращают в ответе служебные ключевые слова. Здесь перечисляются слова, которые нужно убрать из ответа, в формате «ключевое слово» -> «на что заменить». Например, служебный тег, которым модель отмечает свои рассуждения, можно заменить своими словами.
- Настройки движка LLama.cpp: настройки движка llama.cpp, их можно сохранять в пресеты. Подробнее о настройках и о том, на что они влияют, — в моих статьях о LLM. Вот некоторые из них:

- Размер контекста: сколько токенов модель может «помнить» одновременно. Зависит от объёма оперативной памяти; рекомендуемые значения: 2–4 ГБ — 128–256 токенов, 6–8 ГБ — 256–1024 токена, 12–16 ГБ — 1024–32000 токенов.
- Размер ответа: сколько токенов модель может сгенерировать.
- Температура: значение температуры (используется, если включено сэмплирование по температуре). Управляет случайностью: 1,0 — нейтрально, 0,7 — сдержанно, 1,3 — творчески.
- Top-K: целое значение Top-K, используется, если
use_top_kравно true. Сколько самых вероятных токенов остаётся. - Top-P: дробное значение Top-P, используется, если
use_top_pравно true. Порог накопленной вероятности (например, 0,9). - Потоки: число потоков для инициализации.
- Потоки для пакетной обработки: число потоков для генерации.
- Сэмплеры: выбор сэмплера, который обрабатывает исходные значения.
- Подробнее: больше — в моей статье Нейросети простым языком.
- Настройки движка MediaPipe: настройки движка MediaPipe; частично повторяют настройки llama.cpp.

- Настройки движков LocalHost:

- Настройки Ollama LocalHost: Ollama можно запустить на компьютере, чтобы ответы генерировались на его видеокарте, и подключиться к ней по IP-адресу. Для этого выполните команды:
$env:OLLAMA_HOST="0.0.0.0"задаёт переменную окружения, чтобы Ollama слушала внешний IP-адрес (без неё Ollama слушает только localhost внутри компьютера);setx OLLAMA_HOST 0.0.0.0 /Mзаписывает её в постоянные переменные окружения (запускать от имени администратора, затем перезапустить терминал);ollama pull gemma3n:e4bскачивает модель gemma3n;ollama serveзапускает Ollama;ollama listпоказывает скачанные модели. Когда модель скачана и Ollama запущена, модель появится в приложении. IP-адрес — это адрес вашего компьютера в сети, обычно192.168.*.*; его видно в настройках Wi-Fi на компьютере или в настройках роутера. - Настройки OpenAI LocalHost: модель можно запустить на компьютере в LM Studio или другой программе, совместимой с OpenAI API, чтобы ответы генерировались на его видеокарте, и подключиться к ней по IP-адресу. IP-адрес — это адрес вашего компьютера в сети, обычно
192.168.*.*; его видно в настройках Wi-Fi на компьютере или в настройках роутера. Чтобы LM Studio слушала порт вашего компьютера, выберите в LM Studio Developer → Settings → Serve on Local Network и запустите сервер, переведя переключатель Status в положение Running. - Настройки RAG:

Если вы добавили документ в диалог с моделью и его размер не превышает лимита, заданного на странице настроек, при генерации ответа документ целиком добавляется в контекст диалога. Если он больше, его делят на части, каждую часть превращают в вектор, а при генерации ответа находят подходящий вектор и добавляют его текст в контекст диалога.
- Количество результатов: сколько результатов поиска по векторной базе данных и из прикреплённого документа добавляется в контекст при генерации ответа.
- Минимальная степень сходства: минимальное сходство двух векторов, при котором они считаются совпадением; пары с меньшим сходством отбрасываются. Типичные значения: 0,7–0,8 — для строгих совпадений с высокой релевантностью; 0,5–0,7 — для умеренного сходства, когда подходят и частичные совпадения; меньше 0,5 — только для широкого охвата или исследовательского поиска.
- Добавлять прикреплённые документы в векторную базу данных: документ, прикреплённый во время диалога, добавляется и в векторную базу данных. Тогда при включённом RAG каждый запрос ищет по векторной базе, и подходящий документ добавляется в контекст вопроса.
- Размер фрагмента в токенах: максимальное число токенов в одном фрагменте текста, после которого он делится. Если значение слишком большое, модель эмбеддингов может сломаться или вернуть ошибку, потому что фрагмент превысит максимальный размер её входных данных.
- Перекрытие фрагментов, только для метода Sentences: сколько токенов с конца одного фрагмента повторяется в начале следующего, чтобы сохранить контекст.
- Делить фрагменты текста больше этого значения на части: текст длиннее этого числа символов делится на фрагменты. Это касается и документов, добавленных во время диалога: любой документ больше этого значения превращается в векторы, и поиск идёт по векторам. Если документ слишком большой, у LLM закончится контекст, и она не сможет сгенерировать ответ.
- Максимум символов во фрагменте: ограничивает число символов во фрагменте. В методе Sentences предложения бывают длинными, и без ограничения модель эмбеддингов падает.
- Настройки векторной базы данных:

Документ или текст можно добавить в векторную базу данных вручную. При добавлении документ делится на части, и для каждой части создаётся вектор. Если в диалоге с моделью включён RAG, каждый ваш вопрос превращается в вектор, в векторной базе находятся подходящие фрагменты документов, и их текст добавляется в контекст вопроса. Ещё можно проверить, какие документы база находит по тексту запроса: для этого есть фильтр.
Будущие возможности
- LocalHost Server API: приложение будет работать как сервер, совместимый с OpenAI API и Ollama API.
- Вызов функций: поддержка On-Device Function Calling SDK. Пока она отключена: SDK не поддерживает некоторые функции, которые нужны другим частям приложения.
Текущие реализации движка
llama.cpp
- Википедия: en.wikipedia.org/wiki/Llama.cpp
- GitHub: github.com/ggml-org/llama.cpp
- Android: github.com/ggml-org/llama.cpp/tree/master/examples/llama.android
- Как движок устроен внутри: llama.cpp AI LLM Engine — Как это работает
LiteRT-LM
Движок Google для моделей .litertlm. Он встроен в приложение и работает очень быстро.
- GitHub: github.com/google-ai-edge/LiteRT-LM
- Руководство по Kotlin: ai.google.dev/edge/litert-lm/android
- HuggingFace: huggingface.co/litert-community
- Сравнение с другими движками и код интеграции: Локальный запуск LLM моделей на Android смартфоне
MediaPipe / TensorFlow
- Руководство Google: ai.google.dev/edge/mediapipe/solutions/guide
- GitHub: github.com/google-ai-edge/mediapipe
- HuggingFace: huggingface.co/litert-community
- Модель на Kaggle: kaggle.com/models/google/gemma-3/tfLite
- Maven: mvnrepository.com/artifact/com.google.mediapipe
Движки на локальном хосте
- Ollama: поддерживается Ollama API: можно запустить Ollama на компьютере и общаться с моделью из приложения.
- OpenAI API: поддерживается OpenAI API: можно запустить на компьютере LM Studio или любую программу, совместимую с OpenAI API, и общаться с моделью из приложения.
Будущие интеграции
MLC LLM
Пока только экспериментально: модели на HuggingFace состоят из множества файлов, это неудобно, а сам движок плохо оптимизирован под Android, и модели работают медленнее, чем в llama.cpp и MediaPipe. В дальнейшем планирую перепаковать некоторые модели в специальный однофайловый формат и выложить на HuggingFace.
- Репозиторий: github.com/mlc-ai/mlc-llm
- Развёртывание CLI: llm.mlc.ai/docs/deploy/cli.html
- Развёртывание на Android: llm.mlc.ai/docs/deploy/android.html
- Компиляция моделей: llm.mlc.ai/docs/compilation/compile_models.html
- HuggingFace: huggingface.co/mlc-ai
- Пример модели: huggingface.co/google/gemma-3-1b-it-qat-q4_0-unquantized
ONNX
Пока только экспериментально: модели на HuggingFace состоят из множества файлов, и упаковать их в один нельзя, поэтому движком неудобно пользоваться, и на Android он работает медленно.
- Википедия: en.wikipedia.org/wiki/Open_Neural_Network_Exchange
- ONNX Runtime for GenAI (Java): github.com/microsoft/onnxruntime-genai/tree/main/src/java
- Документация API: onnxruntime.ai/docs/genai/api/java.html
- HuggingFace: huggingface.co/onnx-community
- Maven: mvnrepository.com/artifact/com.microsoft.onnxruntime
PyTorch
Планирую добавить.
- Википедия: en.wikipedia.org/wiki/PyTorch
- Официальный сайт: pytorch.org
- Репозиторий: github.com/pytorch/pytorch
Дополнительные ресурсы для чтения
- Большая языковая модель (Википедия)
- Список больших языковых моделей (Википедия)
- Llama (языковая модель) (Википедия)
- Бенчмарки языковых моделей (Википедия)
- Understanding Large Language Models in Your Pockets — производительность LLM на обычных смартфонах (arXiv)
Архитектура
- Модульная Clean Architecture Роберта Мартина
Технологический стек
- Языки: Kotlin, Java, C++
- Система сборки: Gradle Groovy DSL, CMake
