Roman Kryvolapov Engineering Blog

Offline AI Launcher — запуск AI LLM нейросетей на смартфоне

Скачать из Google Play

Более 10 000 скачиваний в Google Play

Привет!

В свободное время я написал приложение, с помощью которого можно скачивать и запускать нейросети AI LLM, такие как Google Gemma, DeepSeek, Llama, Qwen и многие другие, прямо на смартфоне.

Приложений с ИИ сейчас довольно много, но главное отличие этого в том, что модели работают не в облаке на серверах, а прямо на смартфоне, из файла модели, на процессоре и видеокарте телефона.

Для работы не нужны ни интернет, ни платная подписка: достаточно смартфона с 6+ ГБ оперативной памяти и более-менее современным процессором.

Приложение работает с репозиторием HuggingFace — крупнейшим хранилищем моделей с открытым исходным кодом: их там миллионы, и тысячи из них — большие языковые модели, или LLM.

Приложение умеет открывать самый распространённый формат моделей, .gguf, — движком llama.cpp; форматы Google для движка MediaPipe, .task и .tflite (версии моделей для MediaPipe лежат в репозиториях Google); и модели .litertlm — движком LiteRT-LM.

Для некоторых моделей, например Gemma 3n (открытая модель, построенная на тех же технологиях, что и Gemini), движок MediaPipe поддерживает обработку изображений.

Приложение сделано прежде всего для энтузиастов ИИ, а ещё для тех, кто не может пользоваться облачными моделями вроде ChatGPT или Gemini из-за возможной утечки данных, и для людей без постоянного доступа к интернету.

Сейчас приложение бесплатное, но если я не найду способа оплатить свою работу над ним, часть функций станет платной.

Для кого это приложение?

Приложение предназначено для:

  • энтузиастов ИИ, которые хотят скачивать и пробовать новые модели и разные их дообученные версии;
  • людей, которые по какой-то причине не могут пользоваться интернетом: например, находятся там, где его нет, или летят в самолёте;
  • людей, которые не могут пользоваться облачными моделями, потому что опасаются утечки данных или потому что их компания запрещает облачные модели.

Как использовать

В приложении есть вкладки: Чат, История, Модели, Настройки.

Чат

На этой вкладке — чат с запущенной сейчас моделью.

  • Новый чат: очищает историю диалога с моделью.
  • Значок «Поделиться изображением»: добавляет картинку в чат. Пока это поддерживают только движок MediaPipe и модели Gemma 3n и Gemma 3 4B, 12B и 27B.
  • Значок «Сделать фото»: делает снимок и отправляет его в чат. Пока это поддерживают только движок MediaPipe и модели Gemma 3n и Gemma 3 4B, 12B и 27B.
  • Значок «Прикрепить документ»: прикрепляет документ в формате pdf, txt, doc или docx. Как только документ загрузится, он добавится в контекст сообщения.
  • RAG ВКЛ / ВЫКЛ: включает и выключает RAG — добавление в контекст диалога результатов поиска по векторной базе данных.
  • Очистить текст: стирает текст текущего сообщения.
  • Вставить текст: вставляет текст из буфера обмена туда, где стоит курсор.
  • Голосовой ввод: включает голосовой ввод. Когда вы закончите говорить, текст уйдёт модели сам, если в настройках приложения включена опция «Автоматически отправлять текст модели после распознавания речи»; если нет — отправьте его кнопкой «Отправить».
  • Отправить: отправляет сообщение модели. Надпись на кнопке может меняться в зависимости от состояния модели.
  • Значок микрофона у сообщения: зачитывает сообщение вслух. Скорость чтения задаётся в настройках приложения параметром «Скорость голоса». Если в настройках включено «Автоматически озвучивать ответы после генерации», ответ зачитывается сам, как только модель закончит его генерировать.
  • Нажатие на сообщение: открывает меню, где сообщение можно скопировать в буфер обмена, отправить в другое приложение или прослушать.
  • Верхняя панель: показывает, с какой моделью идёт диалог. Ещё на ней виден объём свободной оперативной памяти, если включена опция «Показывать свободную память на экранах».

История

Список всех диалогов со всеми моделями.

  • Нажатие на диалог: открывает диалог с моделью.
  • Удалить: удаляет диалог. Все диалоги сразу можно удалить в настройках приложения кнопкой «Очистить историю чата».
  • Продолжить диалог: любой диалог можно продолжить, продолжение сохранится как новый диалог. При нажатии откроется список всех доступных моделей, и продолжить можно с любой из них, даже если диалог начинался с другой. Учтите, что контекст модели ограничен: если в диалоге много текста, контекст может закончиться, и часть диалога потеряется. Размер контекста задаётся в настройках приложения. Он считается не в символах, а в токенах, и токен — это обычно часть слова.

Модели

Здесь все скачанные модели, а также модели, запущенные в Ollama и LM Studio на вашем компьютере. Каждая модель — это файл в папке приложения. Эту папку можно открыть в некоторых файловых менеджерах, например в ES Explorer, и самому добавлять или удалять модели.

  • Запустить модель: запускает модель и выгружает все остальные. Если модель работает на компьютере в локальной сети, приложение её не запускает, а открывает с ней диалог: моделью управляет программа, в которой она запущена.
  • Показать информацию: открывает страницу со служебной информацией о модели.
  • Нажатие на модель: открывает модель в поддерживаемом файловом менеджере. Не все файловые менеджеры умеют открывать файлы, и не у всех есть разрешение открывать папку другого приложения.
  • Удалить: удаляет модель. Удалять можно и модели, запущенные в Ollama на компьютере в локальной сети.
  • Верхняя панель: показывает папку приложения с моделями. Нажмите на папку, чтобы открыть её в файловом менеджере, скопировать путь к ней или поделиться им. Ещё на панели виден объём свободной оперативной памяти, если включена опция «Показывать свободную память на экранах».
  • Скачать модели: открывает страницу загрузки моделей из репозитория HuggingFace.

  • Автор: фильтрует список моделей по автору. Можно ввести текст или выбрать пресет.
  • Pipeline: фильтрует список моделей по pipeline. Можно ввести текст или выбрать пресет.
  • Фильтр: фильтрует список моделей по фильтру. Можно ввести текст или выбрать пресет.
  • Поиск: фильтрует список моделей по названию. Можно ввести текст или выбрать пресет.
  • Параметр сортировки: по какому параметру сортировать список.
  • ▼: открывает список пресетов для соответствующего фильтра.
  • +: сохраняет значение из текстового поля в пресеты.
  • -: удаляет значение из текстового поля из пресетов.
  • Обновить: обновляет список.
  • Закрыть фильтр: скрывает панель фильтров.
  • Открыть модель в репозитории: открывает страницу модели в репозитории HuggingFace.
  • Скачать: открывает список всех файлов модели, доступных в репозитории. Модели с квантованием Q4, подходящие для архитектуры Arm, отмечены зелёным. Если у смартфона быстрый процессор, а модель небольшая, можно попробовать скачать и запустить модель с любым квантованием: чем больше число в квантовании, тем точнее модель. После нажатия вверху экрана появится состояние загрузки; нажмите на него, чтобы остановить загрузку.
  • Закладки: модели, которые вы добавили в закладки.

На странице закладок те же фильтры и кнопки, что и на странице загрузки, кроме самих «Закладок».

Настройки

  • Настройки приложения

  • Выбор языка: меняет язык приложения. С вариантом «Системный» приложение следует языку устройства. Сейчас поддерживаются английский, немецкий, французский, испанский, польский, русский и украинский.
  • Режим отображения: тема приложения — тёмная, светлая или системная.
  • Настройки голоса: настройки чтения вслух — автоматическое чтение ответов после генерации, автоматическая отправка сообщения после распознавания речи и скорость чтения.
  • Настройки отладки: здесь можно включить показ свободной оперативной памяти на экранах и перейти на страницу отладочной информации движка llama.cpp.
  • Страница отладочной информации движка LLama.cpp: после включения переключателя показывает служебную информацию, которую движок выводит в консоль при загрузке модели и генерации ответа. Разные уровни отладки показаны разными цветами.
  • Токен репозитория HuggingFace: для скачивания некоторых моделей из репозитория HuggingFace, например моделей Google, нужен токен. Его можно ввести вручную. Если вы этого не сделали, приложение поддерживает вход через сайт HuggingFace: когда модель требует авторизации, приложение пробует войти через сайт и добавляет полученный токен — тогда он появится в поле токена.
  • Скопировать / вставить настройки приложения через буфер обмена: копирует все настройки приложения в буфер обмена в формате JSON, вставляет их из буфера или отправляет текстовым сообщением. Настройки разных версий приложения могут быть несовместимы.
  • Оценить приложение: оцените приложение в Google Play. Учтите, что это экспериментальное приложение: в некоторых случаях и с некоторыми моделями оно может работать нестабильно.
  • Очистить историю чата: удаляет все сохранённые сообщения.
  • Восстановить настройки по умолчанию: сбрасывает все настройки приложения. Иногда настройки сбрасывает и обновление: если в прошлой версии нашлись критические ошибки, связанные с настройками, а новая версия стабильнее.
  • Настройки памяти

  • Настройки памяти: для запуска LLM на смартфоне нужно много свободной оперативной памяти. На этом экране видно, сколько её сейчас свободно, и можно настроить уведомления или выгрузку модели, когда памяти не хватает. В код движка на C++ встроена функция, которая берёт параметры с этого экрана и останавливает генерацию, когда памяти становится слишком мало, но иногда память кончается внезапно, и тогда приложение закрывается. Размер контекста модели напрямую влияет на то, сколько памяти она занимает; задать его можно на странице настроек движка. Ещё на странице памяти видны архитектура процессора и поддерживаемый набор инструкций.
  • Настройки промпта: на этой странице можно создавать, редактировать, сохранять в пресеты и удалять промпты. Промпт используется всеми движками и добавляется к первому сообщению диалога. Промпт по умолчанию удалить нельзя, а при смене языка он сбрасывается на промпт по умолчанию для выбранного языка. Если хотите пользоваться своим промптом, не сохраняйте его как промпт по умолчанию.

  • Настройки шаблонов: чтобы общаться с разными моделями, движок llama.cpp использует разные шаблоны; у моделей одного семейства пресет обычно общий. На этой странице можно обновить пресеты или добавить новые для разных моделей. Если в приложении запущена модель, при открытии страницы будет выбран её шаблон.

  • Имя шаблона: шаблон связывается со скачанной моделью через «Ключевое слово в имени модели». Если несколько моделей используют один пресет, их названия можно перечислить через запятую.
  • Шаблон первого сообщения: шаблон первого сообщения должен включать промпт. При отправке сообщения модели параметр prompt_text заменяется промптом, а message_text — сообщением пользователя.
  • Ключевое слово остановки генерации: получив от модели это слово, приложение останавливает генерацию. Это нужно некоторым моделям: из-за ошибок при их обучении или доработке модель может выдавать неправильные ключевые слова, которых движок не понимает, и генерация не заканчивается никогда. Можно указать несколько ключевых слов через запятую.
  • Заменить ключевое слово: некоторые модели возвращают в ответе служебные ключевые слова. Здесь перечисляются слова, которые нужно убрать из ответа, в формате «ключевое слово» -> «на что заменить». Например, служебный тег, которым модель отмечает свои рассуждения, можно заменить своими словами.
  • Настройки движка LLama.cpp: настройки движка llama.cpp, их можно сохранять в пресеты. Подробнее о настройках и о том, на что они влияют, — в моих статьях о LLM. Вот некоторые из них:

  • Размер контекста: сколько токенов модель может «помнить» одновременно. Зависит от объёма оперативной памяти; рекомендуемые значения: 2–4 ГБ — 128–256 токенов, 6–8 ГБ — 256–1024 токена, 12–16 ГБ — 1024–32000 токенов.
  • Размер ответа: сколько токенов модель может сгенерировать.
  • Температура: значение температуры (используется, если включено сэмплирование по температуре). Управляет случайностью: 1,0 — нейтрально, 0,7 — сдержанно, 1,3 — творчески.
  • Top-K: целое значение Top-K, используется, если use_top_k равно true. Сколько самых вероятных токенов остаётся.
  • Top-P: дробное значение Top-P, используется, если use_top_p равно true. Порог накопленной вероятности (например, 0,9).
  • Потоки: число потоков для инициализации.
  • Потоки для пакетной обработки: число потоков для генерации.
  • Сэмплеры: выбор сэмплера, который обрабатывает исходные значения.
  • Подробнее: больше — в моей статье Нейросети простым языком.
  • Настройки движка MediaPipe: настройки движка MediaPipe; частично повторяют настройки llama.cpp.

  • Настройки движков LocalHost:

  • Настройки Ollama LocalHost: Ollama можно запустить на компьютере, чтобы ответы генерировались на его видеокарте, и подключиться к ней по IP-адресу. Для этого выполните команды: $env:OLLAMA_HOST="0.0.0.0" задаёт переменную окружения, чтобы Ollama слушала внешний IP-адрес (без неё Ollama слушает только localhost внутри компьютера); setx OLLAMA_HOST 0.0.0.0 /M записывает её в постоянные переменные окружения (запускать от имени администратора, затем перезапустить терминал); ollama pull gemma3n:e4b скачивает модель gemma3n; ollama serve запускает Ollama; ollama list показывает скачанные модели. Когда модель скачана и Ollama запущена, модель появится в приложении. IP-адрес — это адрес вашего компьютера в сети, обычно 192.168.*.*; его видно в настройках Wi-Fi на компьютере или в настройках роутера.
  • Настройки OpenAI LocalHost: модель можно запустить на компьютере в LM Studio или другой программе, совместимой с OpenAI API, чтобы ответы генерировались на его видеокарте, и подключиться к ней по IP-адресу. IP-адрес — это адрес вашего компьютера в сети, обычно 192.168.*.*; его видно в настройках Wi-Fi на компьютере или в настройках роутера. Чтобы LM Studio слушала порт вашего компьютера, выберите в LM Studio Developer → Settings → Serve on Local Network и запустите сервер, переведя переключатель Status в положение Running.
  • Настройки RAG:

Если вы добавили документ в диалог с моделью и его размер не превышает лимита, заданного на странице настроек, при генерации ответа документ целиком добавляется в контекст диалога. Если он больше, его делят на части, каждую часть превращают в вектор, а при генерации ответа находят подходящий вектор и добавляют его текст в контекст диалога.

  • Количество результатов: сколько результатов поиска по векторной базе данных и из прикреплённого документа добавляется в контекст при генерации ответа.
  • Минимальная степень сходства: минимальное сходство двух векторов, при котором они считаются совпадением; пары с меньшим сходством отбрасываются. Типичные значения: 0,7–0,8 — для строгих совпадений с высокой релевантностью; 0,5–0,7 — для умеренного сходства, когда подходят и частичные совпадения; меньше 0,5 — только для широкого охвата или исследовательского поиска.
  • Добавлять прикреплённые документы в векторную базу данных: документ, прикреплённый во время диалога, добавляется и в векторную базу данных. Тогда при включённом RAG каждый запрос ищет по векторной базе, и подходящий документ добавляется в контекст вопроса.
  • Размер фрагмента в токенах: максимальное число токенов в одном фрагменте текста, после которого он делится. Если значение слишком большое, модель эмбеддингов может сломаться или вернуть ошибку, потому что фрагмент превысит максимальный размер её входных данных.
  • Перекрытие фрагментов, только для метода Sentences: сколько токенов с конца одного фрагмента повторяется в начале следующего, чтобы сохранить контекст.
  • Делить фрагменты текста больше этого значения на части: текст длиннее этого числа символов делится на фрагменты. Это касается и документов, добавленных во время диалога: любой документ больше этого значения превращается в векторы, и поиск идёт по векторам. Если документ слишком большой, у LLM закончится контекст, и она не сможет сгенерировать ответ.
  • Максимум символов во фрагменте: ограничивает число символов во фрагменте. В методе Sentences предложения бывают длинными, и без ограничения модель эмбеддингов падает.
  • Настройки векторной базы данных:

Документ или текст можно добавить в векторную базу данных вручную. При добавлении документ делится на части, и для каждой части создаётся вектор. Если в диалоге с моделью включён RAG, каждый ваш вопрос превращается в вектор, в векторной базе находятся подходящие фрагменты документов, и их текст добавляется в контекст вопроса. Ещё можно проверить, какие документы база находит по тексту запроса: для этого есть фильтр.

Будущие возможности

  • LocalHost Server API: приложение будет работать как сервер, совместимый с OpenAI API и Ollama API.
  • Вызов функций: поддержка On-Device Function Calling SDK. Пока она отключена: SDK не поддерживает некоторые функции, которые нужны другим частям приложения.

Текущие реализации движка

llama.cpp

LiteRT-LM

Движок Google для моделей .litertlm. Он встроен в приложение и работает очень быстро.

MediaPipe / TensorFlow

Движки на локальном хосте

  • Ollama: поддерживается Ollama API: можно запустить Ollama на компьютере и общаться с моделью из приложения.
  • OpenAI API: поддерживается OpenAI API: можно запустить на компьютере LM Studio или любую программу, совместимую с OpenAI API, и общаться с моделью из приложения.

Будущие интеграции

MLC LLM

Пока только экспериментально: модели на HuggingFace состоят из множества файлов, это неудобно, а сам движок плохо оптимизирован под Android, и модели работают медленнее, чем в llama.cpp и MediaPipe. В дальнейшем планирую перепаковать некоторые модели в специальный однофайловый формат и выложить на HuggingFace.

ONNX

Пока только экспериментально: модели на HuggingFace состоят из множества файлов, и упаковать их в один нельзя, поэтому движком неудобно пользоваться, и на Android он работает медленно.

PyTorch

Планирую добавить.

Дополнительные ресурсы для чтения

Архитектура

  • Модульная Clean Architecture Роберта Мартина

Роберт Мартин (Википедия)

Технологический стек

  • Языки: Kotlin, Java, C++
  • Система сборки: Gradle Groovy DSL, CMake