ДенниБлогСделано в России
← Все статьи

Локальные модели

Локальная нейросеть на телефоне и Mac: как выбрать модель и запустить без облака

Что такое локальная нейросеть, чем она лучше и хуже облачной, какую модель выбрать под своё устройство и как запустить её на Android и Mac без командной строки.

Команда AFTeam · · 5 мин чтения

Денни с процессором рядом с ноутбуком и телефоном — иллюстрация

Локальная нейросеть — это ИИ-модель, которая работает прямо на вашем устройстве, а не на сервере компании. Её один раз скачивают, после чего она отвечает без интернета, а текстовые запросы в локальном режиме не нужно отправлять облачной модели. Обычно локальные модели запускают на компьютере через специальные программы, но сегодня это можно сделать и на телефоне, и на Mac в пару нажатий. Ниже — как это устроено, какую модель выбрать и как запустить её без командной строки.

Локальная или облачная: в чём разница

Облачная (ChatGPT, ГигаЧат) Локальная
Где работает на серверах компании на вашем телефоне или компьютере
Нужен интернет для обращения к модели для загрузок и внешних инструментов; локальный диалог возможен без сети
Обработка текстового запроса на сервере провайдера на устройстве; внешние инструменты могут обращаться в сеть
Доступ к провайдеру по условиям выбранного сервиса для локальных вычислений облачный ключ не нужен
Качество ответов зависит от модели и задачи зависит от модели, квантования и задачи
Скорость быстро при хорошей связи зависит от устройства
Знает свежие новости с веб-поиском — да без подключённого веб-поиска — нет

Локальная модель не заменит большую облачную во всём. Но для повседневных вещей — спланировать день, объяснить понятие, переписать сообщение, разобрать мысли — её часто хватает.

Денни — светлый робот с тёплой подсветкой, без логотипов на корпусе
Персонаж Денни. Актуальный интерфейс — в интерактивном нотче: голос, текст, личные дела, агенты и Office на VPS. Пример использует демонстрационные данные.

Зачем нужна локальная нейросеть

  • Локальная обработка. Текстовый запрос обрабатывается на устройстве, если выбран локальный режим без внешних инструментов.
  • Меньше зависимости от сети. После загрузки текстовый диалог не требует подключения к облачной модели.
  • Без подписок на сторонние ИИ. Не нужны ключи и оплата облачных провайдеров.
  • Везде. Самолёт, дача, метро, заграница без роуминга.

Как обычно запускают локальные нейросети

Классический путь — на компьютере:

  • Ollama — есть графический чат, командная строка и API;
  • LM Studio — программа с окном чата и каталогом моделей;
  • GPT4All — простая оболочка для Windows, Mac и Linux.

Это хорошие инструменты, но они требуют разобраться: какую модель скачать, какой формат, сколько памяти нужно. Возможности интеграций различаются: например, GPT4All поддерживает работу с локальными документами.

Какую модель выбрать под своё устройство

Главное правило — модель должна помещаться в оперативную память с запасом.

Отправная точка Что проверить
Android, компактная модель вроде Qwen3-0.6B Поддержку формата, свободную оперативную память и скорость на своих вопросах
Телефон с большим объёмом памяти Можно пробовать модели крупнее, оставляя запас для системы и контекста
Mac с Apple Silicon Учитывать общую память, движок и совместимость конкретной модели
Длинные диалоги Контекст расходует память дополнительно к весам модели

Размер файла не равен объёму памяти для запуска. Точную совместимость определяют модель, её формат, движок и устройство; сама цифра объёма памяти не даёт гарантии.

Если модель слишком большая, она будет отвечать очень медленно или устройство не сможет её загрузить. Начинайте с маленькой и переходите к большей, если скорость устраивает.

Русский язык. У семейств Gemma и Qwen есть многоязычные модели, но качество русского зависит от конкретной версии и размера. Всё равно проверяйте на своих вопросах.

Как запустить локальную нейросеть без командной строки

Мы сделали это частью Денни — ИИ-напарника от AFTeam, — чтобы локальный ИИ был не отдельным экспериментом, а работал вместе с вашими задачами и заметками.

На Android, в установленной совместимой версии Денни:

Денни для Mac можно получить через поддержку; открытие продаж Android готовится. Названия кнопок и доступность моделей зависят от версии; актуальные варианты приведены в каталоге моделей Денни.

  1. Откройте раздел локального ИИ.
  2. Выберите доступную совместимую модель, проверьте свободное место и загрузите файл при подключении к интернету. Затем включите локальный режим.
  3. Хотите модель мощнее — подключите свой файл в формате GGUF: Денни проверит его и оценит требования к памяти; это не гарантирует скорость и совместимость.

На Mac, в установленной совместимой версии:

  1. Откройте настройки локального ИИ.
  2. Выберите модель из доступного каталога под память и движок своего Mac; загрузите необходимые файлы при подключении к интернету.
  3. Включите локальный режим и проверьте короткий текстовый запрос без сети.

Подробнее про Android — в материале «Нейросеть без интернета».

Ограничения, о которых стоит знать

  • Маленькие модели чаще ошибаются в фактах — проверяйте важное.
  • Модель не знает свежих новостей и не ищет в интернете сама.
  • Долгий разговор разряжает батарею телефона и может его нагревать.
  • Модели занимают место: от сотен мегабайт до нескольких гигабайт.

Частые вопросы

Локальная нейросеть бесплатная? Многие модели доступны для бесплатной загрузки; условия использования определяет их лицензия. Платить можно за приложение, в котором она работает, — но не за каждый запрос, как в облачных сервисах.

Можно ли запустить локальную нейросеть на слабом телефоне? Самую маленькую модель — иногда. На телефонах с 4 ГБ оперативной памяти и меньше она может не запуститься или отвечать очень медленно.

Чем локальная нейросеть отличается от «нейросети без интернета»? Часто этими словами описывают один сценарий: модель отвечает на устройстве. Но приложение может дополнительно использовать сетевые инструменты — их нужно отличать от локальных вычислений. Подробнее — в статье «Нейросеть без интернета».

Коротко

  • Локальная модель обрабатывает текст на устройстве; загрузки и внешние инструменты требуют сети.
  • Она уступает большим облачным моделям, но для повседневных задач её хватает.
  • Выбирайте модель под память устройства и начинайте с маленькой.
  • В обновлённом Денни предусмотрена загрузка рекомендованной модели из интерфейса приложения.

Узнать больше о Денни →

Обработка данных и доступность

В локальном текстовом режиме запрос обрабатывается на устройстве. При выборе облачного ИИ, интернет-поиска или внешнего распознавания речи соответствующие данные передаются выбранному сервису. Локальный режим не означает, что любая функция приложения работает без сети.

Денни для Mac можно получить через поддержку AFTEAM. Это платный личный помощник в нотче. Для Android открытие продаж готовится; действующие владельцы получают APK и обновления через поддержку. iOS — в разработке. Условия и шаги запуска — в инструкции Денни.