Локальные модели хороши тем, что после первой загрузки их можно использовать где угодно — интернет больше не нужен. Всё, с чем вы работаете, остаётся на вашем устройстве, и никакой «большой брат» не видит ваши данные или запросы. Ответы приходят без задержек, обычно связанных с облачными сервисами, а расходы на вычисления сводятся к стоимости потраченных киловатт, так как всё выполняется на вашем железе.
Модели адаптируются под устройство: Foundry Local выбирает оптимальную версию для ЦП, ГП или NPU, обеспечивая максимальную скорость и эффективность.
🛠 Foundry Local
Foundry Local от Microsoft упрощает запуск локальных моделей.
Часть задач ИИ выполняется локально, часть — через облако, когда это выгодно.
С Foundry Local можно работать:
- через CLI — простые команды в терминале или PowerShell
- через SDK — привычные библиотеки, включая OpenAI-совместимый REST API
- через Visual Studio Code AI Toolkit — модели прямо в IDE
Каталог моделей содержит варианты, оптимизированные для локальной работы. Если модель уже скачана, она запускается мгновенно из кэша. Локальная служба принимает запросы как веб-сервис, что позволяет вызывать модель из скриптов или интегрировать в собственные инструменты.
⚙️ Требования к системе
- Операционная система: Windows 10/11 (x64/ARM), Windows Server 2025 или macOS
- Память и диск: минимум 8 ГБ ОЗУ и 3 ГБ диска (рекомендуется 16 ГБ / 15 ГБ)
- Сеть: интернет нужен только при первой загрузке модели
- Ускорение (опционально): NVIDIA (серии 2000+), AMD (6000+), Intel iGPU, Qualcomm Snapdragon X Elite, Apple Silicon
- Права администратора: требуются для установки
💾 Установка Foundry Local
1. Через CLI
Windows:
winget install Microsoft.FoundryLocal --scope machine
Если установка завершилась ошибкой — скачайте .msix и зависимости, установите через PowerShell с правами администратора.
macOS: используйте инструкции из официальной документации.
2. Скачивание установщика
Найдите последнюю версию в репозитории Foundry Local на GitHub и установите вручную.
После установки проверьте справку:
foundry help
🚀 Запуск первой модели
- В терминале запустите модель (например,
phi-3.5-mini). - При первом запуске она загрузится локально (несколько минут).
- При следующих обращениях будет использоваться кэш.
Пример:
foundry model run phi-3.5-mini
Для запуска GPT-OSS-20B:
foundry model run gpt-oss-20b
⚠ Требуется NVIDIA GPU 16 ГБ+ VRAM и Foundry Local 0.6.87+.
Проверить версию:
foundry --version
🖥 Foundry Local CLI — Справочник
Интерфейс командной строки (CLI) Foundry Local предназначен для управления моделями, сервисом и локальным кэшем.
🔎 Обзор
Посмотреть все доступные команды:
foundry --help
Категории команд:
- Model — управление и запуск моделей
- Service — управление сервисом Foundry Local
- Cache — работа с кэшем
📦 Команды для работы с моделями
| Команда | Описание |
|---|---|
foundry model --help | Справка по командам для моделей. |
foundry model run <model> | Запустить модель (при необходимости загрузит её). |
foundry model list | Список доступных моделей. |
foundry model info <model> | Подробная информация о модели. |
foundry model download <model> | Скачать модель в кэш без запуска. |
foundry model load <model> | Загрузить модель в сервис. |
foundry model unload <model> | Выгрузить модель из сервиса. |
⚙️ Команды для работы с сервисом
| Команда | Описание |
|---|---|
foundry service --help | Справка по сервису. |
foundry service start | Запуск сервиса. |
foundry service stop | Остановка сервиса. |
foundry service restart | Перезапуск сервиса. |
foundry service status | Проверка статуса. |
foundry service ps | Список загруженных моделей. |
foundry service logs | Просмотр логов. |
foundry service set <options> | Настройка (например, GPU). |
🗂 Команды для работы с кэшем
| Команда | Описание |
|---|---|
foundry cache --help | Справка по кэшу. |
foundry cache location | Показать путь к кэшу. |
foundry cache list | Список моделей в кэше. |
foundry cache remove <model> | Удалить модель из кэша. |
foundry cache cd <path> | Изменить директорию кэша. |
🚀 Примеры использования
Быстрый запуск модели
# Скачать и запустить модель
foundry model run phi-4-mini
# Информация о модели
foundry model info phi-4-mini
# Скачать модель без запуска
foundry model download phi-4-mini
Управление сервисом
foundry service status
foundry service ps
foundry service restart
Работа с кэшем
foundry cache list
foundry cache remove old-model
foundry cache cd /path/to/larger/drive
🔧 Расширенные возможности
# Просмотреть лицензию модели
foundry model info phi-4-mini --license
# Сгенерировать диагностические логи
foundry zip-logs
# Настроить использование GPU
foundry service set --gpu 0