Microsoft Foundry Local (foundry) — это мощный инструмент командной строки (CLI) для локального запуска больших языковых моделей (LLM). Он позволяет разворачивать OpenAI-совместимый API прямо на вашем компьютере, управлять кэшем моделей и настраивать среду исполнения.
Интерфейс CLI разделен на три логические группы: service (управление фоновым процессом), model (работа с нейросетями) и cache (управление файлами).
1. Начало работы и общая справка
Если вы только установили Foundry, первыми командами для проверки работоспособности будут:
foundry --version— проверка установленной версии.foundry --help— вызов основной справки.
Для получения расширенной информации о конкретных разделах используйте:
foundry model --helpfoundry service --helpfoundry cache --help
2. Управление сервисом (Service)
Сервис — это фоновый процесс, который отвечает за работу API и загрузку моделей в память.
- Статус и информация:
foundry service status— проверить, запущен ли сервис, и получить адрес локального API (например,http://127.0.0.1:5273/v1).foundry service ps— показать список моделей, которые в данный момент загружены в оперативную память или видеопамять.
- Управление состоянием:
foundry service start— запустить службу.foundry service stop— остановить службу.foundry service restart— перезапустить службу.
- Конфигурация и логи:
foundry service logsилиfoundry service diag— просмотр журналов работы в реальном времени.foundry service set— изменение внутренних настроек сервиса.
3. Работа с моделями (Model)
Раздел model отвечает за поиск, скачивание и запуск нейросетей (например, Phi-4, Qwen или Mistral).
Основные операции
foundry model list— просмотр всех доступных в каталоге моделей.foundry model info <model_name>— подробная информация о модели.- Совет: используйте флаг
--license, чтобы увидеть условия использования модели.
- Совет: используйте флаг
foundry model download <model_name>— только скачивание модели в кэш (без запуска).foundry model load <model_name>— предварительная загрузка модели в память. Это позволяет API отвечать мгновенно при первом запросе.foundry model unload <model_name>— выгрузка модели из памяти для освобождения ресурсов.foundry model run <model_name>— универсальная команда: скачивает (если нужно), загружает и запускает интерактивный чат прямо в консоли.
Продвинутая фильтрация
При поиске моделей в каталоге можно использовать фильтры, чтобы найти подходящую под ваше железо:
foundry model list --filter device=GPU— только модели для видеокарт.foundry model list --filter device=!GPU— исключить GPU-модели.foundry model list --filter task=chat-completion— поиск моделей для чата.foundry model list --filter alias=phi*— поиск всех моделей семейства Phi.
4. Управление кэшем (Cache)
Модели могут занимать десятки гигабайт. Управление кэшем помогает контролировать свободное место на диске.
foundry cache location— узнать путь к папке, где хранятся модели.foundry cache list— список всех уже скачанных моделей.foundry cache cd <path>— важная команда: позволяет перенести каталог с тяжелыми моделями на другой диск (например, с системногоC:наD:).foundry cache remove <model_name>— удалить конкретную модель из памяти диска.foundry cache clear— полная очистка кэша.
5. Диагностика и решение проблем
Если Foundry работает нестабильно, используйте инструменты сбора данных для отчетов об ошибках:
foundry zip-logs— автоматически собирает все логи в один ZIP-архив.foundry --help --verbose— отображает скрытые команды и детальные параметры CLI.
6. Будущее Foundry: Изменения в новых версиях
В последних preview-версиях (ветка 0.10.x и выше) Microsoft начала упрощать синтаксис. Если привычные команды не работают, попробуйте новые сокращенные варианты:
| Старая команда | Новая команда (v0.10+) |
|---|---|
foundry model run | foundry run |
foundry service start | foundry server start |
foundry service diag | foundry server logs |
foundry model info | foundry model show |
foundry cache remove | foundry cache rm |
Заключение
Microsoft Foundry Local — это отличный способ интегрировать ИИ в свои проекты. Получив адрес API через foundry service status, вы можете использовать его в OpenAI SDK, LangChain, Open WebUI или собственных скриптах на Python, просто заменив base_url.
Для того чтобы узнать точно, какие команды доступны в вашей версии, выполните foundry --version.