Перейти к содержимому

⚡ Загрузка модели из Hugging Face и экспорт в формат ONNX. Оптимизированный вариант с optimum и onnxruntime

  • автор:

📊 Что делает этот код Этап Описание 1. Загрузка Загружает модель из Hugging Face Hub и автоматически экспортирует в формат ONNX 2. Сохранение Сохраняет модель и токенизатор в локальную папку 3. Квантование (Quantization) Применяет AVX512_VNNI… 

Что такое Microsoft Olive? Руководство по оптимизации ИИ-моделей

  • автор:

Microsoft Olive (акроним от ONNX Live) — это передовая платформа с открытым исходным кодом от Microsoft, созданная для комплексной оптимизации моделей искусственного интеллекта. Её главная цель — сделать процесс подготовки моделей машинного обучения для реального…