Запуск LLM на вашем компьютере с Windows только что стал значительно проще благодаря инструменту Microsofts Foundry Local AI. Он совершенно бесплатен в использовании и предлагает широкий выбор моделей ИИ на выбор.
Что такое локальный ИИ Foundry
Недавно Microsoft анонсировала Foundry Local, который предназначен в основном для разработчиков. Бесплатный инструмент позволяет запускать LLM на вашем ПК локально, без подключения к Интернету. Вы не получите таких же результатов, как при использовании популярных облачных инструментов ИИ, таких как ChatGPT, Gemini или Copilot, но это все равно интересный способ поэкспериментировать с моделями ИИ.
Поскольку Foundry Local все еще новый и технически находится только в стадии публичного предварительного просмотра, он все еще достаточно базовый, поэтому не стоит ожидать от него чего-то умопомрачительного. Со временем Foundry Local, вероятно, станет лучше и получит больше возможностей.
Предварительные условия Foundry Local
Прежде чем устанавливать что-либо, убедитесь, что ваш ПК способен работать с моделями ИИ Foundry Local.
Вам понадобятся:
- 64-разрядная версия Windows 10 или 11, Windows Server 2025 или MacOS.
- 3 ГБ места на жестком диске, хотя рекомендуется 15 ГБ, особенно при использовании нескольких моделей
- 8 ГБ оперативной памяти, хотя для достижения наилучших результатов рекомендуется 16 ГБ.
- Хотя это и не обязательно, Microsoft рекомендует иметь графический процессор Nvidia (серии 2000 или новее), Qualcomm Snapdragon X Elite (8 ГБ или более памяти), графический процессор AMD (серии 6000 или новее) или процессор M-серии от Apple.
Доступ к Интернету понадобится только во время установки и при установке новой модели AI. После этого можете смело отключаться. Кроме того, убедитесь, что у вас есть права администратора для установки Foundry Local.
Как установить Foundry Local AI
В отличие от многих приложений, для установки Foundry Local вам не нужно заходить на веб-сайт или в Microsoft Store. Вместо этого вы воспользуетесь winget, который позволяет устанавливать программное обеспечение через командную строку. Не волнуйтесь, для этого вам не нужно быть разработчиком или мастером командной строки.
Если вы предпочитаете более традиционную установку, загрузите ее с GitHub.
Для Windows откройте окно терминала. Нажмите Win + X и выберите Терминал (администратор). Введите следующую команду:
winget install Microsoft.FoundryLocal
Согласитесь с условиями и дождитесь завершения установки. Это может занять несколько минут.
Для macOS откройте окно терминала и введите следующее:
brew tap microsoft/foundrylocal brew install foundrylocal
Если вы предпочитаете загружать LLM на Raspberry Pi, попробуйте выполнить следующие шаги.
Установка вашей первой модели ИИ
Для первого раза Microsoft рекомендует использовать легкую модель – Phi-3.5-mini. Не обязательно начинать именно с нее, но если у вас мало места, это хороший способ попробовать свои силы, не жертвуя драгоценной памятью.
Откройте окно терминала и введите следующую команду:
foundry model run phi-3.5-mini
Это может занять несколько минут или больше, в зависимости от выбранной вами модели. Для меня эта конкретная модель заняла всего две минуты. Самое приятное, что Foundry Local AI устанавливает оптимальную версию модели для вашей аппаратной конфигурации, так что вам не придется ломать голову над тем, что именно установить.
Если вы хотите попробовать другие модели, ознакомьтесь с полным списком, используя следующую команду:
foundry model list
Каждая модель в списке показывает, сколько места для хранения ей нужно, и ее назначение. На данный момент все модели предназначены только для завершения чата.
Взаимодействие с локальными моделями ИИ
Для взаимодействия с установленными вами моделями ИИ нет удобного графического интерфейса. Вместо этого вы будете делать все из командной строки. Но это не сильно отличается от общения с любым другим ИИ-чатботом. Просто введите свой текст, когда появится подсказка Интерактивный режим, пожалуйста, введите свой текст.
У каждой модели ИИ есть свои ограничения. Например, я ввел подсказку для Phi-3.5-mini с вопросом what is foundry local. Я сделал это специально, чтобы подчеркнуть тот факт, что знания этой модели ограничены началом 2023 года и ранее. Результат упоминает это ограничение, но пытается ответить на вопрос как можно лучше. Спойлер – он не ответил на вопрос правильно, но я этого и ожидал.
Для достижения наилучших результатов придерживайтесь простых вопросов, которые не требуют больших исследований или знаний о новости.
Если вы хотите переключиться между уже установленными моделями, воспользуйтесь следующей подсказкой:
foundry model run modelname
Просто замените modelname на предпочитаемую модель.
Если вы находитесь в интерактивном режиме, он же режим чата, вам нужно выйти из окна терминала и начать другую сессию. В настоящее время в терминале нет команды exit, которая, безусловно, необходима.
Команды локального ИИ Foundry, которые необходимо знать
Хотя существует список, с которым вы можете ознакомиться, на самом деле вам нужно знать только несколько команд, чтобы использовать Foundry Local. Эти команды показывают вам все доступные команды в каждой из трех основных категорий – модель, сервис и кэш.
Посмотреть все общие команды Foundry Local можно с помощью:
foundry --help
Для команд модели используйте:
foundry model --help
Для команд обслуживания используйте:
foundry service --help
Для команд кэша используйте:
foundry cache --help
Если вы запомните эти команды, полный список вам не понадобится. Но имейте в виду, что со временем, по мере развития службы Microsoft, будут добавляться новые команды. Пока же считайте, что это скорее бета-тест, чем полноценный инструмент.
Если вам нужно больше, чем может предоставить Foundry Local, воспользуйтесь ChatGPT или этими альтернативами. Или попробуйте эти инструменты искусственного интеллекта для улучшения вашей жизни и продуктивности.
Комментарии (0)