Не найдено

Если вам нужен выделенный настольный опыт с дополнительными рабочими процессами, обратите внимание на BasiliskLLM (отдельное приложение плюс минимальное дополнение для NVDA). AI-Hub остаётся полнофункциональным решением внутри NVDA.

AI-Hub

AI-Hub — это дополнение для NVDA, которое подключает вашу программу экранного доступа к нескольким API больших языковых моделей (LLM). Используйте его для написания текстов, суммаризации, помощи в переводе, работы с изображениями (картинки и снимки экрана), голосовых вопросов, расшифровки и опциональных диалогов инструментов (TTS, OCR и другое) — не покидая NVDA.

Имя пакета дополнения в NVDA остаётся openai (для совместимости с существующими установками). Отображаемое имя, которое вы видите в меню и настройках, — AI-Hub.

Возможности кратко

• Чат в выделенном основном диалоге с историей, системным промптом и выбором модели/учётной записи.
• Изображения и документы как вложения из файлов; URL‑адреса удалённых файлов с проверкой типов в соответствии с выбранным провайдером.
• Умная вставка в поле запроса: вставка файлов из буфера обмена, путей из текста или одного URL (доступно также из контекстного меню поля запроса). Ctrl+V использует ту же логику, когда поле запроса в фокусе.
• Сохранение разговора и история с возможностью переименования, удаления и повторного открытия.
• Задать вопрос откуда угодно (нет клавиши по умолчанию): назначьте жест в Жесты ввода → AI-Hub для записи, отправки и озвучивания или чтения ответа.
• Глобальное описание: снимок экрана (NVDA+E) или область навигационного объекта (NVDA+O) отправляются в сеанс чата.
• Подменю «Инструменты» (в NVDA → AI-Hub): специфические для провайдера утилиты, такие как TTS, OCR, распознавание речи, Lyria Audio и управление моделями Ollama.
• Рассуждение / веб-поиск — опции появляются только тогда, когда текущая модель их поддерживает (зависит от провайдера).

Это дополнение не содержит собственной проверки обновлений. Обновления обрабатываются через официальный магазин дополнений NVDA, если вы устанавливаете оттуда. Если вы устанавливаете вручную со страницы релизов, устанавливайте новые сборки .nvda-addon тем же способом.

Поддерживаемые провайдеры

Настройте одного или нескольких провайдеров в NVDA → Параметры → Настройки → AI-Hub. У каждого провайдера может быть несколько именованных учётных записей (ключ API, опционально организация и базовый URL, где применимо).

Дополнение может получать ключи API из переменных среды, если они заданы (например OPENAI_API_KEY, DEEPSEEK_API_KEY, MISTRAL_API_KEY, OPENROUTER_API_KEY, ANTHROPIC_API_KEY, XAI_API_KEY, GEMINI_API_KEY / GOOGLE_API_KEY и другие). Основным местом управления учётными записями остаётся интерфейс настроек.

Модули распознавания речи (транскрипции)

Для транскрипции с микрофона / из файла внутри основного процесса (не отдельного инструмента транскрипции OpenAI) вы можете выбрать между whisper_cpp (локально), openai (Whisper API) и mistral в разделе Аудио настроек AI-Hub.

Установка

1. Откройте страницу релизов дополнения.
2. Скачайте последний пакет .nvda-addon.
3. Установите его через NVDA → Сервис → Менеджер дополнений (или откройте файл из Проводника и подтвердите установку).

Первоначальная настройка

1. Откройте NVDA → Параметры → Настройки.
2. Выберите категорию AI-Hub.
3. В разделе Учётные записи API нажмите Добавить учётную запись….
4. В диалоге учётной записи выберите провайдера, введите имя учётной записи и заполните обязательные поля (ключ API для большинства провайдеров; базовый URL для Custom OpenAI и Ollama, причём для Ollama по умолчанию используется локальный http://127.0.0.1:11434/v1, если поле пустое).
5. Сохраните, затем при необходимости добавьте другие учётные записи, отредактируйте существующие или удалите неиспользуемые из списка учётных записей.
6. При желании настройте Аудио, Обратную связь чата, Дополнительно / температуру и Автосохранение разговора (включено по умолчанию).

Пока не будет готова хотя бы одна учётная запись провайдера, при открытии основного диалога появится предложение добавить ключи в настройках AI-Hub.

Обновление со старых сборок «Open AI»

Если вы использовали старую версию этого дополнения:

• Настройки переносятся из старой секции конфигурации OpenAI в AIHub. Вы не должны потерять предпочтения.
• Файлы данных (разговоры, хранилище ключей, вложения) переносятся из папки openai в директории пользовательской конфигурации NVDA в папку aihub.

Вам не нужно перемещать файлы вручную, если только вы не используете нестандартную настройку.

Меню NVDA: AI-Hub

В меню NVDA вы найдёте пункт AI-Hub (с указанием установленной версии в названии). Пункты включают:

• Документация — открывает руководство пользователя в вашем браузере (doc\ru\readme.html).
• Основной диалог… — открывает окно чата (по умолчанию NVDA+G).
• История разговоров… — управление сохранёнными чатами.
• Инструменты — подменю, группирующее утилиты OpenAI, Mistral, Google и Ollama (см. ниже).
• Репозиторий GitHub / BasiliskLLM — быстрые ссылки.

Основной диалог

Открывается с помощью NVDA+G или Основной диалог… из меню AI-Hub.

Что можно делать

• Общаться с выбранной моделью; просматривать Сообщения с помощью клавиатурной навигации и контекстных меню (например, j / k для перемещения между сообщениями, когда фокус в области сообщений — смотрите подсказки на экране для активного поля).
• Прикреплять локальные изображения или документы и добавлять URL-адреса файлов, если провайдер их поддерживает. О неподдерживаемых типах для текущего провайдера может быть предупреждение перед отправкой.
• Вставка (файла или текста) из контекстного меню поля запроса или Ctrl+V в поле запроса: дополнение может прикреплять файлы, вставлять текстовые пути или обрабатывать один URL как вложение, когда это уместно.
• Записывать аудиофрагменты, прикреплять аудиофайлы и использовать TTS для текста запроса, если модель это поддерживает.
• Escape закрывает основной диалог (когда не открыто блокирующее модальное окно).
• Ctrl+R включает/выключает запись с микрофона (где применимо).
• F2 переименовывает текущий сохранённый разговор (после того как он сохранён в хранилище).
• Ctrl+N открывает новый экземпляр основного диалога (сеанса).

Опции, зависящие от модели

Некоторые элементы управления появляются или применяются только для определённых моделей:

• Рассуждение («размышление») для моделей, которые его поддерживают; потоковое рассуждение хранится отдельно от видимого ответа, если API это различает.
• Усилие рассуждения и связанные элементы управления, где провайдер поддерживает уровни.
• Веб-поиск — только для моделей, заявляющих о поддержке веб-поиска.

Точная доступность меняется по мере обновления API провайдеров; интерфейс отражает текущую выбранную модель.

Системный промпт

Системный промпт направляет поведение модели. Предоставляется значение по умолчанию, подходящее для помощи в обеспечении доступности; вы можете редактировать его, сбросить из контекстного меню и, опционально, сохранять последний использованный промпт (настраивается в параметрах). Системный промпт потребляет токены, как и любой другой ввод.

История разговоров

Используйте История разговоров… из меню AI-Hub или назначьте жест в Жесты ввода → AI-Hub.

Вы можете просматривать список, открывать, переименовывать, удалять и создавать разговоры. Из основного диалога F2 и Ctrl+N помогают управлять текущим сеансом.

Автосохранение

Если Автосохранение разговора включено в настройках (по умолчанию), дополнение сохраняет (или обновляет) сохранённый разговор после каждого завершённого ответа ассистента, а также может сохранять состояние при закрытии диалога, если есть что сохранить. Вы также можете сохранить из контекстного меню поля Сообщения. Если автосохранение выключено, используйте ручное сохранение, когда захотите сохранить.

Задать вопрос (голосом)

У этой команды нет клавиши по умолчанию. Назначьте её в Жесты ввода → AI-Hub.

• Первое нажатие: начать запись.
• Второе нажатие во время записи: остановить и отправить.
• Если ответ воспроизводится как аудио, нажмите ещё раз, чтобы остановить воспроизведение.

Режимы:

• Прямое аудио — если выбранная модель поддерживает аудиовход, ваша запись может быть отправлена как аудио без отдельного этапа транскрипции.
• Транскрипция, затем чат — в противном случае настроенный модуль транскрипции обрабатывает запись, а затем текст отправляется модели чата.

Если фокус находится в основном диалоге, используется его текущая модель; в противном случае дополнение выбирает подходящую модель среди настроенных провайдеров.

Подменю «Инструменты»

Пункт Инструменты в меню AI-Hub открывает диалоги, сгруппированные по провайдерам (каждый может требовать соответствующую учётную запись API):

Если для провайдера инструмента не настроено ни одной учётной записи, дополнение предложит добавить её в настройках AI-Hub.

Глобальные команды

Все назначенные по умолчанию жесты можно изменить в NVDA → Параметры → Жесты ввода → AI-Hub.

Где хранятся данные

Рабочие файлы, индекс сохранённых разговоров, единый accounts.json и вложения находятся в вашей директории пользовательской конфигурации NVDA в папке aihub (после миграции из openai). Временные файлы используют подпапку tmp и удаляются, когда это разумно (например, при завершении работы дополнения или закрытии диалога).

Требуемые зависимости (автоматически загружаются при сборке)

Сборки используют scons для размещения библиотек времени выполнения в папке:

addon/globalPlugins/AIHub/libs/

Когда требуемая библиотека отсутствует, scons загружает фиксированные колеса (wheels) и извлекает только необходимое в эту папку. Текущие фиксированные зависимости:

• markdown-it-py 3.0.0 + mdurl 0.1.2 — извлекаются в libs/ для рендеринга Markdown в чате.
• Pillow 12.1.1 для:
  • Python 3.11 win32 -> libs/lib_py3.11_win32/
  • Python 3.13 win_amd64 -> libs/lib_py3.13/

Папка libs намеренно проигнорирована в Git; контрибьюторам не нужно коммитить загруженные артефакты.

Устранение неполадок (кратко)

• «Нет настроенной учётной записи» — Добавьте ключ API для выбранного провайдера в настройках AI-Hub.
• Провайдер отклоняет вложение — Проверьте тип и размер файла; попробуйте другую модель или провайдера, который поддерживает нужный вам медиафайл.

По вопросам и для участия в разработке используйте ссылку Репозиторий GitHub в меню AI-Hub.

Перевод

• Валентин Куприянов: Русский язык