AIAssistant (Ассистент с ИИ для NVDA)

Практичный AI-ассистент в качестве дополнения для NVDA, добавляющий функции саммарирования, чата, понимания снимков экрана и контекстного взаимодействия непосредственно в NVDA.

Обзор

NVDA AI Assistant помогает вам работать с:

• веб-страницами
• документами
• приложениями
• снимками экрана
• визуальными интерфейсами

не покидая NVDA.

Дополнение объединяет быстрые действия с постоянным рабочим процессом чата, позволяя саммари, снимкам экрана и содержимому страниц естественно перетекать в последующие беседы.

Возможности

Саммари (Сводки)

Создание сводки:

• веб-страниц
• виртуальных буферов
• документов
• содержимого активного приложения

Быстрые действия могут продолжаться непосредственно в чате для последующего взаимодействия.

Изображения и снимки экрана

• Описать текущее окно переднего плана
• Описать сфокусированный объект NVDA — захватывает только область экрана текущего сфокусированного элемента
• Прикреплять снимки экрана прямо в чат
• Прикреплять изображение сфокусированного объекта в чат
• Загружать файлы изображений для анализа
• Продолжать обсуждение визуального содержимого в диалоге

Поддерживаемые форматы:

• PNG

• JPG / JPEG

• WEBP

• GIF

• BMP

• SVG

Чат

Пользовательский интерфейс чата на основе WebView поддерживает:

• потоковую передачу ответов (streaming)
• форматированный вывод чата
• навигацию с клавиатуры
• историю диалогов
• постоянные беседы
• боковую панель управления диалогами
• выбор провайдера и модели

Вы можете:

• продолжать предыдущие чаты

• переключать диалоги

• прикреплять снимки экрана и контекст страницы

• продолжать один и тот же диалог в разных моделях

Внедрение контекста

Прикрепление дополнительного контекста к активному диалогу.

Содержимое страницы

Внедрение:

• структуры страницы
• информации о специальных возможностях (accessibility)
• содержимого виртуального буфера
• содержимого активного приложения

непосредственно в чат.

Чат со снимком экрана

Захватить текущий экран и прикрепить его к активному диалогу.

Поддержка провайдеров

Поддерживаются:

• Ollama
• API, совместимые с OpenAI
• Gemini

Возможности включают:

• автоматическое обнаружение моделей
• локальный и облачный логический вывод (инференс)
• переключение провайдера во время работы
• переключение модели во время работы

Провайдеры и модели могут быть изменены прямо из интерфейса чата без перезапуска диалога.

Режим мышления (Think mode)

Некоторые провайдеры и модели поддерживают опциональный режим мышления для расширенных рабочих процессов рассуждения.

Быстрый старт

Требования

• Установленная NVDA

• Один настроенный AI-провайдер:

• Ollama

• API, совместимый с OpenAI

• Gemini

Использование Ollama

Установите Ollama:

powershell id="55n8ws" winget install Ollama.Ollama

Загрузите модель:

powershell id="oaq6xv" ollama pull gemma4:e4b

или:

powershell id="b7xti3" ollama pull ministral-3:3b

Список установленных моделей:

powershell id="d62g3n" ollama ls

Настройка

1. Установите дополнение NVDA AI Assistant.
2. Откройте панель настроек AI Assistant.
3. Настройте вашего провайдера.
4. Выберите модель или конечную точку (endpoint).
5. Нажмите NVDA+Shift+A, чтобы начать использование ассистента.

Команды

Нажмите:

text id="7h19nm" NVDA+Shift+A

Затем нажмите:

Сочетания клавиш в чате

Следующие сочетания клавиш доступны внутри окна чата:

Конфигурация

Панель настроек позволяет вам:

• выбрать активного провайдера

• настроить ключи API и конечные точки (endpoint)

• включить или отключить потоковую передачу (streaming)

• настроить качество и размер изображения

• настроить поведение таймаута

• включить опциональный режим мышления (think mode)

Рекомендуемые локальные модели

Просмотр деталей модели с помощью:

powershell id="p2owd8" ollama show gemma4:e4b

Технические замечания

• Выделенный хост пользовательского интерфейса (UI host) поддерживает отзывчивость NVDA во время операций AI.

• Сеансы чата поддерживают контекстную непрерывность во время взаимодействия.

Устранение неполадок

• Проверьте конфигурацию провайдера, если запросы не выполняются.

• Убедитесь, что Ollama запущен для локального логического вывода (инференса).

• Загрузите необходимые модели перед использованием.

Открытый исходный код и вклад

Приветствуются сообщения о проблемах (issues), предложения, отзывы о специальных возможностях (accessibility) и запросы на включение изменений (pull requests).

Лицензия

Смотрите файл COPYING.txt для получения сведений о лицензии.