GemVDA — Google Gemini AI для NVDA

Краткое описание

GemVDA интегрирует возможности искусственного интеллекта Google Gemini непосредственно в NVDA, предоставляя незрячим и слабовидящим пользователям мощную помощь ИИ. Дополнение поддерживает различные модели Gemini, включая Gemini 3, Gemini 2.5 Pro и Flash-варианты, для чата, описания изображений, анализа видео и многого другого.

Возможности

• Чат с ИИ: Вести беседы с Gemini AI прямо из NVDA.
• Описание экрана: Захватить и описать весь экран.
• Описание объекта: Описать текущий навигационный объект.
• Анализ видео: Записать видео с экрана для анализа Gemini.
• Прикрепление изображений: Добавлять изображения из файлов для описания ИИ.
• История разговоров: Сохранение контекста между несколькими сообщениями.
• Несколько моделей: Выбор из различных моделей Gemini в зависимости от потребностей.
• Настраиваемые параметры: Настройка температуры, количества токенов, потоковой передачи и других параметров.

Требования

• NVDA 2023.1 или новее.
• Ключ API Google Gemini (доступен бесплатный тариф).
• Подключение к интернету.

Установка

Получение ключа API

1. Посетите Google AI Studio.
2. Войдите в свою учётную запись Google.
3. Создайте новый ключ API.
4. Скопируйте ключ для использования в дополнении.

Настройка ключа API

1. Нажмите NVDA+N, чтобы открыть меню NVDA.
2. Перейдите в «Параметры» > «Настройки».
3. Выберите категорию «Gemini AI».
4. Нажмите «Настроить ключ API…».
5. Вставьте свой ключ API и нажмите OK.

Сочетания клавиш

Использование диалогового окна Gemini

Когда вы открываете диалоговое окно Gemini с помощью NVDA+G:

1. Модель: Выберите, какую модель Gemini использовать.
2. Системный промпт (необязательно): Инструкции для Gemini о том, как следует отвечать.
3. История: Просмотр истории разговора.
4. Сообщение: Введите ваше сообщение или вопрос.
5. Отправить: Отправьте ваше сообщение Gemini.
6. Прикрепить изображение: Добавить файл изображения для анализа Gemini.
7. Очистить: Очистить историю разговора.
8. Копировать ответ: Скопировать последний ответ в буфер обмена.

Советы по работе с диалоговым окном

• Нажмите Enter в поле сообщения, чтобы быстро отправить.
• Используйте Tab для перемещения между элементами управления.
• История автоматически обновляется по мере ведения беседы.
• Прикреплённые изображения отправляются с вашим следующим сообщением.

Настройки

Доступ к настройкам через меню NVDA > «Параметры» > «Настройки» > «Gemini AI»:

• Модель по умолчанию: Выберите предпочтительную модель Gemini.
• Температура (0–200): Управляет креативностью ответов (0 = сфокусированный, 200 = творческий).
• Максимум токенов ответа: Максимальная длина ответов.
• Потоковые ответы: Показывать ответы по мере их поступления.
• Режим разговора: Включать историю чата для контекста.
• Запоминать системный промпт: Сохранять ваш пользовательский промпт.
• Блокировать клавишу Escape: Предотвращать случайное закрытие диалога.
• Фильтровать Markdown: Удалять форматирование Markdown из ответов.

Звуковая обратная связь

• Воспроизводить звук при отправке запроса: Звуковое подтверждение при отправке сообщения.
• Воспроизводить звук во время ожидания: Звук прогресса во время обработки ИИ.
• Воспроизводить звук при получении ответа: Уведомление о поступлении ответа.

Доступные модели

• Gemini 3 Pro (Preview): Самая мощная модель с возможностями логического вывода.
• Gemini 3 Flash (Preview): Быстрая модель с возможностями логического вывода.
• Gemini 2.5 Pro: Мощная модель, готовая к промышленному использованию.
• Gemini 2.5 Flash: Быстрая и эффективная для большинства задач.
• Gemini 2.5 Flash-Lite: Облегчённая версия с более быстрыми ответами.
• Gemini 2.5 Flash Image: Оптимизирована для задач, связанных с изображениями.

Функции для изображений и видео

Описание экрана (NVDA+Shift+E)

Захватывает весь ваш экран и отправляет его Gemini для подробного описания. Полезно для:

• Понимания незнакомых интерфейсов.
• Получения общего представления о визуальном содержимом.
• Идентификации элементов, которые NVDA не может описать.

Описание объекта (NVDA+Shift+O)

Захватывает только текущий навигационный объект. Полезно для:

• Описания конкретных элементов интерфейса.
• Понимания изображений или значков.
• Получения деталей о фокусируемых элементах управления.

Анализ видео (NVDA+V)

1. Нажмите NVDA+V, чтобы начать запись.
2. Выполните действия, которые хотите проанализировать.
3. Снова нажмите NVDA+V, чтобы остановить запись.
4. Дождитесь анализа видео Gemini.

Полезно для:

• Понимания визуальных рабочих процессов.
• Получения пошаговых описаний.
• Анализа динамического содержимого.

Устранение неполадок

«Библиотека Google GenAI не установлена»

Запустите установщик зависимостей:

1. Перейдите в %APPDATA%\nvda\addons\GemVDA.
2. Запустите install_deps.bat или install_deps.py.
3. Перезапустите NVDA.

«Ключ API не настроен»

Настройте ключ API в «Настройки» > «Gemini AI» > «Настроить ключ API».

Ответы слишком короткие или обрезанные

Увеличьте настройку «Максимум токенов ответа».

Ответы слишком случайные

Уменьшите настройку «Температура» (попробуйте 50–100).

Уведомление о конфиденциальности

• Ваши сообщения и изображения отправляются в API Gemini от Google.
• Ключи API хранятся локально в вашей конфигурации NVDA.
• Данные не передаются разработчику дополнения.
• Для получения подробной информации ознакомьтесь с политикой конфиденциальности ИИ от Google.

Поддержка

• Сообщить о проблемах: Issues на GitHub.
• Исходный код: Репозиторий на GitHub.

Лицензия

Это дополнение выпущено под лицензией GNU General Public License v2.

Автор

Ориоль Гомес Сентис (Oriol Gomez Sentis)