Первоначальный выпуск с интегрированным искусственным интеллектом Anthropic Claude.

ClauVDA — Anthropic Claude AI для NVDA

Краткое описание

ClauVDA интегрирует искусственный интеллект Anthropic Claude непосредственно в NVDA, предоставляя слепым и слабовидящим пользователям мощную помощь на основе ИИ. Дополнение поддерживает текущую линейку Claude — Opus 4.7, Sonnet 4.6 и Haiku 4.5 — для чата, описания изображений, анализа записей экрана и многого другого. В качестве провайдеров аутентификации поддерживаются как прямой API Anthropic, так и Amazon Bedrock (с использованием API-ключей с токеном-носителем).

Возможности

• AI-чат: Общайтесь с Claude непосредственно из NVDA
• Описание экрана: Захват и описание всего экрана
• Описание объекта: Описание текущего объекта навигатора
• Анализ видео: Запись короткого фрагмента экрана; Claude анализирует выбранные кадры
• Прикрепление изображений: Прикрепление файлов изображений для описания ИИ
• История разговора: Сохранение контекста между несколькими сообщениями
• Несколько моделей: Выбор между Opus, Sonnet и Haiku
• Два провайдера аутентификации: Прямой API Anthropic или токен-носитель Amazon Bedrock
• Обобщение выделенного: Выделите текст, и Claude обобщит ключевые моменты
• Настраиваемые параметры: Температура, максимальное количество токенов, потоковый вывод и другое

Требования

• NVDA 2024.1 или новее
• Одно из следующих условий:
  • API-ключ Anthropic, или
  • API-ключ Amazon Bedrock (токен-носитель) с доступом к моделям Claude
• Подключение к интернету

Настройка

Вариант 1 — API Anthropic (прямой доступ)

1. Перейдите на страницу console.anthropic.com/settings/keys
2. Создайте API-ключ
3. В NVDA: Параметры > Настройки > Claude AI
4. Оставьте «Провайдера API» как Anthropic (прямой доступ)
5. Нажмите Настроить API-ключ Anthropic... и вставьте ваш ключ

Вариант 2 — Amazon Bedrock (токен-носитель)

1. Убедитесь, что ваша учётная запись AWS имеет доступ к моделям Claude, которые вы планируете использовать
2. Создайте API-ключ Bedrock в консоли AWS: Bedrock API keys
3. В NVDA: Параметры > Настройки > Claude AI
4. Измените «Провайдера API» на Amazon Bedrock
5. Установите регион AWS (по умолчанию us-east-1)
6. Нажмите Настроить API-ключ Bedrock... и вставьте ваш токен-носитель

Ключи для каждого провайдера хранятся отдельно, зашифрованными с помощью Windows DPAPI. Вы также можете указать их через переменные среды (ANTHROPIC_API_KEY или AWS_BEARER_TOKEN_BEDROCK).

Сочетания клавиш

Использование диалога Claude

Когда вы открываете диалог Claude с помощью NVDA+G:

1. Модель: Выберите, какую модель Claude использовать
2. Системная подсказка: Необязательные инструкции о том, как Claude должен отвечать
3. История: Просмотр истории разговора
4. Сообщение: Введите ваше сообщение или вопрос
5. Отправить: Отправить сообщение Claude
6. Прикрепить изображение: Добавить файл изображения для анализа Claude
7. Прикрепить видео: Добавить видео; кадры выбираются и отправляются как изображения
8. Очистить: Очистить историю разговора
9. Копировать ответ: Скопировать последний ответ в буфер обмена

Советы по работе с диалогом

• Нажмите Ctrl+Enter в поле сообщения для быстрой отправки
• Используйте Tab для навигации между элементами управления
• Alt+1..9,0 читает N-е по счёту последнее сообщение; двойное нажатие копирует его

Настройки

Доступ к настройкам: меню NVDA > Параметры > Настройки > Claude AI:

• Провайдер API: Anthropic прямой доступ или Amazon Bedrock
• Регион AWS: Регион Bedrock (игнорируется при использовании прямого API Anthropic)
• Модель по умолчанию: Модель Claude, используемая по умолчанию
• Температура (0–100): Случайность ответов (0 = сфокусированный, 100 = креативный)
• Максимальное количество токенов: Максимальная длина ответов
• Потоковый вывод: Отображение/озвучивание ответов по мере их поступления
• Режим разговора: Включение истории чата для контекста
• Запоминать системную подсказку: Сохранять вашу пользовательскую системную подсказку
• Блокировать клавишу Escape: Предотвращение случайного закрытия диалога
• Фильтровать Markdown: Удаление Markdown-разметки из ответов

Звуковая обратная связь

• Воспроизводить звук при отправке запроса
• Воспроизводить звук во время ожидания
• Воспроизводить звук при получении ответа

Доступные модели

• Claude Opus 4.7 — Наиболее мощная, расширенное мышление
• Claude Sonnet 4.6 — Сбалансированная для повседневного использования, расширенное мышление
• Claude Haiku 4.5 — Самая быстрая, экономичная

Все три поддерживают ввод изображений.

Функции работы с изображениями и видео

Описание экрана (NVDA+Shift+E)

Захватывает весь экран и отправляет его Claude для детального описания.

Описание объекта (NVDA+Shift+O)

Захватывает только текущий объект навигатора.

Анализ видео (NVDA+V)

1. Нажмите NVDA+V, чтобы начать запись
2. Выполните действия, которые хотите проанализировать
3. Нажмите NVDA+V снова, чтобы остановить
4. Кадры из записи выбираются и отправляются Claude в виде изображений

Claude не принимает видеофайлы напрямую, поэтому дополнение выбирает несколько кадров (по умолчанию: 12) равномерно по всему клипу.

Обобщение выделенного (NVDA+Shift+U)

Выделите текст в любом приложении, и Claude обобщит ключевые моменты.

Устранение неполадок

«Не удалось загрузить SDK Anthropic»

Встроенные библиотеки могут отсутствовать или быть повреждены. Переустановите дополнение.

«Не настроен API-ключ Anthropic»

Настройте API-ключ в Параметры > Настройки > Claude AI для выбранного вами провайдера.

Ответы слишком короткие или обрываются

Увеличьте значение параметра «Максимальное количество токенов».

Ответы слишком случайные

Уменьшите значение параметра «Температура».

Уведомление о конфиденциальности

• Ваши сообщения, изображения и кадры видео отправляются выбранному провайдеру (Anthropic или AWS Bedrock)
• API-ключи хранятся локально, зашифрованными с помощью Windows DPAPI
• Данные не передаются разработчику дополнения
• Ознакомьтесь с политикой использования Anthropic и/или вашим соглашением с AWS Bedrock для получения подробной информации

Сборка из исходного кода

Встроенные зависимости Python (Anthropic SDK, boto3, Pillow, mss, imageio и т.д.) не включены в этот репозиторий — они большие, зависят от платформы и легко воспроизводятся с помощью uv. После клонирования вы должны установить их в обе папки addon/lib32 и addon/lib64 перед сборкой, иначе сгенерированный .nvda-addon не сможет импортировать anthropic во время выполнения.

# Клонирование
git clone https://github.com/ogomez92/claudeNVDA.git
cd claudeNVDA

# Создание локальной виртуальной среды для сборки и установка инструментов сборки
uv venv
uv sync

# Установка зависимостей времени выполнения дополнения в ОБЕ папки lib.
# По умолчанию NVDA работает на 64-разрядном Python; 32-разрядная версия сохранена для старых установок.
uv pip install --python 3.13 --target addon/lib64 \
    --python-platform x86_64-pc-windows-msvc \
    -r addon/requirements.txt

uv pip install --python 3.13 --target addon/lib32 \
    --python-platform i686-pc-windows-msvc \
    -r addon/requirements.txt

# Сборка пакета .nvda-addon
uv run scons .