0.7.0

• Добавлен движок Apple Vision (OCR Server) для распознавания текста в локальной сети через приложение OCR Server с открытым исходным кодом для iOS.

VisAware (Визуальное распознавание)

Vis Aware — это дополнение для NVDA, предназначенное для оптического распознавания символов (OCR), описания изображений с помощью искусственного интеллекта, автоматического распознавания и управления компьютером с помощью ИИ.

Vis Aware требует NVDA версии 2026.1 или новее. Большинство облачных движков требуют подключения к интернету и учётных данных сервиса. Для локального развёртывания используется Ollama (например, с моделью Google Gemma).

Быстрый старт

1. Откройте Меню NVDA > Параметры > Настройки Vis Aware.... На вкладке Основные вы можете войти в свою учётную запись NVDA Chinese Community (www.nvdacn.com), чтобы использовать связанные бесплатные сервисы сообщества. Затем выберите и настройте другие движки по мере необходимости на соответствующих панелях OCR, Описание изображений или AI Агент.

2. Нажмите NVDA+alt+1, чтобы выбрать режим (тип возможности): OCR, Описание изображений или AI Агент.

3. Нажмите NVDA+alt+2, чтобы выбрать движок, поддерживаемый в этом режиме. Выберите движок, который вы настроили на шаге 1.

4. Переместите объект навигатора на содержимое, которое хотите распознать, или нажмите NVDA+alt+3, чтобы выбрать другой источник распознавания (например, изображение или файл изображения в буфере обмена).

5. Нажмите NVDA+alt+space один раз, чтобы выполнить распознавание с использованием выбранной возможности, или запустить или остановить Агента. Для обычного распознавания:

   • Нажмите один раз, чтобы отобразить результат в документе результатов распознавания NVDA. Для результатов OCR вы можете использовать Enter или Space, чтобы щёлкнуть по координатам, соответствующим тексту; это полезно при распознавании окна.
   • Поведение при двойном нажатии зависит от того, выбран ли параметр Показывать текстовые результаты в просматриваемом сообщении в настройках Основные. Если выбран, результат отображается в диалоге режима обзора NVDA, который подходит для математических формул, таблиц или структурированного содержимого, требующего рендеринга Markdown. Если не выбран, NVDA только озвучивает результат распознавания и не отображает диалог.

Режимы и источники распознавания

Vis Aware предоставляет три режима:

• OCR извлекает текст из изображения.
• Описание изображений описывает визуальное содержимое. Поддерживаемые движки могут отвечать на дополнительные вопросы о предыдущем описании.
• AI Агент анализирует экран и выполняет действия на компьютере для выполнения задачи.

OCR и описание изображений могут использовать следующие источники распознавания:

• Объект навигатора
• Весь экран
• Активное окно
• Изображение или файл изображения в буфере обмена

Режим AI Агента захватывает весь экран напрямую и не использует выбранный источник распознавания.

Команды

Следующие команды имеют назначенные жесты по умолчанию:

Следующие команды не имеют жестов по умолчанию:

• Описывает содержимое текущего объекта навигатора
• Описывает изображения в буфере обмена
• Распознаёт содержимое текущего объекта навигатора с помощью OCR
• Распознаёт текст на изображениях в буфере обмена с помощью OCR
• Показывает предыдущий результат распознавания
• Отменяет текущее распознавание

После назначения жеста для команды Описывает изображения в буфере обмена нажмите его один раз, чтобы отобразить результат в документе результатов распознавания NVDA. Нажмите дважды подряд, чтобы показать результат в просматриваемом сообщении или озвучить его через NVDA, в зависимости от настройки Показывать текстовые результаты в просматриваемом сообщении.

Результаты распознавания

Когда результаты OCR включают координаты, нажатие enter или space на тексте в документе результатов распознавания щёлкает по соответствующему месту в распознанной области экрана.

Результаты распознавания могут отображаться в виртуальном документе NVDA или, в зависимости от настройки, в диалоге режима обзора. Режим обзора отображает поддерживаемый Markdown и математические формулы. Результаты также можно скопировать в буфер обмена.

Сохраняется только предыдущий результат распознавания из текущей сессии NVDA. Для движков описания изображений, поддерживающих дополнительные вопросы, команда дополнительного вопроса открывает многошаговый диалог и транслирует голосовые ответы, если поддерживается. В этом диалоге control+enter отправляет вопрос, а escape отменяет запрос или закрывает диалог. Используйте Просмотреть форматированное содержимое, чтобы просмотреть начальное описание или последний ответ в режиме обзора.

Дополнительные вопросы поддерживаются Google Gemini, Google Gemma, VIVO BlueLLM Vision и Ollama Vision. Вне диалога беседы потоковый вывод доступен только когда режим обзора не используется.

Автоматическое распознавание

Автоматическое распознавание по умолчанию отключено. На панели Автоматическое распознавание выберите OCR или описание изображений, затем выберите текущий движок или конкретный включённый движок. Поля запроса и модели переопределяют этот движок только для автоматического распознавания. Оставьте запрос пустым, чтобы использовать обычный запрос движка, и выберите Использовать модель, выбранную в настройках движка, чтобы использовать его обычную модель. Если поддерживается, используйте Получить модели, чтобы загрузить доступные имена моделей.

Автоматическое распознавание работает в фоновом режиме, когда системный фокус, курсор режима обзора или объект навигатора перемещаются на поддерживаемый графический элемент управления. Результат автоматически озвучивается и сохраняется как предыдущий результат; дополнительные вопросы доступны, если поддерживаются движком.

Для веб-графики Vis Aware обычно использует URL-адрес изображения и использует снимок экрана объекта, если URL-адрес недоступен. Предпочитать снимки экрана для веб-изображений сначала распознаёт содержимое, отображаемое на экране, и использует URL-адрес, если снимок экрана не может быть получен.

Режим AI Агента

AI Агент запрашивает задачу, начинает работу с активного окна и может работать в разных окнах. Он может щёлкать, вводить текст, нажимать клавиши, прокручивать, перетаскивать, перемещаться, ожидать и запрашивать у вас информацию при необходимости. Действия не подтверждаются по одному, поэтому следите за сессией и при необходимости останавливайте её.

Каждый шаг AI Агента отправляет выбранному сервису полноэкранный снимок экрана, который может включать содержимое других окон. Избегайте запуска AI Агента, когда на экране видна конфиденциальная информация.

AI Агент не может запуститься, пока включена «Штора экрана».

Настройки

Откройте Меню NVDA > Параметры > Настройки Vis Aware....

Диалог настроек содержит следующие панели:

• Основные: вывод результатов, копирование в буфер обмена, автоматическое чтение, журнал отладки, источники, включаемые при переключении, режим Vis Aware и данные учётной записи NVDACN.
• Автоматическое распознавание: тип автоматического распознавания, движок, запрос, модель, получение имён моделей и предпочтение снимков экрана для веб-изображений.
• OCR, Описание изображений и AI Агент: текущий движок, включение движка и настройки, предоставляемые каждым движком.

Отключённые движки пропускаются при обычном использовании и переключении движков. По крайней мере один движок должен оставаться включённым в каждом режиме.

Для PaddleOCR / PaddleOCR-VL настройки OCR поддерживают API задачи, размещённой в AI Studio, развёрнутый сервис AI Studio или самостоятельно размещённый сервис PaddleOCR.

Для движков Ollama введите полный URL-адрес API или хост и порт, например localhost:11434. Корневой URL-адрес API по умолчанию — http://localhost:11434/api. Используйте Получить модели, чтобы загрузить имена моделей, затем выберите модель. Если модель не выбрана, используется первая модель, возвращённая Ollama. Необязательный ключ API отправляется как токен Authorization: Bearer. Движки Ollama требуют модель с поддержкой зрения, например Gemma 4; Ollama OCR предоставляет координаты экрана только когда модель возвращает корректные структурированные данные OCR.

Включённые движки

Движки OCR:

• Apple Vision (OCR Server)
• Baidu OCR
• Google Gemini OCR
• Vivo OCR (NVDACN)
• PaddleOCR / PaddleOCR-VL
• Ollama OCR

Движки описания изображений:

• Google Gemini
• Google Gemma
• Vivo Image Describer (NVDACN)
• VIVO BlueLLM Vision (NVDACN)
• Ollama Vision

Движки AI Агента:

• Google Gemini
• OpenAI
• Vivo BlueLM Vision (NVDACN)

Доступность движков зависит от их сервиса и конфигурации.

Apple Vision (OCR Server)

Apple Vision (OCR Server) — это движок OCR для локальной сети. Vis Aware отправляет выбранное изображение в OCR Server — приложение с открытым исходным кодом для iOS, которое распознаёт текст с помощью Apple Vision и возвращает координаты текста. Учётная запись облачного OCR не требуется, но компьютер и iPhone должны иметь доступ друг к другу в одной локальной сети.

Текущее приложение требует iOS 18.4 или новее. Самые старые поддерживаемые модели iPhone — iPhone XS, iPhone XS Max, iPhone XR и iPhone SE (2-го поколения).

Для настройки движка:

1. Установите OCR Server из App Store на iPhone.
2. Подключите iPhone и компьютер к одной локальной сети, затем откройте OCR Server. Его сервер запускается автоматически и отображает адрес для использования.
3. Откройте Меню NVDA > Параметры > Настройки Vis Aware... > OCR, включите и выберите Apple Vision (OCR Server), затем введите отображаемый адрес, например 192.168.1.10:8000.

Подключения OCR Server используют неаутентифицированный, незашифрованный HTTP. Используйте этот движок только в доверенной локальной сети; в общедоступных или ненадёжных сетях передаваемые изображения и возвращаемые результаты OCR могут быть перехвачены или изменены.

Держите OCR Server открытым и экран iPhone включённым при использовании движка. Для непрерывной работы следуйте инструкциям вышестоящего проекта для iOS Guided Access. Вышестоящий проект также содержит документацию по использованию приложения и серверному API.

Рекомендуемая автономная настройка: Gemma 4 через Ollama

Для автономной, самостоятельно размещаемой настройки мы рекомендуем запускать модель Gemma 4 с поддержкой зрения локально с помощью Ollama. После загрузки модели и указания URL-адреса API на локальный сервис Vis Aware отправляет изображения в этот локальный сервис. Если вы используете удалённый адрес Ollama, размещённый кем-то другим, данные отправляются в этот удалённый сервис.

Данные и учётные данные

Распознавание отправляет выбранное изображение и, если применимо, запрос в сервис, настроенный для выбранного движка. Каждый шаг AI Агента отправляет полноэкранный снимок экрана выбранному сервису; снимок экрана может включать другие окна. Ознакомьтесь с политикой обработки данных сервиса и избегайте отправки конфиденциального содержимого.

Ручное распознавание из источника, отличного от буфера обмена, требует отключения «Шторы экрана». Пароль NVDACN защищён с помощью Windows DPAPI. Другие сохранённые ключи API хранятся в незашифрованном виде в конфигурации NVDA. Помните о безопасности данных перед созданием или передачей портативной копии NVDA.

Лицензия

Этот проект распространяется под лицензией GNU General Public License версии 2. Подробности см. в файле COPYING.txt.