Дополнение для создания подписей к изображениям

• Автор: Shubham Dilip Jain
• Скачать: https://github.com/ShubhamJain7/imageCaptioning-NVDA-Addon/releases

Это дополнение позволяет пользователям создавать подписи к изображениям, присутствующим на экране, и получать подписи, описывающие изображение на английском языке. Результат может быть объявлен пользователю или представлен в виртуальном окне с возможностью просмотра, что позволяет пользователям получить доступ к результату посимвольно, слово за словом, в целом и даже скопировать результат. Это дополнение хорошо работает только с "естественными изображениями" людей, животных и обычных предметов.

Использование

• После установки, пользователь должен сначала установить предпочитаемый жест в __Параметры, Жесты ввода, Зрение.

• Однократное нажатие на жест запускает процесс создания подписи к изображению, и полученная подпись сообщается пользователю (это может занять несколько секунд). Надписи получаются более точными, если изображение больше и не имеет подложки.

• Нажатие на один и тот же жест более одного раза также запускает процесс создания подписи к изображению, но подпись представляется в виртуальном окне. Пользователи могут использовать клавиши навигации в этом окне, чтобы просмотреть надпись по буквам, по словам, целиком или даже скопировать ее. Перед началом другого процесса создания подписи к изображению пользователь должен выйти из этого окна. Это можно сделать, нажав клавишу ESC или переключив фокус на другой элемент.

• Пользователи также могут предотвратить запуск процесса создания надписей к неграфическим элементам, отметив опцию фильтровать неграфические элементы в разделе Preferences->Settings->Vision->Image captioning add-on. Это предотвращает случайный запуск процесса создания надписей к изображениям на элементах, не содержащих изображений, что приведет к плохим результатам. Снятие флажка позволяет пользователям выполнять обнаружение элементов, которые могут содержать изображения, но не сообщать об этом.

Создание самостоятельно

Требования:

• Python 3 для Windows. Инсталляторы см. на сайте.
• Scons - Можно установить, запустив pip install Scons или используя установщик windows с сайта.
• Markdown - Можно установить, выполнив команду pip install Markdown.

После выполнения всех требований:

1. Клонируйте это репо
2. Откройте командную строку и перейдите к клонированному репо
3. Выполните команду scons в директории, содержащей файл sconstruct.

Затем вы можете установить дополнение в NVDA, дважды щелкнув на файле .nvda-addon во время работы NVDA или перейдя в NVDA->tools->manage add-ons->Install и выбрав файл .nvda-addon.

Заметки разработчика

Модель, используемая для создания подписей к изображениям в этом дополнении, была преобразована из модели PyTorch, найденной здесь. Модель была преобразована в формат ONNX и поэтому для ее работы используется ONNX Runtime 1.3.0. Это дополнение также опирается на OpenCV 4.3.0 для обработки изображения для создания надписей. По своей сути модель представляет собой DLL под названием ImageCaptioning-DLL.dll, которую можно найти по адресу addon\globalPlugins\imageCaptioning\dlls вместе с ONNX Runtime и OpenCV DLL. Саму модель и файл словаря можно найти по адресу addon\globalPlugins\imageCaptioning\data. Как и в случае с большинством доступных моделей создания подписей к изображениям с открытым исходным кодом, получаемые результаты могут быть ошибочными. Модель также может выдавать разные результаты для одного и того же изображения разных размеров или с подложкой. Для изображений, на которых объекты не могут быть легко идентифицированы, модели требуется довольно много времени, чтобы выдать какие-либо результаты. В некоторых случаях она может работать медленно при первом запуске.