Искусственный интеллект Open AI для NVDA

Дополнение OpenAI предназначено для плавной интеграции возможностей Open AI API в ваш рабочий процесс. Если вам нужно создать исчерпывающий текст, точно перевести отрывки, кратко изложить суть документа или даже интерпретировать и описать визуальный контент, это дополнение с легкостью справится со всеми задачами.

Шаги установки

1. Перейдите на страницу страница релизов, чтобы найти последнюю версию дополнения.
2. Загрузите последнюю версию по указанной ссылке.
3. Запустите программу установки для добавления дополнения в среду NVDA.

Необходимые условия использования

Для использования всей функциональности дополнения OpenAI NVDA необходим API-ключ от OpenAI. Для его установки выполните следующие действия:

1. Получите API-ключ, зарегистрировав учетную запись OpenAI на сайте https://openai.com/.

2. Когда ключ API готов, у вас есть два варианта настройки:

   • Через диалог настроек NVDA:

3. Войдите в меню NVDA и перейдите в подменю "Параметры".

   2. Откройте диалог "Настройки" и выберите категорию "Искусственный интеллект Open AI".
   3. Введите свой API-ключ в соответствующее поле и нажмите кнопку "OK" для подтверждения.
      • Использование переменных окружения:
   4. Нажмите Windows+Пауза, чтобы открыть "Свойства системы".
   5. Щелкните на "Дополнительные параметры системы" и выберите "Переменные среды".
   6. Создайте новую переменную в разделе "Пользовательские переменные":
      1. Нажмите кнопку "Создать".
      2. Введите OPENAI_API_KEY в качестве имени переменной и вставьте свой API-ключ в качестве значения.
   7. Нажмите "OK", чтобы сохранить изменения.

Теперь вы можете использовать возможности дополнения OpenAI NVDA!

Как использовать дополнение

Главный диалог

Большинство функций дополнения легко доступны через диалоговое окно, которое можно запустить, нажав NVDA+G.
В качестве альтернативы перейдите в подменю "Open AI" в меню NVDA и выберите пункт "Главный диалог...".
В этом диалоге вы сможете:

• Инициировать интерактивные разговоры с моделями ИИ для получения помощи или информации.
• Получать описания изображений из графических файлов.
• расшифровывать устную речь из аудиофайлов или через микрофон.
• Использовать функцию преобразования текста в речь для озвучивания написанного текста в запросе.

Повышение производительности с помощью быстрых клавиш.

Чтобы еще больше улучшить взаимодействие с интерфейсом, обратите внимание на следующее:

• Многострочные поля "Система", "История" и "Запрос" оснащены контекстными меню, содержащими команды, которые можно быстро выполнить с помощью сочетаний клавиш. Эти сочетания клавиш активны, когда соответствующее поле находится в фокусе. Например, клавиши "j" и "k" позволяют переходить к предыдущему и следующему сообщениям соответственно, когда фокус находится в поле "История".

• Кроме того, в интерфейсе предусмотрены сочетания клавиш, которые действуют во всем окне. Например, CTRL + R запускает или останавливает запись.

Все сочетания клавиш отображаются рядом с ярлыками соответствующих элементов.

О флажке "Режим разговора

Флажок "Режим разговора" предназначен для повышения удобства общения в чате и экономии маркеров ввода.

При его активации (настройка по умолчанию) дополнение передает всю историю разговора модели искусственного интеллекта, что позволяет ей лучше понимать контекст и получать более связные ответы. Однако такой всеобъемлющий режим приводит к увеличению расхода входных маркеров.

И наоборот, если флажок не установлен, в модель ИИ отправляется только текущий запрос пользователя. Выберите этот режим, чтобы задать конкретные вопросы или получить дискретные ответы, минуя необходимость контекстного понимания и экономя входные лексемы, когда история диалога не нужна.

Вы можете переключаться между этими двумя режимами в любой момент во время сессии.

О поле Система

Поле Система предназначено для тонкой настройки поведения и личности модели ИИ в соответствии с вашими конкретными ожиданиями.

• Показания по умолчанию: При установке дополнение включает в себя системный запрос по умолчанию, готовый к использованию.
• Настройка: У вас есть возможность персонализировать системный запрос, изменяя текст непосредственно в поле. Дополнение запомнит последний использованный вами системный запрос и автоматически загрузит его при следующем запуске диалога. Это поведение можно отключить в настройках.
• Опция сброса: Хотите вернуться к стандартной конфигурации? Просто воспользуйтесь контекстным меню, чтобы без труда вернуть поле Система к значению по умолчанию.

Пожалуйста, помните, что системный запрос включен во входные данные модели ИИ и потребляет токены соответствующим образом.

Глобальные команды

Эти команды можно использовать для запуска действий из любой точки компьютера. Их можно переназначить из диалога Жесты ввода в категории OpenAI.

• NVDA+E: Сделать снимок экрана и описать его.
• NVDA+O: Захватить текущий объект навигатора и описать его.
• Команды, не назначенные по умолчанию ни на один жест:
  • Переключить запись с микрофона и расшифровать аудиозапись из любого места.

Включенные зависимости

Дополнение поставляется со следующими необходимыми зависимостями:

• openai: Официальная библиотека Python для API openai.
• markdown2: Быстрая и полная реализация Markdown на Python.
• MSS: Сверхбыстрый кроссплатформенный модуль множественных скриншотов на чистом python с использованием ctypes.
• Pillow: Удобный форк библиотеки Python Imaging Library, используемой для изменения размеров изображений.
• sounddevice: Воспроизведение и запись звука с помощью Python.

Перевод

• Валентин Куприянов: Русский язык