OpenAI (Искусственный интеллект Open AI)

Автор: André-Abush Clause , GitHub Copilot, Nael Sayegh , Roberto Perez , Heorhii Halas , Umut Korkmaz , Konsta Ranta , Danil Kostenkov , and other contributors
Исходный код дополнения: Посетить Web-сайт OpenAI

Краткое описание

Open AI - это дополнение для NVDA, предназначенное для плавной интеграции возможностей Open AI API в рабочий процесс.
Если вам нужно создать исчерпывающий текст, точно перевести отрывки, кратко изложить суть документа или даже интерпретировать и описать визуальный контент, это дополнение с легкостью справится со всеми задачами.
Вы можете подробнее узнать об этих функциях в документации к дополнению.

Назад к оглавлению

Основная информация

Название	Версия	Совместимость с API NVDA	Последняя протестированная версия NVDA	Минимальная версия NVDA	Дата загрузки в каталог	Размер	Лицензия
OpenAI	24.06.29	2024.1	2024.1	2023.1	27-07-2024 16:08:25	415 Кб.	GPL v2

Назад к оглавлению

Справка

Уважаемые пользователи сайта. Еще не все дополнения имеют локализованную справку, кроме того, не у всех дополнений есть справка.
Для того Чтобы узнать это, нажмите на следующую кнопку.

Подробнее

OpenAI (Искусственный интеллект Open AI) для NVDA

ПРИМЕЧАНИЕ: Будущее этого дополнения - BasiliskLLM (отдельное приложение и минимальное дополнение к NVDA). Мы настоятельно рекомендуем вам использовать BasiliskLLM вместо этого дополнения.

Дополнение OpenAI предназначено для плавной интеграции возможностей Open AI API в ваш рабочий процесс. Если вам нужно создать исчерпывающий текст, точно перевести отрывки, кратко изложить суть документа или даже интерпретировать и описать визуальный контент, это дополнение с легкостью справится со всеми задачами.

Дополнение также поддерживает интеграцию с сервисами Mistral и OpenRouter благодаря общему формату API.

Шаги установки

Перейдите на страницу страница релизов, чтобы найти последнюю версию дополнения.
Загрузите последнюю версию по указанной ссылке.
Запустите программу установки для добавления дополнения в среду NVDA.

Конфигурация ключа API

Для использования этого дополнения вам необходимо настроить его с помощью API-ключа от выбранного вами поставщика(ов) услуг (OpenAI, Mistral AI и/или OpenRouter). Каждый поставщик предлагает простой процесс получения и интеграции API-ключа.

После получения ключа API следующим шагом будет интеграция с дополнением:

Перейдите в меню NVDA к пункту 'Параметры', а затем к пункту 'Настройки'. В диалоговом окне «Настройки» найдите категорию « Искусственный интеллект Open AI».
В этой категории вы заметите группу с надписью «Ключи API», которая содержит кнопки с названиями поддерживаемых поставщиков услуг (например, «...»).
Нажмите на соответствующую кнопку для вашего сервиса. Появится диалог, запрашивающий не только ваш API-ключ, но и ключ организации, если он у вас есть. Это особенно полезно для интеграции с сервисами, которые различают личное и организационное использование.
Введите свой API-ключ и, при необходимости, ключ организации в соответствующие поля и нажмите «ОК», чтобы сохранить настройки.

Теперь вы готовы к изучению возможностей дополнения OpenAI NVDA!

Как использовать дополнение

Главный диалог

Большинство функций дополнения легко доступны через диалоговое окно, которое можно запустить, нажав NVDA+G.
В качестве альтернативы перейдите в подменю "Open AI" в меню NVDA и выберите пункт "Главный диалог...".
В этом диалоге вы сможете:

Инициировать интерактивные разговоры с моделями ИИ для получения помощи или информации.
Получать описания изображений из графических файлов.
расшифровывать устную речь из аудиофайлов или через микрофон.
Использовать функцию преобразования текста в речь для озвучивания написанного текста в запросе.

Повышение производительности с помощью быстрых клавиш.

Чтобы еще больше улучшить взаимодействие с интерфейсом, обратите внимание на следующее:

Многострочные поля «Системный запрос», «Сообщения» и «Запрос» оснащены контекстными меню, содержащими команды, которые можно быстро выполнить с помощью сочетаний клавиш. То же самое относится и к списку моделей. Эти сочетания клавиш активны, когда соответствующее поле находится в фокусе. Например, клавиши "j" и "k" позволяют переходить к предыдущему и следующему сообщениям соответственно, когда фокус находится в поле "История".
Кроме того, в интерфейсе предусмотрены сочетания клавиш, которые действуют во всем окне. Например, CTRL + R запускает или останавливает запись.

Все сочетания клавиш отображаются рядом с ярлыками соответствующих элементов.

О флажке "Режим разговора

Флажок "Режим разговора" предназначен для повышения удобства общения в чате и экономии маркеров ввода.

При его активации (настройка по умолчанию) дополнение передает всю историю разговора модели искусственного интеллекта, что позволяет ей лучше понимать контекст и получать более связные ответы. Однако такой всеобъемлющий режим приводит к увеличению расхода входных маркеров.

И наоборот, если флажок не установлен, в модель ИИ отправляется только текущий запрос пользователя. Выберите этот режим, чтобы задать конкретные вопросы или получить дискретные ответы, минуя необходимость контекстного понимания и экономя входные лексемы, когда история диалога не нужна.

Вы можете переключаться между этими двумя режимами в любой момент во время сессии.

О поле «Системный запрос»

Поле «Системный запрос» предназначено для тонкой настройки поведения и личности модели ИИ в соответствии с вашими ожиданиями.

Системный запрос по умолчанию: При установке дополнение включает в себя системный запрос по умолчанию, готовую к использованию.
Настройка: У вас есть возможность персонализировать системный запрос, изменяя текст непосредственно в поле. Дополнение запомнит последний использованный вами системный запрос и автоматически загрузит его при следующем запуске диалога. Это поведение можно отключить в настройках.
Опция сброса: Хотите вернуться к стандартной конфигурации? Просто воспользуйтесь контекстным меню, чтобы без труда вернуть поле «Системный запрос» к значению по умолчанию.

Пожалуйста, помните, что системный запрос включен во входные данные модели ИИ и потребляет соответствующие токены.

Глобальные команды

Эти команды можно использовать для запуска действий из любой точки компьютера. Их можно переназначить из диалога Жесты ввода в категории OpenAI.

NVDA+E: Сделать снимок экрана и описать его.
NVDA+O: Захватить текущий объект навигатора и описать его.
Команды, не назначенные по умолчанию ни на один жест:
- Переключить запись с микрофона и расшифровать аудиозапись из любого места.

Включенные зависимости

Дополнение поставляется со следующими необходимыми зависимостями:

openai: Официальная библиотека Python для API openai.
markdown2: Быстрая и полная реализация Markdown на Python.
MSS: Сверхбыстрый кроссплатформенный модуль множественных скриншотов на чистом python с использованием ctypes.
Pillow: Удобный форк библиотеки Python Imaging Library, используемой для изменения размеров изображений.
sounddevice: Воспроизведение и запись звука с помощью Python.

Перевод

Валентин Куприянов: Русский язык

Назад к оглавлению

История версий

Список версий

Назад к оглавлению