Skip to content

Commit

Permalink
Chapter 4.3 Audio interfaces. Add subsections and key concepts (ostis…
Browse files Browse the repository at this point in the history 
…-ai#215)

* feat: add subsections and key concepts

* Update author/part4/chapter_audio_interfaces.tex

---------

Co-authored-by: Daniil Shunkevich <shu.dv@tut.by>
  • Loading branch information
@delfvad @ShunkevichDV
delfvad and ShunkevichDV authored Apr 3, 2023
1 parent d732503 commit 6370076
Showing 1 changed file with 31 additions and 12 deletions.
43 changes: 31 additions & 12 deletions author/part4/chapter_audio_interfaces.tex
View file
Original file line number Diff line number Diff line change
Expand Up @@ -21,30 +21,46 @@ \chapter{Аудиоинтерфейс ostis-систем}

\bigskip

\begin{scnrelfromlist}{подраздел}
\scnitem{\ref{sec_audio_interfaces_review}~\nameref{sec_audio_interfaces_review}}
\scnitem{\ref{sec_audio_interfaces_ostis_approach}~\nameref{sec_audio_interfaces_ostis_approach}}
\scnitem{\ref{sec_audio_interfaces_subject_area_problems}~\nameref{sec_audio_interfaces_subject_area_problems}}
\scnitem{\ref{sec_audio_interfaces_subject_area_signal_models}~\nameref{sec_audio_interfaces_subject_area_signal_models}}
\scnitem{\ref{sec_audio_interfaces_conclusion}~\nameref{sec_audio_interfaces_conclusion}}
\end{scnrelfromlist}

\bigskip

\begin{scnrelfromlist}{ключевое понятие}
\scnitem{аудио интерфейс интеллектуальных компьютерных систем}
\scnitem{речевой интерфейс интеллектуальных компьютерных систем}
\scnitem{цифровая обработка сигналов}
\scnitem{обработка речевых сигналов}
\scnitem{сигнал}
\scnitem{звуковой сигнал}
\scnitem{речевой сигнал}
\scnitem{модель сигнала}
\scnitem{аудиоинтерфейс}
\scnitem{речевой нтерфейс}
\end{scnrelfromlist}

\bigskip

\begin{scnrelfromlist}{библиографическая ссылка}
\scnitem{\scncite{Pearl2016}}
\scnitem{\scncite{Chen2021audio}}
\scnitem{\scncite{Lu2002content}}
\scnitem{\scncite{Fernandes2022}}
\scnitem{\scncite{Pearl2016}}
\scnitem{\scncite{Chen2021audio}}
\scnitem{\scncite{Lu2002content}}
\scnitem{\scncite{Fernandes2022}}
\scncite{\scncite{Popov2020interspeech}}
\scncite{\scncite{Povey2011ASRU}}
\scncite{\scncite{Deepa2021}}
\end{scnrelfromlist}

\end{SCn}


\section{Анализ существующих подходов к разработке аудиоинтерфейсов интеллектуальных компьютерных систем}
\section{Введение в \textit{Главу \ref{chapter_audio_interfaces}~\nameref{chapter_audio_interfaces}}}
\label{sec_audio_interfaces_review}

Разговорная речь является одной из наиболее естественных и эффективных форм передачи информации между людьми. Этот факт объясняет значительный интерес исследователей к вопросам развития и применения речевых интерфейсов для обеспечения человеко-машинного взаимодействия в составе современных коммуникационных, мультимедийных и интеллектуальных систем (см. \scncite{Pearl2016}, \scncite{Chen2021audio}).
Разговорная речь является одной из наиболее естественных и эффективных форм передачи информации между людьми. Этот факт объясняет значительный интерес исследователей к вопросам развития и применения \textit{речевых интерфейсов} для обеспечения человеко-машинного взаимодействия в составе современных коммуникационных, мультимедийных и интеллектуальных систем (см. \scncite{Pearl2016}, \scncite{Chen2021audio}).

Более всеобъемлющей формой обеспечения взаимодействия с пользователем и окружающей средой посредством анализа и синтеза акустических сигналов является аудиоинтерфейс. Данную разновидность интерфейса, выступающей родительской по отношению к речевым, можно кратко определить как аппаратно-программный комплекс осуществляющий анализ и синтез сигналов во всем доступном спектре параметров носителей акустической информации. Например, для решения задач анализа обстановки и событий происходящих в акустическом окружении системы, синтеза неречевых сигналов (звуков техногенного и природного характера, сигналов оповещения, музыки, и т.д.) (см. \scncite{Lu2002content}).
Более всеобъемлющей формой обеспечения взаимодействия с пользователем и окружающей средой посредством анализа и синтеза акустических сигналов является \textit{аудиоинтерфейс}. Данную разновидность интерфейса, выступающей родительской по отношению к речевым, можно кратко определить как аппаратно-программный комплекс осуществляющий анализ и синтез сигналов во всем доступном спектре параметров носителей акустической информации. Например, для решения задач анализа обстановки и событий происходящих в акустическом окружении системы, синтеза неречевых сигналов (звуков техногенного и природного характера, сигналов оповещения, музыки, и т.д.) (см. \scncite{Lu2002content}).

Об актуальности направления разработки аудио и речевых интерфейсов свидетельствуют следующие основные тенденции развития данного направления:
\begin{textitemize}
Expand Down Expand Up @@ -73,6 +89,7 @@ \section{Анализ существующих подходов к разраб


\section{Применение принципов онтологического проектирования при разработке аудиоинтерфейсов}
\label{sec_audio_interfaces_review}

Для достижения поставленной цели предлагается прибегнуть к подходу на основе принципов лежащих в основе ``Стандарта открытой технологии онтологического проектирования, производства и эксплуатации семантически совместимых гибридных интеллектуальных компьютерных систем'' или кратко ``Стандарта технологии OSTIS'' (см. \scncite{Standart2021}).

Expand Down Expand Up @@ -109,7 +126,7 @@ \section{Применение принципов онтологического
\end{scnrelfromset}
\end{SCn}

Согласно общим принципам организации интерфейсов ostis-систем, изложенным в \textit{Главе\ref{chapter_interfaces}}, аудио- и речевой интерфейс относятся к подмножеству SILK-интерфейсов \textit{пользовательских интерфейсов} \textit{интеллектуальных компьютерных систем}.
Согласно общим принципам организации интерфейсов ostis-систем, изложенным в \textit{Главе\ref{chapter_interfaces} \nameref{chapter_interfaces}}, \textit{аудио- и речевой интерфейс} относятся к подмножеству SILK-интерфейсов \textit{пользовательских интерфейсов} \textit{интеллектуальных компьютерных систем}.

Для решения задачи построения пользовательского интерфейса в базе знаний
пользовательского интерфейса ostis-системы необходимо наличие \textit{sc-модели} компонентов \textit{пользовательского интерфейса}, интерфейсных действий пользователей, а также классификации пользовательских интерфейсов
Expand All @@ -134,6 +151,7 @@ \section{Применение принципов онтологического
Далее перейдём непосредственно к рассмотрению конкретных предметных областей и построению онтологии аудиоинтерфейса.

\section{Предметная область и онтология задач аудиоинтерфейса ostis-систем}
\label{sec_audio_interfaces_subject_area_problems}

Первым шагом на пути к построению базы знаний подсистемы аудиоинтерфейса \textit{интеллектуальных компьютерных систем нового поколения} является формализация онтологии верхнего уровня. В основе данной онтологии предлагается положить формализованное представление основных сущностей предметной области и их свойств, а также функциональных задач, которые аудио и речевой интерфейс призваны решать.

Expand Down Expand Up @@ -440,6 +458,7 @@ \section{Предметная область и онтология задач а


\section{Предметная область и онтология моделей параметрического представления сигнала}
\label{sec_audio_interfaces_subject_area_signal_models}

Все вышеперечисленные задачи взаимосвязаны, поскольку относятся к одному и тому же объекту исследования – речевому сигналу. Решение каждой из них непосредственно либо косвенно зависит от эффективности моделирования речи как сложного феномена в различных аспектах: параметрическое представление речевого сигнала и выделение его свойств, моделирование процесса фонации, восприятия и интерпретации содержания речевого сообщения (в том числе фонетического, смыслового, эмоционального). Это делает создание универсальных способов обработки речевых сигналов перспективным научным направлением.
В контексте перечисленных задач моделирование речи можно условно разделить на три уровня:
Expand Down

0 comments on commit 6370076

Please sign in to comment.