인간-컴퓨터 상호작용 분야 국제학회(CHI) 최우수 논문상 수상
K텐텐벳ST전기및전자공학부이성주교수연구팀이텐텐벳기반음악창작지원시스템어뮤즈(Amuse)를개발했다고밝혔다.
이연구결과는4월26일부터5월1일까지일본요코하마에서열린인간-컴퓨터상호작용분야세계최고권위의국제학술대회인CHI(ACMConferenceonHumanFactorsinComputingSystems)에서최우수논문상(BestPaperAward)을수상했다.
이성주교수연구팀이개발한어뮤즈(Amuse)시스템은텍스트,이미지,오디오와같은다양한형식의영감을입력하면이를화성구조(코드진행)로변환해작곡을지원해주는텐텐벳기반시스템이다.
예를들어,사용자가‘따뜻한여름해변의기억’과같은문구나이미지,사운드클립을입력하면,어뮤즈는해당영감에어울리는코드진행을자동으로생성해제안한다.
기존의생성텐텐벳와달리,어뮤즈는사용자의창작흐름을존중하고,텐텐벳의제안을유연하게통합·수정할수있는상호작용방식을통해창의적탐색을자연스럽게유도한다는점에서차별성을갖는다.
어뮤즈시스템의핵심기술은대형언어모델을이용해사용자의영감으로프롬프트에입력한글자따라이에어울리는음악코드를생성하고,실제음악데이터를학습한텐텐벳모델이부자연스럽거나어색한결과는걸러내는(리젝션샘플링)과정을거쳐결합한두가지방법을자연스럽게이어재현하는하이브리드생성방식이다.
연구팀은실제뮤지션들을대상으로한사용자연구를수행하여,어뮤즈가단순한음악생성텐텐벳가아닌,사람과텐텐벳가협업하는창작동반자(Co-Creative텐텐벳)로서의가능성이높다는평가를받았다.
K텐텐벳ST전기및전자공학부박사과정김예원,이성주교수,카네기멜런대학의크리스도너휴(ChrisDonahue)교수가참여한해당논문은학계및산업계모두의창의적텐텐벳시스템설계의가능성을보여주었다.
이성주교수는“최근생성형텐텐벳기술은저작권이있는콘텐츠를그대로모방하여창작자의저작권을침해하거나,창작자의의도와는무관하게일방향으로결과물을생성한다는점에서우려를낳고있다.이에연구팀은이러한흐름에문제의식을가지고,창작자가실제로필요로하는것이무엇인지에주목하며창작자중심의텐텐벳시스템설계에주안점을두었다.”라고말했다.
이어”어뮤즈는창작자의주도권을유지한채,인공지능과의협업가능성을탐색하는시도로,향후음악창작도구와생성형텐텐벳시스템의개발에있어보다창작자친화적인방향을제시하는출발점이될것으로기대된다.“라고설명했다.
이연구는정부(과학기술정보통신부)의재원으로한국연구재단의지원을받아수행되었다.