'젊은라이브바카라공학자(YoungRobotEngineer)'코너는한국라이브바카라학회와라이브바카라신문이공동으로기획한시리즈물로미래한국라이브바카라산업을이끌어갈젊은라이브바카라공학자를발굴해소개하는데있다.
82번째인터뷰는한양대공과대학융합전자공학부오윤선교수다.오교수는1990년생으로2011년서울대전기전자공학부학사,2018년서울대전기·정보공학부에서박사학위를받았다.박사학위를마치고2018년7월부터2019년8월까지미국브라운대라이브바카라연구실에서박사후연구원으로근무하였다.2019년10월부터2021년8월까지KIST에서연구원,선임연구원을거쳐2021년9월부터현재의한양대에서조교수로재직하고있다.
2008년서울대학교전기공학부전자전금상ㆍ은상,2010년은상,2012~2017년한국연구재단글로벌박사펠로우십선정,2021년KIST영펠로우,2024년제5회한국인공지능학술대회우수논문상을수상했다.
주요연구분야는라이브바카라지능(Robotintelligence),작업계획(Taskplanning),의미론적지도작성(semanticmapping),파지(grasping)등이다.
라이브바카라이'종합예술'에가깝다고생각하는오교수는개인용라이브바카라이인간과함께삶을공유하고동행하는존재가되기위해서는사용자의취향과필요를정밀하게이해하고,이에적응하는능력이필수적이라고말한다.결국라이브바카라의개인화를위해'사람'을깊이이해하는기술과인간에대한연구와인간중심인공지능이점점더중요해질것이라고생각한다.학생들과함께새로운문제를발굴하고과감히도전하면서세계의연구자들에게영감을줄수있는연구자,본인이개발하는기술이사회적약자를보호하고,사회적임팩트를만들어낼수있는연구를꾸준히이어가고싶다는오윤선교수를만나본다.
Q.교수님이운영하고계신RobotswithHumansLab에대한간단한소개부탁드립니다.
RobotswithHumansLab은이름그대로,라이브바카라이사람과함께일상속에서조화롭게동행하기위해필요한인공지능기술을연구하는연구실입니다.저희는특히사람이필요로하는작업을라이브바카라이스스로인지하고,자율적으로행동을계획하고수행하며,각기다른환경에서도강인하게작동할수있도록하는기술에관심을갖고있습니다.또한,사람마다다른요구에맞춰개인화된서비스를제공할수있는라이브바카라지능을연구하고있습니다.저희연구실은라이브바카라인공지능분야에서아직충분히다루어지지않은새로운문제를발굴하고도전하는연구를지향합니다.
Q.최근하고계신연구가있다면소개부탁드립니다.
저희연구실은주로라이브바카라의장기작업계획(long-horizontaskplanning)에관한연구를진행하고있습니다.이는라이브바카라이언어형태로주어진복잡한작업목표를이해하고,이를기반으로실제작업을수행할수있도록하는기술입니다.
예를들어,“주방정리좀해줘”와같은명령어가주어졌을때라이브바카라이이를이해하고“식탁위의그릇을치우고,조리대의쓰레기를버린다”와같은사람이이해할수있는수준의계획을생성하는것이이연구의핵심입니다.이를위해라이브바카라은주변환경정보를인식하고,사람의언어를해석한뒤,이를구체적인작업계획으로변환하는과정을수행해야합니다.
저희는이과정에서환경정보를씬그래프(scenegraph)형태로표현하고대규모언어모델(LLM),그래프신경망(GraphNeuralNetwork:GNN),트랜스포머(Transformer)구조를결합하여라이브바카라의행동을자동으로생성하는기술을개발했습니다.이방법은시뮬레이션과실제환경간의sim-to-real갭이매우작고,우수한성능을보였습니다.해당연구는인공지능분야의권위있는학회인AAAI2025에서구두발표(구두발표채택률5%이내)로진행되기도했습니다.최근에는이를확장하여,LLM을기반으로변화하는환경에실시간으로적응하고실패시재계획이가능한연구도진행중입니다.
또한,기존연구가사람이명령을주었을때라이브바카라이작업을수행하는방식이었다면,이제는라이브바카라에게더큰자율성을부여하여라이브바카라이스스로해야할일을찾아내는연구도진행하고있습니다.예를들어,가정용라이브바카라이바닥에떨어진과자부스러기나빨래를발견하면,이를스스로인식하고치우는등의행동을수행해야합니다.이를위해저희는라이브바카라이환경에서수행해야할작업을스스로파악하고지도화하는task-awaresemanticmapping연구를진행중입니다.
이외에도,LLM기반작업계획의최적화연구,물류환경이나공장에서안정적이고효율적으로물체를집는순서를계획하는연구,프라이버시보호가중요한환경에서의연합학습(federatedlearning)등다양한주제를함께다루고있습니다.
Q.2018년2월서울대전기·정보공학부에서“RobustTargetTrackingandNavigationforMobileRobotswithGuaranteedPerformance”연구로박사학위를받으셨는데어떤내용인지소개부탁드립니다.
제박사학위논문은라이브바카라이불확실성이있는환경에서도일정수준이상의성능을확률적으로보장할수있는물체추적및경로계획기술에관한연구입니다.먼저,물체추적기술은움직이는대상을라이브바카라의센싱범위내에서놓치지않고추적하는문제를다룹니다.라이브바카라은대상의이동경로를기반으로다음위치를예측하며추적을수행하는데,이과정에서예측모델의한계나감지오류등으로인해필연적으로불확실성이발생합니다.저는이러한불확실성을확률적으로모델링하고주어진환경에서추적성공확률을최대화하는최적화기반의추적기법을제안하였습니다.
다음으로,경로계획기술에대한연구는단순히시작지점과도착지점으로가는전통적인경로계획문제를넘어서,여러개의목표지점을특정순서로방문해야하는문제를다룹니다.이러한복잡한요구사항은선형시간논리(LTL)를활용하여수학적으로표현되었고,이를만족하는경로를생성하는알고리즘을제안하였습니다.
특히드론과같이외부외란에취약한라이브바카라플랫폼의경우,계획된경로를정확히따르지못하는경우가자주발생합니다.이러한실행오차를확률적모델로표현하고,라이브바카라이실제로주어진임무를성공적으로수행할수있도록실패확률을최소화하는경로계획기법을개발했습니다.종합적으로,이학위논문은라이브바카라이불확실한실제환경에서도높은신뢰도로작업을수행할수있도록하는기반기술을다룬연구라고할수있습니다.
[그림4]
Q.교수님의주요연구분야가라이브바카라지능(Robotintelligence),작업계획(Taskplanning),의미론적지도작성(semanticmapping),파지(grasping)등으로알고있습니다.최근작업계획이나파지분야에서의최신동향이나기술적인트렌드가있다면무엇인지궁금합니다.
작업계획(Taskplanning)분야에서는최근초거대언어모델(LLM)을활용한연구가활발하게이루어지고있습니다.초기에는하나의거대언어모델만으로도장기작업계획이가능함을보여주는연구가주를이루었다면,최근에는서로다른역할을수행하는다수의언어모델이상호작용을하면서보다정교한작업계획을수행하는방식으로발전하고있습니다.특히,라이브바카라이환경정보를부분적으로관측할수있는상황(partiallyobservableenvironments)에서작업을수행하거나,작업을수행하다가실패시,실패원인을추론하여재계획(replanning)하는능력을갖추도록하는연구들이주목받고있습니다.
또한,언어모델을통해라이브바카라의제어명령을직접생성하는VLM기반generalistrobotpolicy연구도빠르게발전중입니다.최근에는라이브바카라에특화된대규모데이터셋들이공개되면서,이분야의발전이더욱빨라지고있습니다.
파지(Grasping)분야에서는초기에는2D이미지로부터라이브바카라의엔드이펙터(end-effector)포즈를추정하는방식이주로사용되었지만,최근에는3D포인트클라우드를활용해6자유도grasppose를정밀하게추정하는연구가활발하게이루어지고있습니다.2D비전분야에서파운데이션모델이등장한것처럼3D포인트클라우드를처리하기위한파운데이션모델의개발도활발히이루어지고있으며,이를활용하여복잡하고어질러진환경에서도정확하게물체를집을수있는파지기술이빠르게진화하고있습니다.
5.박사학위취득후미국브라운대학교라이브바카라연구실에서2018년7월부터2019년8월까지박사후연구원으로계셨는데당시어떤연구를하셨는지궁금합니다.
제가박사후연구원으로있었던연구실은거대언어모델이등장하기전부터라이브바카라이사람의언어를이해하고활용할수있도록하는연구를활발히진행해온곳입니다.저는박사과정에서수행한연구를자연어와결합하여확장하는방향으로연구를진행했습니다.구체적으로는,언어모델을통해사람의명령을선형시간논리(LTL)로변환하고,수학적으로표현된작업을계층적구조를활용해효율적으로행동을계획하는연구를했습니다.
또한자연어명령에는단순한지시를넘어,작업에필요한중요한정보가담겨있다는점에착안한연구도수행했습니다.예를들어“주방에있는컵을가져다줘”라는명령에는목표객체의위치에대한단서가포함되어있는데,이러한정보를계획단계에서적극적으로탐색효율성을개선할수있었습니다.브라운대학교에서의연구경험은언어기반라이브바카라지능연구의가능성과매력을깨닫게해준중요한계기였으며,이후로도저는언어를중심으로한라이브바카라의자율성향상연구를지속적으로이어오고있습니다.
Q.또2019년10월부터2021년8월까지KIST에서연구원,선임연구원으로계셨는데당시어떤연구를하셨는지도궁금합니다.
KIST에서는삼성미래기술육성사업을통해모바일매니퓰레이터를활용한작업계획연구를본격적으로시작하게되었습니다.초기에는요리하는라이브바카라에적용하여,라이브바카라에게요리이름과재료목록만주어졌을때,실제요리를수행할수있도록작업계획을생성하는연구를진행했습니다.같은요리라고해도사용가능한재료의구성이나조리환경에따라세부적인작업과정이달라지기때문에,환경에맞춘유연한작업계획을학습기반으로생성하는기술을개발했습니다.
또다른측면에서는산업현장에서의클라우드기반라이브바카라협업에관한연구를수행했습니다.예를들어,다수의물류라이브바카라이공장에투입된상황을가정하여,라이브바카라들이상하차작업을위한경로를계획하고,작업상황을중앙에서모니터링하며,충돌없이효율적으로작업을수행할수있도록하는시스템을개발했습니다.
KIST에서의연구는저에게있어기존에하지않았던새로운도전을가능하게한시기였으며,현재연구실의연구방향을정립하는데중요한기반이되었습니다.
Q.미국에서1년여박사후연구원으로계셨는데우리나라라이브바카라연구가한단계더발전하기위해서본받아야할점이있다면무엇이있을까요?
미국에서연구를하면서가장인상깊었던점은활발한토론문화와연구실간경계가낮은협업환경이었습니다.제가있었던브라운대학교에는여러연구실이공동으로사용하는대형오픈랩이있었는데,학생들은이공간에서자유롭게실험하고토론하며협업할수있었습니다.실험공간주변에는불규칙하게배치된책상과소파가있었고,학생들은자연스럽게오가며이야기를나눌수있었습니다.또한서로다른연구실소속이라도공통된주제를가지고있다면자유롭게모여미팅을진행하기도했습니다.
이처럼자유와공유를중시하는분위기덕분에,새로운아이디어가보다쉽게떠오르고,혼자해결하기어려운문제도지나가던학생이조언이나도움을줄수있는분위기가자연스럽게조성되어있었습니다.이러한개방적이고협력적인문화는공동연구가중요한라이브바카라연구를촉진하는데중요한요소라고생각합니다.
Q.라이브바카라을연구하면서가장어려운점은무엇입니까?
라이브바카라을연구하면서가장어려운점은기본적으로필요한기술의범위가매우넓다는데있다고생각합니다.예를들어제가주로연구하는분야는작업계획이지만,이기술이실제라이브바카라에게유용하다는것을입증하려면이미지처리,라이브바카라의모션계획등다양한요소들이함께작동해야합니다.이에따라연구실을실험가능한수준으로세팅하는데에도많은시간과노력이필요합니다.하지만동시에이러한특성덕분에,라이브바카라분야에서는공동연구가더욱중요하다고생각합니다.
Q.개인용라이브바카라을일상생활에통합하기위한다양한기술들을연구하고계신데이를위해가장중요한기술이무엇이라고생각하시나요?
저는라이브바카라이종합예술에가깝다고생각하기때문에,특정기술하나가가장중요하다고말하기는어렵습니다.다만개인용라이브바카라이라이브바카라청소기나서빙라이브바카라처럼제한된기능을수행하는수준을넘어서,인간과함께삶을공유하고동행하는존재가되기위해서는사용자의취향과필요를정밀하게이해하고,이에적응하는능력이필수적입니다.결국라이브바카라의개인화를위해‘사람’을깊이이해하는기술,인간에대한연구와인간중심인공지능이점점더중요해질것이라고생각합니다.
Q.연구자로서앞으로의꿈과목표가있다면?
학문적측면에서는,학생들과함께새로운문제를발굴하고과감히도전하면서세계의연구자들에게영감을줄수있는연구자가되고싶습니다.단순히기존의연구를따라가기보다는,아직다뤄지지않은문제를개척하는연구를지향하고있습니다.
사회적인측면에서는,제가개발하는기술이사회적약자를보호하고,산학협력을통해자원을효율적으로활용하며,나아가환경보호에기여할수있는라이브바카라기술로이어지기를바랍니다.단지기술개발에그치지않고,사회적임팩트를만들어낼수있는연구를꾸준히이어가고싶습니다.
Q.라이브바카라을전공하려는후배들에게어떤준비와노력이필요한지조언해주신다면?
우선,기초과목을탄탄하게다지는것이무엇보다중요합니다.그리고논문을읽을때는단순히읽고넘어가기보다,이해되지않는부분이있다면끝까지파고들며깊이있게공부하려는태도가필요합니다.
또한,공부한내용을직접구현해보는연습을많이해보라고조언하고싶습니다.라이브바카라기술은이론만으로는실제가치를증명하기어려운경우가많기때문에,실물라이브바카라을다뤄보며구현하고실험하는경험이필수적입니다.
마지막으로,자신의연구를글로표현하는연습도중요합니다.글로작성하는과정은자신의생각이논리적,수학적으로맞는지확인하는데도움이되며,기술역시더일관된방식으로다듬을수있습니다.
Q.국내라이브바카라산업이한단계더발전하기위한방안이있다면...
국내기업,대학,정부등여러분야에서라이브바카라산업발전을위해많은노력을기울이고계시기때문에,제가아직경험이많지않은입장에서구체적인방안을제시하는것은조심스럽습니다.대신,연구자로서국내라이브바카라산업에어떻게기여할수있을지에대한제생각을말씀드리고자합니다.
저는원래흥미위주로연구주제를선택하던사람이었는데,최근산업체와의교류를통해제가미처알지못했던,그러나시장에서실제로필요로하고,사회에실질적인영향을줄수있는라이브바카라기술이무엇인지접하게되면서생각이많이달라졌습니다.특히지금처럼산업계의관심이높은시점에는산업현장에서발생하는실제적이고새로운문제들이활발히발굴되고있습니다.이런문제들이학계로잘공유되고,여러연구자들이함께고민하고협력해나간다면,라이브바카라산업도훨씬의미있는방향으로빠르게성장할수있을것이라고생각합니다.
Q.연구에주로영향을받은교수님이나연구자가계시다면...
가장큰영향을주신분은제박사지도교수님이신오성회교수님이십니다.제가연구자로성장하는모든과정에서세심하게지도해주셨고,연구주제를설정하는방법부터기술을개발하고이를글로정리하는방법까지연구의기본틀을잡을수있도록이끌어주셨습니다.그덕분에박사후연구원시절에빠르게적응할수있었습니다.지금은교수가되어연구실을운영하면서,저도모르게교수님의방식을많이닮아있다는생각이듭니다.
두번째로는제가박사후연구원을했던브라운대학교의스테파니텔렉스(StefanieTellex)교수님입니다.그때언어의중요성을깊이깨닫게되면서,이후연구주제를정할때관점에도큰변화가생겼습니다.지금까지도제연구방향에지속적인영향을주고계신분입니다.