서울대와 아트센터 나비, AI 창작 도우미 ‘젠이’ 공개
서울대와 아트센터 나비, AI 창작 도우미 ‘젠이’ 공개
  • 홍석범 기자
  • 승인 2021.11.19 22:02
  • 댓글 0
이 기사를 공유합니다

서울대학교 공과대학(학장 이병호)은 자율로봇지능 연구실(교수 김성우)이 아트센터 나비(관장 노소영)와 공동으로 연구하고 개발한 AI ‘젠이’와 AI 프로젝트 ‘#젠이챌린지’를 공개한다고 19일밝혔다.

이번 프로젝트는 멀티모달 임베딩(Multimodal Embedding) 인공지능 기술을 적용했으며, 문화체육관광부 및 한국콘텐츠진흥원의 2020년 문화기술연구개발지원사업 ‘문화콘텐츠 R&D 전문인력 양성-예술·과학 융합프로젝트’의 지원으로 진행됐다.

이 프로젝트는 19일부터 온라인 웹사이트를 통해 상시 오픈되며, 20일~21일 서울 종로구 SK 서린빌딩 4층에서 열리는 ‘Party in a Box’ 페스티벌 현장에서 대중에게 최초로 AI 젠이와 AI 프로젝트 #젠이챌린지를 선보인다.

AI 젠이는 작가들이 그린 4컷 만화에서 한 칸이 사라졌다는 가상의 상황을 설정해, 딱딱하고 엄격한 것이라는 AI 창작에 대한 고정관념을 벗어나 친근한 AI 젠이와 함께 스케치를 완성해 나간다는 스토리텔링을 선보인다. 웹 기반 챌린지 형태의 #젠이챌린지로 대중의 참여를 유도한다.

또 AI 젠이는 웹사이트에 접속한 사용자가 입력하는 방대한 정보를 활용해 밑그림을 추천한다. 데이터를 구축하고자 1만여편의 영화에서 AI로 20만장에 달하는 주요 장면 정보를 추출해 주요 구도, 인물 배치, 배경을 스케치화 했다. 웹사이트에 접속한 사용자가 줄거리나 만화 대사 등의 문장을 입력하면 젠이가 적절한 스케치를 제안하며, 이 과정에 멀티모달 임베딩 기술이 사용됐다. 이는 문장과 영상을 같은 벡터 공간에 매핑해 문장과 영상 사이에 변환·번역을 가능하게 하는 기술로, 사용자가 입력한 문장에 가장 관련도가 높은 영상을 접근할 수 있게 해준다.

참석자들은 페스티벌 현장과 웹사이트에서 AI 젠이 도움으로 만든 결과물을 해시태그와 함께 소셜 미디어로 공유해 다른 참여자와 나눌 수 있다. 또 뮤직비디오와 광고 등 여러 영역에서 활발히 활동하며 총 21만여명의 소셜 네트워크 팔로워를 보유한 유명 일러스트레이터 25일, ooo, 리루가 참여해 AI 젠이 및 관객과 함께 작품을 완성한다. 아트센터 나비는 앞으로 참여 일러스트레이터의 작품과 챌린지 참여작 가운데 우수 작품을 담은 소책자를 제작해 배포할 계획이다.

문화 예술이 기술에 목표를 제공하고 신기술이 영감을 제시하는 선순환 구조 아래 아트센터 나비와 서울대학교 공과대학의 연구원들이 시작부터 모든 과정에서 긴밀히 협업했다. 일반적으로 창작자가 영감을 얻고 첫 스케치를 그리기까지 많은 시간이 걸린다는 점에서 착안해, 이를 도울 수 있는 AI 기반 창작 스케폴딩을 제안하고 시연하게 됐다. 아트센터 나비와 서울대학교 공과대학 공동 연구팀은 △웹툰 △영화 △웹소설 제작 시나리오 등 다양한 콘텐츠 영역으로 쓰임을 확장할 수 있도록 꾸준히 공동 연구를 지속할 예정이다.

 


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.