인공지능이 실시간으로 4K UHD영상 구현한다

기술개요

저해상도 영상을 고품질의 고해상도 영상으로 초해상화(업스케일링)하는 딥러닝 기반 심층 컨볼루션 신경망을 저전력/저복잡도로 설계한 하드웨어 기술로서, 2K FHD 60fps 영상입력을 4K UHD 60fps 출력 영상으로의 실시간 변환을 FPGA에서 검증한 기술이다.

기술의 특징

프레임 단위 대신 라인 단위로 데이터를 처리하는 심층 콘볼루션 신경망 구조를 설계하여 외부 메모리를 사용하지 않고도 작은 규모의 하드웨어에서 초당 60프레임의 실시간 4K 업스케일링 처리를 세계최초로 구현하고 검증한 기술이다.

• 저해상도의 영상을 다양한 텍스쳐의 특성을 지니는 수많은 훈련데이터(딥러닝)을 이용하여 고해상도 영상으로 초 고해상화하는 인공지능 기술 접목
• 프레임 단위의 수정을 여러번 수행하여 초해상화 영상을 생성하는 반복법과 검색 알고리즘을 사용하지 않으면서도, 고품질의 고해상도 영상을 복원할 수 있는 알고리즘
• 프레임 단위 대신 라인 단위로 데이터를 처리하는 심층 콘볼루션 신경망 구조(CNN)를 개발해 외부 메모리를 사용하지 않고도 작은 규모의 하드웨어에서 초당 60 프레임의 4K UHD 초해상화를 구현




응용분야

카메라, UHDTV, 4K/8K 빔프로젝터, 4K/8K IPTV STB, 스마트폰, 360 VR HMD, UHD 모니터, ADAS(Advanced Driver Assistance System), 반도체 비전 검사장비 등




사업화 전망

• 4K UHD는 고해상도?고품질?현실감 있는 이미지와 함께 보기 환경까지 개선된 제품
• 실감영상 수요의 증대로 인해 연평균 성장률 21.8%로, 2020년엔 1021억 달러의 규모로 성장 예상됨
• 세계 4K 디지털 셋톱박스 시장은 2020년에 약 20.1억 달러의 시장형성 예상
• 세계 4K UHD TV 시장은 2020년에는 395억 달러에 달할 것으로 예측
• 제안기술 적용 시, 현재의 방송 송출 조건을 유지하면서 높은 해상도의 4K UHD 서비스를 이용할 수 있을 것으로 예상
• 본 기술이 적용된 셋톱박스를 이용하여 업스케일링된 출력을 4K UHD와 비교하여도 동등한 화질의 서비스 제공이 가능
• 2020년 도쿄 올림픽 이후 본격화 될 8K UHD 서비스에 선제적으로 대응 가능
• 본 기술 적용 시, IPTV망 고도화 없이 159개의 풀 HD 전용 채널을 약 100여개의 4K UHD 서비스 채널로 전환 가능
• 5개의 Pre-UHD 전용 채널을 4K UHD 서비스로 전환 가능