양자점(Quantum dot, QD) 관련 기술은 많은 분야에 관심을 받으며 활발히 연구되고 있다. 특히 양자점은 직경을 조절하여 방출되는 빛의 파장을 조절할 수 있는 편의성, 무기 재료 고유의 안정성, 고순도의 색 구현가능, 방출 스펙트럼의 좁은 반치폭 등의 여러 장점들로 인해 디스플레이 분야에서 특히 많은 관심을 받으며, 차세대 디스플레이의 강력한 후보로 여겨진다.

이외에도 나노미터 범위의 크기를 갖는 양자점은 반도체로서 매우 특이한 성질을 나타내 바이오센서, 이미지 센서, 태양전지, 의료 분야 등 다양한 분야에서 연구되고 있다. 이 글에서는 양자점이 적용되는 여러 분야에 대한 최근 연구에 대하여 전반적인 동향을 살펴보고자 한다.
 
목차

개요
1. 서론 : 코로나 이후의 원격업무 및 환경에 대한 관심의 증가.
2. 센서기술과 딥러닝기술을 접목하여, 사람과 디지털공간의 연결
3. 센서와 머신러닝기술을 접목하여, “치매”증상을 구분하는 프로그램의 검증 및 구성
    3-1. normal(정상으로 구분된) 사람의 보행에 따른 ankle, knee, hip 각도 그래프
    3-2. 치매 환자의 보행패턴에 맞게 개발 진행 중인 프로그램
4. 프로그램 구현 원리 - image Sensor를 딥러닝 기술을 활용하여 처리하는 방식
    4-1. 사람의 신체를 추적할 수 있는 머신러닝 기술과 센서기술의 동작원리
    4-2. 머신러닝에 사용되는 Camera및 Sensor의 동작 원리 소개
    4-3. 피사체를 인식하여 사람을 추적하는 동작원리에 대한 구조
5. 스마트 헬스케어 시장 동향 및 Ai 인공지능 센서의 현황
6. 머신러닝 기술의 한계와 활용 가능성이 높은 산업 및 결론
7. 참고 문헌


1. 서론 : 코로나 이후의 원격업무 및 환경에 대한 관심의 증가

“인공지능을 활용한 디지털 헬스케어의 시장 급부상”

대한민국 제20대 대통령 정부의 “110대 국정과제의 25번 과제 목표 - 디지털헬스케어”^[2]

총 110개의 과제 중, 25번 항목의 바이오 및 디지털헬스 글로벌 중심국가 도약(복지부)은 핵심전략 산업 육성 및 경제 재도약을 견인한다는 목표를 가지고 있다.

해당 부분은 국민들이 의료 및 건강정보 데이터를 활용할 수 있도록 건강정보 고속도로 시스템을 활용한 디지털 헬스케어 서비스에 대한 법안 마련을 담고 있다.

추가적으로 빅데이터를 활용하여 보건 의료 고도화 및 인공지능 바이오 디지털에 대한 연구개발 시행을 계획하고 있다. 또한 코로나19와 같은 대유행을 겪으며, 비대면 진료시장에 대한 중요성 및 과학기술의 필요성이 중요시되고 있는 시점에서, 이러한 25번 과제를 통하여 디지털 정부혁신의 발판을 마련하고, 의료시설의 발전을 계획하는데 의미를 두고 있다.



2. 센서기술과 딥러닝 기술을 접목하여, 사람과 디지털공간의 연결

AI 딥러닝 기술을 이용한 디지털트윈의 사례, 실제 사람의 위치와 행동을 파악하고 사람, 장소, 사물간의 공간을 디지털로 모델링하였다.


ZED2i Camera의 sensor의 주요기능은 아래와 같다.

1. Accelerometer : 가속도계는 카메라의 순간 가속도를 감지한다 (Data Rate: 400Hz)
2. Gyroscope : 카메라의 각속도를 초당 도(deg/s)로 측정한다. (Data Rate: 400Hz)
3. Barometer : 카메라 주변 자기장의 강도를 측정한다. Data Rate: 25Hz / 50Hz
4. Magnetometer : 기압계는 카메라 주변의 대기압을 헥토파스칼(hPa) 단위로 측정한다.
5. Temperature : 여러 센서의 열 상태를 모니터링 한다.

3. 센서와 머신러닝 기술을 접목하여, 치매 증상을 구분하는 프로그램의 검증 및 구성


3-1. normal(정상으로 구분된) 사람의 보행에 따른 ankle, knee, hip 각도 그래프

x축은 time normalization(시간정규화)를 사용하여 0부터 100까지 사람의 1-step을 x축으로 표현하였다. y축은 사람의 발목각도를 나타낸다.

보행 패턴에 따른 각 관절의 각도변화를 나타내며, 그림 4의 그래프는 평범한(normal) 상태의 피험자의 결과값을 나타낸다. (정상적인 보행을 그래프로 측정, “ankle 각도”의 보행시, normal 값을 가지는 그래프) 해당 그래프는 인체를 모델링한 대상자별 3회 보행자료의 평균치를 나타내며, black line을 가지는 그래프의 수치가 normal data를 그리고 있다. red line의 수치는 insole 착용시를 나타내므로, black line의 normal data를 참고하였다.

비 정상적으로 표준편차가 증가되는 값을 측정하는 프로그램을 구축하여, 해당 angle을 실시간으로 측정할 수 있는 프로그램을 개발하여 테스트했으며, 정상 보행의 패턴을 벗어나는 보행자를 구분하여, 실시간으로 결과를 출력할 수 있도록 구현하였다. 해당 내용은 3-4에 자세하게 서술하였다.

보행자를 측정 시, time normalization를 사용하여 0~100으로 나타냈으며, x축에 time normalization을 이용한 보행의 1-step시, 보행자의 ankle, knee, hip angle을 측정하였다.
 
보행 주기 동안 normal한 사람의 발목의 각도 변화는 SD(Standard Deviation)가 대체적으로 9.24 ＜ x 의 형태를 보인다. 즉 SD값이 해당 값을 넘어가는 영역으로 발생할 경우, 통계적으로 비정상적인 보행을 하고 있음을 알 수 있는 유의한 차이를 확인 할 수 있다.
무릎의 각도 변화는 보행자의 변이 중에서도 낮은 표준편차를 보인다. 일반적으로 5.45 ＜ ｘ 의 형태를 보이는데, 이 역시도 마찬가지로 해당 영역보다 더 클 경우, 유의한 비정상적 패턴을 관측할 수 있게 된다.

엉덩 관절의 경우, 다른 신체각도의 형태에 비하여, 다소 굴곡된 형태를 보이는데, SD값은 11.07 ＜ ｘ 의 형태로 이 역시 해당 값을 넘어서는 범위일 경우, 비정상적인 패턴의 신호를 포착할 수 있게 된다.
 
3-2. 치매 환자의 보행 패턴에 맞게 개발 진행 중인 프로그램

실시간으로 보행할 때, 치매환자의 패턴을 분석하기 위해 그림 6과 같은 프로그램을 구현하였다.

입력 영상을 통하여, 분석하는 프로그램이며, 보폭을 1분간 걸었을 경우, 보행이 정상적인 수치에서 벗어나는 것을 그래프를 통해서 관측할 수 있으며, 순서대로 Hip, Knee, Ankle 순으로 x축은 시간정규화 / y축은 각도에 대한 그래프가 실시간으로 표현된다.

해당 그래프의 Blue zone에 해당하는 부분은 측정중인 보행자의 Standard Deviation 영역을 나타낸다. 그래프의 표준편차의 가중치가 클수록 보행자는 과다한 회내 동작을 취하고 있으며, 즉 정상적인 보행 범위를 벗어나는 현상을 관측할 수 있다. 정상 보행에 대한 표준편차 및 각도는 보행 변인을 측정한 통계에서 알 수 있다.

그래프의 1 gait cycle … n gait cycle 까지 산출되는 sd. mean value. gait parameters formula에 의하여 heel contact → mid contact → toe off → heel contact으로 순환됨을 나타낸다.







또한, 위의 프로그램을 구현한 원리는 그림 7에서 자세한 내용을 기재하였다.

4. 프로그램 구현 원리 - 이미지 센서를 딥러닝 기술을 활용하여 처리하는 방식

4-1. 사람의 신체를 추적할 수 있는 머신러닝 기술과 센서기술의 동작원리

먼저 인공지능의 원리에 대해서 말하자면, 컴퓨터가 의사결정 또는 이미지와 같은 인간의 지능을 모방할 수 있도록 처리하는 기술이다. 이러한 인공지능의 하위 field로 기계 학습이 있으며, 기계 학습 알고리즘을 이용하여 컴퓨터는 학습을 통해 결과를 산출하는 방법을 습득한다. 따라서 머신러닝이라는 것은 컴퓨터가 경험을 통해 학습하는 것을 뜻하며, 경험을 통하여 배우지 않는 것은 기계 학습의 범주에 속하지 않는다.

이러한 머신러닝의 하위 분류로 딥러닝이 있다. 딥러닝은 머신러닝의 한 분류를 뜻하는데, 이미지와 같은 데이터 세트를 사용하여 심층 인공 신경망을 훈련한다. 심층 인공 신경망을 뜻하는 것은 뇌를 모방한 수학적인 계산이며, 인간의 두뇌에 모든 뉴런들이 서로 연결되어 있는 것과 동일하게, 인공 신경망은 한 레이어에 뉴런들이 연결되어 있는데,

이러한 레이어의 수를 늘릴수록 네트워크가 깊어지게 되며, 훨씬 많은 정보와 관계들에 대해서 처리할 수 있게 된다. 전체 네트워크 아키텍처는 그림 7에서 도식화한 내용과 같다. 해당 내용에 대하여 자세하게 설명하자면,

1. 이미지를 커널을 이용해 특징을 추출하는 방식을 사용하여 Convolution을 수행한다. 이러한 방식은 주어진 이미지를 스캔하며, 필터를 적용해 특정 효과를 얻는 기능을 한다.(Convolutional Layer)
2. 이미지를 Down Sampling하여 맵의 크기를 줄인다.(Pooling Layer)
3. 가져온 이미지를 추출하여 평면화한다. = Flattening
4. 평면화한 데이터를 neural network으로 전송한다. 그 후에 학습할 데이터를 training 시키고, 해당 데이터에 대한 유효성을 검증하는 작업을 하며, 이렇게 훈련된 모델을 이용하여 python 또는 C++ 형태로 된 library를 Application project에 적용시키는 방법으로 진행한다.

4-2. 머신러닝에 사용되는 Camera 및 Sensor의 동작 원리 소개

AI stereo camera(ZED 2)의 동작 원리는 머신러닝 카메라 기술 중 발달된 형태의 하나이다.

해당 Stereo camera의 핵심 원리에 대해서 자세하게 알아보자면, Synchronization DoF(서로 다른 센서의 동기화를 통한 피사계 심도 측정) 방식을 사용하였으며, 각 이미지의 입자 필터링을 통해 이미지의 집합을 사용해서 후방에 위치한 depth(밀도)값을 추정한다. 이렇게 분포된 입자는 왼쪽, 오른쪽에 균등하게 분포하여 각 위치(a, b, c)에 의해 그려진다. 이렇게 그려지는 입자의 수는 이미지 센서가 측정하는 모델의 위치의 정확도에 비례하여, 밀도의 입자가 생성된다.

DoF target formula :


여러 목표물을 감지할 때, 각 픽셀(I,j)에서 측정하는 방법은 위에서 설명한 3.1.1. DoF target formula을 기반으로 두 가지 공식으로 나뉜다.



1. 다중 목표물을 감지할 경우 입자 집합은 위에 보이는 이미지들를 목표물로 할 때, 가우시안 밀도 추정법(Gaussian density estimation)을 이용하여 대상을 탐지한다.

2. 또한 다중 목표물의 동적 움직임을 감지할 때는, 목표물에 대한 속도를 카메라에 내장된 가속도 센서계를 이용하여 추적한다. 이러한 전단계의 처리능력을 이용하여 대상에 대한 physical image value를 산출하고, 여러 단계들을 거쳐, 해당 목표물에 대한 필터링을 통해 정확한 값을 산출할 수 있게 한다.
 
4-3. 피사체를 인식하여 사람을 추적하는 동작원리에 대한 구조

데이터로 사용할 이미지(입력 영상)를 저장하여 특징을 추출하고, 추출된 특징을 통해 학습 모델을 생성하여, 이를 분류하는 작업을 거치게 된다. 이러한 데이터를 학습하는 이유는 새로운 데이터(입력 영상)를 입력 받았을 경우, 새로운 데이터에 대한 정확한 예측을 위해서 이러한 머신러닝 기술을 사용하게 된다. 옆의 도식화한 이미지에서 보는 것과 같이 특징들을 추출한 결과 값을 X, Y, Z 좌표를 예측하기 위해 사용되며, 이러한 예측 값들이 학습을 통하여 정확한 결과값을 나타내는 부분이 인물의 pose 좌표값을 계산하는데 사용된다.

특히 이러한 데이터들의 정확성을 향상시키기 위해서는 머신 러닝에 이용할 데이터들을 학습, 검증, 테스트 데이터 셋으로 각각 사용하여 검증을 해야 한다. 위의 입력된 이미지는 앞서 설명했던 CNN(컨볼루션 신경망) 구조를 통해 처리하게 되는데, Convolution Layer에서는 2차원 영상에서 유효한 특징(edge detection anisotropy filter, vertex, edge mesh filtering) 등의 유용한 필터 마스크가 사용되며, Pooling Layer에서 입력 크기를 줄여서 계산을 하게 되고, Fully Connected Layer에 3차원 구조의 모든 값들을 평면화하여 일렬로 이어 붙인다. 아래에서 적용한 프로그램은 입력 영상을 tensorflow를 사용한 CNN 모델을 적용하여 구현하였으며, tensorflow, keras, CNN model을 이용하여 구현하였다.

머신러닝으로 학습된 데이터셋이 새로운 입력 영상을 받았을 때, body의 key point(Neck, Shoulder, Elbow, Spine, Hip, Knee, Ankle)를 컴퓨터에서 분석하여 정확한 좌표지점을 추론할 수 있도록 구현하였다.
 
5. 스마트 헬스케어 시장 동향 및 AI 인공지능 센서의 현황

사례 1. KIMES 2021 전시회에서 (주)엑스바디는 ‘통합 근골격 검진 시스템’을 개발 공급하며 국내외 근골격 변형 및 통증의 주요 원인이 되는 검사를 할 수 있는 스마트 헬스케어를 구축한다.^[7]


사례 2. AI를 활용한 음성 기반 치매 선별 프로그램을 개발, 상용 환경 테스트^[8]

SK텔레콤에서 AI를 활용한 음성 기반 치매 선별 프로그램을 개발하였다고 발표하였으며, 해당 기술은 서울 대학교 의과대학교 함께 협업을 시작한다고 한다.

6. 머신러닝 기술의 한계와 활용 가능성이 높은 산업 및 결론

위에서 다루었던 이미지처리를 위한 딥러닝 기술 및 대표적인 딥러닝 처리방식을 정리하자면, 대표적으로 CNN(Convolutional Neural Network)이 있으며, DNN(Deep Neural Network), Darknet YOLOv4(물체 인식 모델), GoogLeNet(Going deeper with convolutions), Mask-RCNN (object의 segmentation mask를 예측) 등의 다양한 모델이 있다.

이러한 신경망 구조의 모델은 새로운 작업을 수행 할 수 있도록 계속 훈련시켜서 정확성 및 성능을 향상시킨다는 점이 기계학습모델의 가장 큰 장점이라고 생각한다. 하지만, 이러한 학습을 위한 사전 데이터로 쓰이는 정보들이 개인 또는 기업에 문제 될 소지가 있어 이러한 부분은 AI 윤리 전문가들과 협의를 통하여 문제되지 없는 선에서 진행하는 것이 옳을 것이라 생각된다. 기계 학습 모델 같은 경우, 많은 데이터셋을 학습시킬수록 성능이 향상되기 때문에, 한 회사에서 방대한 데이터를 이용하여 독과점하는 현상이 생기게 되면, 결국 한 기업에 의해 사용자들의 인권에 피해가 생길 우려도 있기 때문에 이런 부분들을 중재할 수 있는 기구가 필요 할 것으로 생각된다.

그리고 기계 학습 모델에 대한 데이터셋은 사전 학습을 필수로 요구하기 때문에 편향된 데이터에 대한 결과가 나올 수 있는 부분이 있다. 사전 데이터 학습 데이터 같은 경우, 현재 인간이 이뤄놓은 데이터를 기반으로 하기 때문에 이런 부분을 개선할 수 있는 새로운 모델이 차후 연구되어야 할 것으로 보인다. 이러한 부분을 개선하기 위한 분야로 ZSL(Zero-Shot Learning)이 있는데, ZSL은 사전 학습 데이터를 받지 않고 원하는 작업에 대한 결과를 추론 할 수 있는 형태를 말하는데, ZSL은 추론을 활용할 수 있다는 점에서 큰 장점을 있다.

인간은 언어로 된 지식 및 직관이라는 형태로 이러한 ZSL 방법을 수행할 수 있고, 이 분야 또한 인간의 직관적인 부분을 이용한 분야라고 할 수 있으며, 기계 학습모델이 가진 한계를 보완해줄 것이라 생각한다. 현재까지 데이터 분석 기술 및 자동화 기술에 초점을 맞추고 발전한 형태를 띄고 있다면, 현재 연구중인 머신러닝 모델은 인간의 직관적인 추론능력을 모방하는 형태로 발전되어가는 추세이다.

이렇듯 머신러닝 기술들은 Neural Network 구조가 발전함에 따라, 더 고도화된 방식으로 이미지 처리 성능의 향상에 기여할 것이다. 이러한 학습모델은 특히 텍스트 및 음성처리, 이미지 영상처리, 데이터 분석에서 집중적으로 발전하고 있으며, 여기서 다룬 헬스케어 분야뿐만 아니라, 자동차 산업의 자율주행, 반도체를 설계하는 팹리스기업, IT 기업의 주축을 담당하고 있는 개발자의 영역도 AI 기술의 발달로 컴퓨터가 대체 할 것으로 예상된다.

7. 참고문헌

1. google trends - covid 19 지역사회 이동 통계
2. security world - 윤석열 정부의 110대 국정과제에 담긴 대한민국 보안의 밑그림
3. stereolabs - Spatial analytics
4. 서동권(2019), 기능적 인솔이 노인의 보행에 미치는 영향
5. hcnews - (주)엑스바디, 국제의료기기·병원설비 전시회(KIMES 2021) 참가
6. sk텔레콤 - AI를 활용한 음성 기반 치매 선별 프로그램