Project [패치를 이용한 3D 이미지 분할 학습 알고리즘]

패치를 이용한 3D 이미지 분할 학습 알고리즘

1. 추진배경 및 필요성

• 본 프로젝트는 비디오 메모리가 작은 GPU에서도 큰 Shape의 3D 데이터들을 패치로 분할하여 학습할 수 있는 방식을 제안함. 3차원 영상은 영상 데이터의 크기가 매우 크기 때문에, GPU 메모리의 한계로 인하여 학습을 진행하는데 어려움을 겪게 됨. 패치 학습을 사용하게 되면, 각 이미지의 크기가 줄어들어 적은 메모리를 가진 하드웨어로도 한 번에 여러 개를 학습하는 효과가 있음. 또한 학습이 안정화되고 가속화 되는 장점을 얻을 수 있음.

데이터를 여러개로 쪼갠 패치(patch)를 학습 데이터로 사용함. 지역적인 특성(Local feature)을 학습하는 방법이기에, 전체적인 특성(Global Feature)을 학습해야하는 데이터에는 적절치 못함.

2. 연구 결과

• 패치 조각 만들기

• 패치 조각 합치기

• 예시: 한개의 3D 데이터 (256, 256, 256)

실행결과: 

3D data shape :  (256, 256, 256)

patched data shape :  (8, 128, 128, 128)

reconstructed data shape (256, 256, 256)

• 예시: 네 개의 3D 데이터 (4, 256, 256, 256)

실행결과: 

-------------- get_patch --------------

4 big cubes shape :  (4, 256, 256, 256)

patched cube shape :  (32, 128, 128, 128)

-------------- reconstruct_patch --------------

All reconstructed data shape :  (4, 256, 256, 256)

-------------- done --------------

3. 요약 및 개선점

• 3D 영상을 여러 개의 패치 데이터로 분할하여 학습하는 전략.
• 함수 내 size를 이용하면 패치 데이터의 크기를 설정 할 수 있고, stride를 조절하면 패치 데이터 간 overlap을 할 수 있음.
• future work: Sliding window inference. 모델의 평가를 진행할 때 sliding window inference를 이용한다면 데이터의 손실을 조금이나마 줄일 수 있음.

4. 연구결과 활용

1. 3D-ResUnet을 이용한 PET 영상의 Partial volume Effect correction. 깃허브 링크 [2021년 대한전자공학회 하계학술대회], [2021년 OHBM 포스터 발표]
2. 3D-ResUnet을 이용한 자기공명영상의 뇌 회백질 영상 분할. 깃허브 링크
3. 3D-ResUnet을 이용한 뇌 자기공명영상의 초해상도 영상복원.[IPIU2020]

References

• keras-unet