검색 상세

3D skin surface reconstruction from a single image based on illumination correction using CGANs for haptic tele-palpation

  • 김동현 (대학원 전자·정보공학과 전자·정보공학전공)

초록/요약

피부 질환을 진단할 때 피부 표면을 시각적으로 보기만 하는 것으로는 진단에 한계가 있으므로, 피하 조직의 특징을 손으로 직접 촉진하는 것은 피부 질병 진단에서 매우 중요하다. 그럼에도 불구하고, 현재까지의 피부 질환에 대한 원격 진단의 경우, 휴대전화 카메라에 의해 촬영된 피부 영상의 시각 정보에만 의존한다. 따라서 환자의 휴대 전화 영상을 기반으로 가상 촉각을 가능하게 하는 새로운 햅틱 원격 촉각 인터페이스 기술을 개발할 필요가 있다. 휴대 전화 카메라를 사용하여 촬영한 환자의 단 하나의 피부 영상으로 피부 표면을 정확하게 3 차원 재구성하는 것은 중요하고 어려운 작업이다. 그 이유는 한 개의 피부 영상만 이용하여 3차원 표면을 복원하는 경우 기존에 multiple view geometry와 다르게 영상 픽셀 값에만 의존하게 되는데, 영상 픽셀 값은 조명 조건에 의해 쉽게 변질되기 때문이다. 따라서 본 논문에서는 조명에 의한 영상의 픽셀 값 손상을 복원 한 후, 단일 영상을 이용하여 정교한 3 차원 피부 표면을 재구성하는 방안을 제안한다. 조명에 의해 손상된 단일 피부 영상을 재구성하기 위해 조명에 의해 변경된 단일 피부 영상의 픽셀 값을 보정하기 위해 딥러닝 방법인 conditional generative adversarial networks (cGANs)를 사용한 심층 학습이 사용한다. 우리는 피부 촉각 정보를 손실 없이 나타내는 image gradient를 사용하여 3 차원 표면의 정확한 표면 법선을 추정한 다음 피부 표면을 정확하게 복원하는 알고리즘을 개발한다. 제안 된 알고리즘의 성능을 평가하기 위해 조명 보정과 3D 재구성으로 나누어 다른 알고리즘들과 비교한다. 결과는 우리의 방법이 기존의 방법보다 우수하다는 것을 보여준다.

more

초록/요약

When diagnosing skin diseases, it is very important to palpate not only the surface of the skin but also the characteristics of the subcutaneous tissues. Nevertheless, in the case of remote treatment for skin disease, diagnosis depends on the skin image information captured by a mobile phone camera. Therefore, it is necessary to develop a new haptic tele-palpation interface technology that enables virtual palpation based on an image from the patient's mobile phone. Precise three-dimensional (3D) reconstruction of the skin surface with only a single skin image from the patient, captured using a mobile phone camera is an important and difficult task to accomplish. This is because when restoring a 3D surface using only one view, the reconstruction depends on the image pixel values, unlike in multi-view images, because the image pixel values easily change with the illumination conditions. Therefore, in this paper, we propose a scheme for reconstructing the 3D skin surface using a single image after restoring image pixel value damage caused by illumination. In order to reconstruct the image damaged by illumination, deep learning using conditional generative adversarial networks (cGANs) is used to correct the intensity values in the skin image that were altered by illumination. We develop an algorithm that accurately estimates the surface normal of a 3D surface using an image gradient that represents tactile information without loss, and then restores the skin surface (polygonal mesh) precisely. In order to evaluate performance of the proposed algorithm, it was divided into illumination correction and 3D reconstruction. The results show that our method is superior to the existing method.

more

목차

제 1 장 서론 1
1.1 연구 목적과 배경 1
1.2 논문 구성 5

제 2 장 Illumination Correction & 3D Reconstruction 6
2.1 cGANs-based illumination correction 7
2.2 Skin texture enhancement 12
2.2.1 Intrinsic image decomposition 12
2.2.2 Single scale retinex 14
2.3 Gradient-based 3D reconstruction 15

제 3 장 실험 및 결과 18
3.1 Experiment Ⅰ 22
3.2 Experiment Ⅱ 26

제 4 장 토의 및 결론 28

참고 문헌 32

more
반출 Meta View 목록