의료쪽 잘 모르고 그냥 읽는 논문
A 3D Stereo System to Assist Surgical Treatment of Prostate Cancer
(PDF) A 3D Stereo System to Assist Surgical Treatment of Prostate Cancer
PDF | This paper presents our work to establish the feasibility and utility of a system for guiding robotic removal of the prostate (radical... | Find, read and cite all the research you need on ResearchGate
www.researchgate.net
좋아 오늘 오전에는 이 논문을 리뷰해보겠어!
전립선 절제술을 도울 수 있는 시스템에 대해 제안하는 논문이다.
다빈치 로봇수술중에 볼 수 있는 stereo laparoscopic view에다가, 원래 환자에 대한 preoperative images를 overlay하여 surgeon들에게 제공하는 방식이다.
이를 위해 surgical scene에 대해서 stereo calibration 및 visualization이 필요하다.
그리고 prostate, urethra, surrounding nerve bundle, seminal vesicles and pelvic bone는 registration을 위해 모델링되어야한다고 논문에서 시사한다. Stereo visualization은 depth percention 정보를 잘 제공해준다. 그리고 registration의 경우 endoscope view에서 바로 진행하기는 하는데 soft tissue들도 커버하려면 그걸론 어려워서 transrectal ultrasound도 사용한다.
Introduction.
1. Clinical Need.
우선, 전립선암의 경우 굉장히 흔하다. 주로 robotic과 open radical prostatectomy 이렇게 두가지 방법이 있는데 둘다 complication 발생하는 경우가 꽤 있다고 한다. (이거 두개 차이가 뭔지 몰랐는데, https://www.drtimnathan-urology.com.au/procedures/prostate/robotic-radical-prostatectomy 그림을 보니까 절개하는 부분이 다른 것 같다. 다빈치는 원래 저렇게 5군데를 뚫는건가)
그럼 합병증을 줄이는게 중요한데, 이 논문에서는 AR guidance를 사용하여 complication rates를 줄일 수 있다고 제안한다. 3D anatomy와 pathology를 잘 registration해서 보여준다면, surgeon들이 수술하기에 편할 것이다. neurovascular bundle(신경 혈관 다발?)은 최대한 보존하면서 질병과 관련된 부분만 제거해낸다면 좋은 수술이 될테니까.
1.2 Previous Work
Image guidance를 neurosurgery, ENT, maxillofacial surgery, orthopaedics에서는 쓰고있다고 한다. abdomen image guidance의 경우, liver surgery를 돕기 위한 툴이 제안되긴 했으나 adrenalectomy에서 임상 1건만 있었다고 한다.
왜 어려울까? 기술적인 허들이 높기 때문이다.
1. stereoendoscope가 반드시 calibration 되어야한다.
2. 그리고 수술중에 가이드로 주기위한 preoperative image의 경우, endoscope 좌표계로 registration 해야만한다.
3. 게다가 tissue의 경우 non-rigid registration이라 어렵다.
4. 그렇게 연산해서 보여줘야하는데, real-time로 제공되어야한다는 점이다.
이 논문에서는 임상적으로 정말 유용한 시스템이 되기 위해서 꼭 따라야하는 3가지 stage로 접근했다고 한다.
1. retrospective evaluation
2. intraoperative evaluation
3. initial clinical use.
현재 여기에서 1이 끝나가고 있다고 한다.
2. Method.
2.1 HW configuration and System Integration
아래는 HW configuration에 대한 그림이다.
다빈치 로봇은 master-slave config를 따른다. stereoendoscope video 이미지들을 캡쳐할때 multi-input framegrabber (Active Silicon LFG4)를 사용하고... 암튼 뭔가 설명이 있다. 어쨌든 이 논문에서는 (그래픽스를 워크스테이션에 합치는게 아니라) video mixers를 사용한다고 한다. 그래야 렉이 없고, 일반 수술들은 워크스테이션 기능에 의존적이지 않다고 한다.
2.2 Preoperative Imaging Model
수술 가이드를 위한 feature로 몇가지를 선별했다고 한다. prostate itself, the urethra, rectum, seminal vesicles and the surrounding nerve bundle.
이렇게 5가지는 거의 MRI를 통해 볼 수 있는데, 신경의 경우 식별하기가 까다롭다.
그리고 registration을 위해서 pelvis 뼈를 추출해야한다고 한다. 이건 MRI에 등록된 CT 스캔을 통해 얻는 것이 이상적이나, 이 연구에서는 MRI만 사용하고 싶다고 한다. 물론 이것이 problematic할수도 있다고 한다.
Template CT 스캔에다가 registration을 하면 MRI에서 얻은 bone segmentation을 제공할 수 있는지 알아보고 있다고 한다. (뭔뜻이지)
일단 환자들의 initial group에는 manual segmentation을 하였다. 3D model을 생성하기 위해서. (많은 노동이 필요)
전문가들이 어노테이션 했으니까 정확한 정보.
매번 그럴 수는 없는 노릇이니, atlas segmentation을 자동으로 하기 위해서, lower abdomen의 통계적인 shape model을 사용하도록 했다. 그래서 스캔 데이터셋을 database로 만들었다고 한다. 어쨌거나 이걸로 만든 모델로 인해 에러가 order of 2 voxels만큼 있다고 한다. (뭔말이야)
아틀라스 segmentation을 사용하여 12명의 환자 각각에 대한 3D model을 얻었다고 한다.
아래 그림은 prostate, pelvis, rectum을 환자의 scan data로부터 segmentation한 것의 3D 모델이다.
warped atlas와 manually segmented patient model을 비교했을 때, 두 집단간에 아무래도 차이가 있긴 했다. registration할때 뭔가 final correction을 해서 더 정확하게 맞출 수 있지 않을까 생각한다고 저자는 말한다.
아래 그림은 Atlas Segmentation.
위에 있는 그림이 MRI인데, 여기에 환자의 Atlas를 overlay하여 나타냈다고 한다.
아래 왼쪽에 있는것은 3D rendering of the warped atlas.
아래 오른쪽에 있는 것은 이에 따른 manual segmentation.
2.3 Stereo Camera Calibration
3D surgical scene에 정확히 overlay하기 위해서는 stereo camera calibration이 필수라고 한다.
여기선 Bouguet's Matlab camera calibration toolbox를 사용했다.
1. internal calibration parameter를 각각의 endocscope에 대해서 구한다.
pinhole model plus parameters인데, 이게 렌즈 왜곡을 구하는 것이다.
2. 그다음에 stereo에 대해서 calibration하기 위해, 한쪽 카메라에 대한 다른쪽 카메라의 position, orientation 파라미터를 구한다.
아래 그림이 방금 설명한 calibration을 통해서, location을 reconstruction한 것이다.
2.4 System for Augmented Reality Guidance and Retrospective Overlay
이제 정말로 overlay를 실시간으로 해서 쏴줘야한다. 그래서 retrospective augmented reality를 위한 SW를 개발했다고 논문에서 표현한다.
사실 여기 무슨 기기 장비얘기가 또 나와서 이해하진 못했는데, 3D surface상에 잘 오버레이해서 스테레오로 보여준다고 한다. 그래서 prism glasses 착용하여 볼 수 있다고. rendering 방법도 다양하게 제공해서, 어떤 visualization이 유용한지도 선택할 수 있다고.
live overlay를 위해서, workstation은 그냥 blue background를 출력한다.
video mixers는 blue color를 chroma-keying 백그라운드 컬러로 사용해서 live endoscopic video를 merge한다.
Registration의 경우, 현재 그냥 pelvic arch를 가지고 manual alignment를 한다. 하지만 스테레오 비디오를 자동으로 alignment하며, transrectal ultrasound를 가지고 refinement를 한다.
3. Results
아래 prostate phantom에서 overlay한 결과가 있다. pelvis, prostate, urethra, seminal vesicles를 보여주고 있다.
아래 그림은 AR의 예시인데, real intraoperative patient view이다. 8명의 환자들에 대해 진행했다.
좀따 이어서..
'AIML 분야 > 의료인공지능' 카테고리의 다른 글
| Towards Unified Surgical Skill Assessment (0) | 2021.12.03 |
|---|---|
| [학회 리뷰] MICCAI 21 살펴보기 (0) | 2021.10.01 |
댓글