반응형 AIML 분야/Depth, Camera Pose, VO, SLAM 등14 [Depth Estimation] SCARED Dataset 근황 [개요] 이래저래 시행착오를 겪으며 해왔던 것을 정리하려고 한다. 의료 도메인으로 넘어오기 전에 KITTI dataset에서 미리 학습을 진행해봤었다. (AdaBins, 정상동작 확인) SCARED Dataset을 가지고 monocular depth estimation을 진행한 결과에 정리하는 포스팅이지만 본 목적은 따로 있다. 목표로 하는 다른 데이터셋이 있는데 이게 GT가 없는데다가 영상 좌우싱크조차 잘 안 맞는 문제가 있어서, SCARED 실험을 통해 - 유사한 데이터셋에서의 toy example을 통해 분야 관련지식 습득 - SCARED로 학습한 모델을 가지고 목표 데이터셋에 knowledge transfer 하기 이러한 두가지 목적이 있다. 그래서 task를 바라보는 관점 자체가 여기에 초점이 .. 2022. 8. 19. [연구일지] 2022.08.10 Monocular Depth Estimation 기록 [상황] 데이터셋 https://arxiv.org/pdf/2101.01133.pdf 모델 Monocular Depth Estimation Toolbox 사용 (이전 포스팅 참고) 텐서보드로 train loss curve와 image-pred-GT visualization 확인중 GT가 tiff file이고 값의 범위가 넓음 [몇가지 이슈] [GT 관련] 양수값으로도 몇백 이상의 큰 값이 있지만 0보다 작은 값이 있다. [GT 관련] 빈 값이 많아서 자글자글 -> 실제로는 depth map 차이가 크지만 이미지로 뽑아보면 빈값때문에 어두워 보이는 경향이 있음. [학습 관련] 상대적으로 predicted output값이 크게 나오는 경향이 있었다. [테스트 관련] depth estimation은 뭔가 eva.. 2022. 8. 10. [Monocular Depth Estimation] mono toolbox 코드 뜯는 기록 Monodepth Estimation Toolbox https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox GitHub - zhyever/Monocular-Depth-Estimation-Toolbox: Monocular Depth Estimation Toolbox based on MMSegmentation. Monocular Depth Estimation Toolbox based on MMSegmentation. - GitHub - zhyever/Monocular-Depth-Estimation-Toolbox: Monocular Depth Estimation Toolbox based on MMSegmentation. github.com [상황] 1. .. 2022. 8. 5. [Libelas 파이썬 버전] Depth Estimation 하는데 GT가 없을때 사용하는 툴?! Depth Estimation을 하고싶은데 GT가 없어요 몇가지 생각해볼수 있다. 1. 뭔가 GT처럼 활용할 수 있는걸 고전 알고리즘으로 뽑고, supervised learning 알고리즘을 활용해 학습 2. 그냥 self/unsupervised learning 할게요 3. transfer learning? 이전 포스팅의 Mono-depth-and-Motion이 유사한 상황이다. - Hamlyn Dataset을 사용 - 그런데 GT depth가 없는 데이터셋 - 그래서 저자는 GT depth를 Libelas Tool을 사용하여 생성했음! (학습은 self-supervised로 하고 GT는 정량적 평가용도로만 썼지만) 그런데 Libelas 툴은 C++ 기반인가 그래서 우리 신세대 파이썬 인간들이 쓰기 좀 .. 2022. 7. 20. [Monocular Depth Estimation] Mono depth Toolbox 사용: AdaBins 돌려보기 이전 게시글에 이어서 이제 코드를 돌릴거다. [참고] Depth Estimation 관련해서 요즘 정리한 글 (예전건 기억 안나고 요즘 쓴거) https://ambitious-posong.tistory.com/178 Mono-Depth-And-Motion (Endoscopy) https://ambitious-posong.tistory.com/180 Depth Estimation 대충 보기 https://ambitious-posong.tistory.com/181 BinsFormer와 KITTI dataset BinsFormer 공식 코드이지만 여러 모델이 구현되어있다. KITTI Dataset은 앞에서 미리 다운받았었다. https://github.com/zhyever/Monocular-Depth-Esti.. 2022. 7. 19. [Monocular Depth Estimation] AdaBins, BinsFormer, 그리고 KITTI Depth Dataset 셋업 Contents Intro BinsFormer AdaBins 셋업을 해요 Intro. 저번 포스팅에서 depth estimation에 대한 조사를 시작했다. stereo는 다른 분께서 담당하고 계셔서 나는 Mono를 찾아보았다. 현재 SOTA는 transformer를 사용하는데다가 depth estimation을 classification-regression task로 정의한 BinsFormer이다. AdaBins도 이와 유사하게 adaptive bin을 구하도록 depth 문제에 접근했다. 따라서 나는 BinsFormer를 베이스라인으로 잡고 reproduce를 시작할 예정이나, 아직 코드가 업데이트되지 않았기 때문에 같은 레포에서 지원하면서도 유사해보이는 AdaBins를 실험할 예정이다. 그래도 기다.. 2022. 7. 18. depth estimation task 조사 + BinsFormer 대충 보기 논문 끝났다 끼히히힣! 다시 조사를 합니다. Contents - depth estimation이 뭐더라? - paperswithcode 리스트를 보자: mono 볼게요 - BinsFormer 아주 잠깐 보기 - Dataset, Eval Metric 아주 잠깐 depth estimation이 뭐였는지 주절거리고 가자. input RGB 이미지에 대해서 depth를 추정하는 것. 물체가 가까이 있는지 멀리 있는지에 대한 값을 픽셀레벨로 맞춰야한다. Camera pose tracking이나 SLAM, SfM 등 3D로 가려면 이게 필수다. (아마도. 이 분야 모른다 이제 찾는중) 예를 들면 저번 포스팅에서 봤던 Mono-Depth-and-Motion 논문을 보면 3D Reconstruction이 최종 목표인데.. 2022. 7. 18. [논문 읽기] Endo-Depth-and-Motion: Reconstruction and Tracking in EndoscopicVideos using Depth Networks and Photometric Constraints 두서 없이 읽는 글. 의료쪽 depth estimation 보려고 읽는거지만 사실은 SLAM이나 SfM같은데에 훨씬 관련이 깊어보인다. Endo-Depth-and-Motion: Reconstruction and Tracking in Endoscopic Videos using Depth Networks and Photometric Constraints https://arxiv.org/pdf/2103.16525.pdf 뭐하는 연구인가요? Task: Scene Reconstruction & Camera Motion 추정 Output: 6 DoF camera pose, dense 3D scene models (이건 어떤 형태지) Input: monocular endoscopic sequences를 사용 Appr.. 2022. 7. 11. 쓰는 중이다 [Camera Pose Estimation] 최근 논문 하나 살펴볼까 ! 논문 리뷰라기보다는 주관적인 의견이나 다른 아는 내용들을 덧붙여서 주절거리는 글입니다. 직역보다는 내멋대로 의역이 많고, 건너뛴 내용도 있음 ! "Reassessing the Limitations of CNN Methods for Camera Pose Regression" https://arxiv.org/pdf/2108.07260v1.pdf 여기에 말을 했었나 기억이 안나는데, 요즘은 camera motion estimation 모델을 개발중이다. 내가 자동차 관련 회사에 다니는건 아닌지라 자율주행을 연구하고 있는건 아니지만, VO는 주로 자율주행에 쓰는 것 같다. 아무튼 이 분야에서 최근 아카이브에 새로운 논문이 떴고, top recent 목록에 있기 때문에 읽어보도록 하자. 서론 Visual lo.. 2021. 9. 10. [휘리릭 논문읽기] Learning High Fidelity Depths of Dressed Humans by Watching Social Media Dance Videos "Learning High Fidelity Depths of Dressed Humans by Watching Social Media Dance Videos" https://openaccess.thecvf.com/content/CVPR2021/papers/Jafarian_Learning_High_Fidelity_Depths_of_Dressed_Humans_by_Watching_Social_CVPR_2021_paper.pdf CVPR21 Best Paper Honorable Mentions로 꼽힌 두 논문중 하나이다. 다른 논문 하나는 "Exploring Simple Siamese Representation Learning"이며, stop gradient를 사용하는게 contribution. applicat.. 2021. 8. 30. 대충 빠르게 읽어보는 KITTI dataset 논문 [2022 추가] 제가 카메라랑 depth estimation을 시작할지는 꿈에도 몰랐네요 과거에 이런 글을 쓰다니.... 데이터 다운받고 관련 논문 읽는건 요즘 포스팅중. 그나저나 현대차 주가 언제 오를거임? ㅡㅡㅡ Visual Odometry 데이터셋을 사용하고싶다. 그런데 공홈에 별로 설명이 없다. 귀찮아서 사실 이것까지 보고싶진 않았는데, camera calibration도 공부해야하고 데이터셋에 들어있는 각 파라미터 의미가 뭔지 설명이 제대로 없어가지고 도통 알아먹을수가 없어서 읽어야겠다. 자율주행 궁금하기도 했으니 KITTI dataset 논문을 보자. 현대차 주주니까! 굿 "Are we ready for Autonomous Driving? The KITTI Vision Benchmark Su.. 2021. 6. 30. DF-VO 논문 리뷰 & 코드 셋업해보기 아래 깃허브는 두 논문에 대한 코드 Visual Odometry Revisited: What Should Be Learnt? DF-VO: What Should Be Learnt for Visual Odometry? https://github.com/Huangying-Zhan/DF-VO KITTI Dataset도 미리미리 잘 다운 받아주자. 링크 요청하면 빨리 왔다. 과정 (별거없음) conda를 사용하라고 한다. 매우 살짝 빈정이 상하지만 도커 위에 얹어보기로 한다... 난 도커가 있어야하니까 설치하는동안 KITTI Odometry 데이터셋 압축을 풀어주자. 압축해제가 오래 걸린다. 심볼릭 링크를 추가하라는데 귀찮아서 안했다. 뭐... config 파일 바꿔주자 import 에러: libs가 없다고 뜬다.. 2021. 6. 17. Video Odometry 연구 시작 - EndoSLAM 셋업해보자 아직 KITTI dataset 리퀘스트 답장이 오지 않았다. 방금 보내고 오는 길이다. 데이터셋을 받는다면 바로 DeepVO, DF-VO를 시도하려고 한다. www.cvlibs.net/datasets/kitti/eval_odometry.php 그래서 EndoSLAM부터 시도하려고 한다. matlab 코드가 있어 꽤 번거롭긴 하겠지만.. 아무튼 EndoSLAM 셋업을 시도 해봐야겠다. ubuntu 18.04, 도커 사용. 샘플 데이터는 500MB 정도이다. 풀데이터는 현재 공개 되어있지 않다. 3월말 기준으로, 깃허브 이슈상에서는 몇주 후에 오픈소스로 제공하겠다고 하였으나 5월초인 아직까지 풀데이터가 올라오진 않았다. Pretrained model도 제공되는데, 200MB 정도 용량. cd ~ git cl.. 2021. 5. 4. Video Odometry? SLAM? SfM? 아무튼 살펴본다. Video Odometry? 아무튼 전혀 알 수 없는 분야 공부가 필요해졌다. 자꾸 나오는 SLAM과 SfM이 뭔지부터 공부를 해야할듯 싶다. 진짜 하나도 모르겠어서 닥치는대로 본다 일단. 간단한 박사님의 설명 SfM을 가지고 SLAM을 달성한다고 보는게 더 직관적. Structure from motion은 말 그대로 주변 물체의 구조나 센서에서 잡힌 주변 정보로 모션을 측정해서 형태를 복원하는 과정. SLAM은 simultaneos localization and mapping이어서, 현재 visual camera의 위치를 추정하는 문제이다. SLAM에서 종종 SfM을 활용하기도하고, 딥러닝에서는 아예 다른 방식으로 풀고있다. 이 자료를 ettrends.etri.re.kr/ettrends/106/0905.. 2021. 5. 1. 이전 1 다음 반응형
