티스토리

딥러닝을 해보아요

검색하기

블로그 홈

딥러닝을 해보아요

ambitious-posong.tistory.com/m

주절주절 tmi

구독자: 13

방명록 방문하기

반응형

주요 글 목록

[논문리뷰] Video Inpainting - Flow-Guided Diffusion for Video Inpainting (FGDVI) 보호되어 있는 글입니다. 공감수 0 댓글수 0 2023. 12. 13.
블로그 이동 아직 아무것도 없긴 한데... 아래 링크의 깃허브 블로그로 옮기려고 한다. https://sghong977.github.io/ SeulGi Hong – AI Research Engineer AI Research Engineer sghong977.github.io 현재 티스토리 블로그는 처음 입사하고 2020년부터 썼는데, 아는 것 없는 상태에서 공부용도로 쓴거라 헛소리가 많다. 완전 흑역사 창고... 지금 또 새롭게 하고 있는 것들에 대해 논문리뷰나 시행착오를 적을 것 같다. 여기에 남은 예전 글은 천천히 다시 보면서 버릴건 버리고 보완할건 보완해서 옮기겠다. 아 나 아직 애드센스 100불 못채웠는데 공감수 0 댓글수 0 2023. 3. 24.
SMPL-X Blender Add-on Overview Feature Overview - Female, Male, Neutral Model - UV map, sample female/male textures - Auto-calculation of corrective poseshapes - it's possible to set the body shape from height and weight values -> 자동으로 joint 위치가 다시 계산되는 것임 - Load full body pose from *.pkl file - Position feet on ground - FBX export (Unity import O) - Add-on python code is GLPv2 license SMPL-X 홈페이지 로그인 -> 다운로드 -> Add-on 다운 -> .. 공감수 1 댓글수 0 2023. 2. 15.
NeRF 공부를 위해서 내가 뭘 모르는지 찾아보기 커리큘럼 찾아서 똑같이 공부하면 되지 않을까 2022, 2023에 강의가 있는 CMU의 learning3d 자료가 좋아보여서 가져왔다. 슬라이드가 모두 나온 2022 버전으로 썼는데, 2023에서 논문 걸어둔게 달라졌을수도 있어서 참고해보자. learning3d Syllabus Introduction 3D Representations 3D Representations: Conversions Image Formation Single-view 3D: History + 2.5D PyTorch3D Tutorial Single-view 3D: Objects Single-view 3D: Objects and Scenes 3D Prediction without 3D Supervision Single-view 3D: .. 공감수 2 댓글수 1 2023. 2. 14.
3D Pose, Motion, SMPL ... NeRF를 위한 기본기 공부 이것저것 하는 중... git issue에 조각글 던지고 있는데 슬슬 감당이 안되어서 블로그에 쓴다. 일단 정리하려는 것은, - MOCAP 데이터 확인 - COLMAP 기능 간단하게 알아보기 - CMU learning3D 강의노트 체크, 논문 리스트업 - 그 외 살펴본 자료 일단은 모션 데이터 잠깐 찾아봤다. AMASS "AMASS: Archive of Motion Capture As Surface Shapes" ICCV 19 https://amass.is.tue.mpg.de/index.html 지금 AMASS Dataset에 있는 SFU mocap(SMPL+H G) subset 사용하고 있어서 이거 잠깐 보려고함. TMI: 조사하기전 궁금했던 것 Mocap Dataset 검.. 공감수 0 댓글수 0 2023. 2. 14.
[논문 리뷰] NeuMan: Neural Human Radiance Field from a Single Video 뭐지 어쩌다 내가 NeRF를 하게된거지 암튼 그렇게됨... 읽어볼게요 전에 썼던 관련글 - GIRAFFE (CVPR 21 best) https://ambitious-posong.tistory.com/144 NeuMan: Neural Human Radiance Field from a Single Video ECCV 2022 https://github.com/apple/ml-neuman 뭐하는 논문인가요? 10초정도의 비디오가 주어짐. 비디오는 하나이며, 카메라는 움직임이 있음. 이걸 통해서 새로운 viewpoint, 사람 포즈 등을 만들 수 있음. 악세서리나 주름같은 세세한 것도 학습할 수 있다고함. 엥? 어떻게? scene, human에 대한 NeRF 모델을 학습함. geometry를 대략 추정하는건 기.. 공감수 0 댓글수 1 2022. 12. 28.
survey 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 12. 26.
서베이 작성일시: 2022.09.29 금요일 국책과제가 좀 마무리되어서 트렌드 조사를 했다. 이런거 해주는 무료, 유료 더 좋은 사이트들이 있는것 같긴 한데 나는 아래 사이트를 참고했다. 트위터 기반으로 요즘 핫한 논문, 유명한 트윗 등을 볼 수 있다. https://deeplearn.org/ Deep Learning Monitor - Find new Arxiv papers, tweets and Reddit posts for you Shreya Shankar, Rolando Garcia, Joseph M. Hellerstein, Aditya G. Parameswaran 2022-09-16 PDF Mendeley Super Hot Shuai Yang, Liming Jiang, Ziwei Liu, Chen Chan.. 공감수 2 댓글수 1 2022. 10. 8.
[서베이 & ideation] Scene Text Recognition (OCR) + Visual Feature로 representation learning을 한다? 서론. 과거에는 OCR로 텍스트 인식하여 정형화된 문서를 판독했는데 이제는 scene text recognition을 한다. 요즘 다시 STR쪽을 보고있는데 최근에도 논문이 활발하게 나오는 것 같다. 그렇게 text detection과 text recognition 단계를 거쳐 이미지 내의 텍스트를 인식하는 것 까지는 좋다. 여기서 더 나아가, 인식한 글자를 어떻게 활용할 수 있을지에 대한 고민을 하고있다. Scene Understanding을 위해서 이미지랑 텍스트를 같이 사용하는거 없나? caption과 이미지를 함께 사용하여 multimodal로 representation learning 하는건 요즘 foundation model이라고 부르면서 널리 연구되는 분야다. CLIP이라든가 ALIGN, A.. 공감수 0 댓글수 0 2022. 10. 6.
[Depth Estimation] SCARED Dataset 근황 [개요] 이래저래 시행착오를 겪으며 해왔던 것을 정리하려고 한다. 의료 도메인으로 넘어오기 전에 KITTI dataset에서 미리 학습을 진행해봤었다. (AdaBins, 정상동작 확인) SCARED Dataset을 가지고 monocular depth estimation을 진행한 결과에 정리하는 포스팅이지만 본 목적은 따로 있다. 목표로 하는 다른 데이터셋이 있는데 이게 GT가 없는데다가 영상 좌우싱크조차 잘 안 맞는 문제가 있어서, SCARED 실험을 통해 - 유사한 데이터셋에서의 toy example을 통해 분야 관련지식 습득 - SCARED로 학습한 모델을 가지고 목표 데이터셋에 knowledge transfer 하기 이러한 두가지 목적이 있다. 그래서 task를 바라보는 관점 자체가 여기에 초점이 .. 공감수 0 댓글수 2 2022. 8. 19.
[시도 1] mmdetection에 wandb (weight and bias) 적용 참고 링크 - wandb 공식 사이트 https://wandb.ai/wandb_fc/korean/reports/MMDetection-Weights-Biases---VmlldzoyMjA1Njky - 사용했다는 기록을 발견 https://velog.io/@hanlyang0522/Object-Detection-%EA%B3%BC%EC%A0%9C-%EC%88%98%ED%96%89%EC%9D%BC%EC%A7%80 1. 그냥 log_config 추가 글 자세히 읽기 전에 이런식으로 MMDetWandbHook 추가하였음. log_config = dict(interval=50, hooks=[dict(type='TextLoggerHook'), dict(type='MMDetWandbHook', init_kwargs={'pr.. 공감수 0 댓글수 0 2022. 8. 18.
[2022.08.17] 공부 내용, 현황 요약 (object detection) 오늘 배운 점 기록. 논문 작업 이외에는 Object Detection 위주로만 공부했다. 1. YOLOX 보기 object detection에서 2-stage 위주로만 알고 있었는데, 요즘 실험해보니 CBNetV2보다 YOLOx가 더 잘된다. 그래서 YOLO를 찾아보려함. YOLO 시리즈가 정말 많았다. Q. Anchor Free? Anchor based? Anchor free가 나중에 나왔는데, 2-stage에서는 이제 anchor free도 많이 발전했는데 single stage인 YOLO들은 anchor based였다고 한다. 그래서 Anchor free를 포함하여 그동안 2-stage에서 발전한 최근 기술들을 YOLO에 도입한 것이 YOLO_X라고 한다. (그전에는 도입이 안 된 듯) 참고자료 .. 공감수 0 댓글수 0 2022. 8. 17.
Object Detection의 Ensemble 기법 조사 하다보니 앙상블의 필요성을 느껴서 조사 시작. 논문을 읽어요 https://www.unirioja.es/cu/joheras/papers/ensemble.pdf. https://github.com/ancasag/ensembleObjectDetection. code object detection? [output] bbox, category, confidence score detection의 앙상블? 그냥 알고리즘적으로 고안한 다양한 기법들 모델 내에서: RPN에 들어가기 전 이미지 피쳐에 적용, classification stage에 앙상블 적용 ... primary 결과를 두고, secondary 결과를 가지고 조정하는 경우: YOLO랑 Faster-RCNN output을 같이 섞는 방법을 예로 들수 있다.. 공감수 0 댓글수 0 2022. 8. 17.
[연구일지] 2022.08.10 Monocular Depth Estimation 기록 [상황] 데이터셋 https://arxiv.org/pdf/2101.01133.pdf 모델 Monocular Depth Estimation Toolbox 사용 (이전 포스팅 참고) 텐서보드로 train loss curve와 image-pred-GT visualization 확인중 GT가 tiff file이고 값의 범위가 넓음 [몇가지 이슈] [GT 관련] 양수값으로도 몇백 이상의 큰 값이 있지만 0보다 작은 값이 있다. [GT 관련] 빈 값이 많아서 자글자글 -> 실제로는 depth map 차이가 크지만 이미지로 뽑아보면 빈값때문에 어두워 보이는 경향이 있음. [학습 관련] 상대적으로 predicted output값이 크게 나오는 경향이 있었다. [테스트 관련] depth estimation은 뭔가 eva.. 공감수 0 댓글수 0 2022. 8. 10.
[Monocular Depth Estimation] mono toolbox 코드 뜯는 기록 Monodepth Estimation Toolbox https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox GitHub - zhyever/Monocular-Depth-Estimation-Toolbox: Monocular Depth Estimation Toolbox based on MMSegmentation. Monocular Depth Estimation Toolbox based on MMSegmentation. - GitHub - zhyever/Monocular-Depth-Estimation-Toolbox: Monocular Depth Estimation Toolbox based on MMSegmentation. github.com [상황] 1. .. 공감수 0 댓글수 0 2022. 8. 5.
Object Detection 조사 드디어 detection을 해보는구나. 이제 시작이니 조사를 해보아요 Contents - 코드: mmdetection - 기본 개념: 고전 알고리즘, evaluation metrics, Datasets... - SOTA 모델: paperswithcode 찾아보기, foundation model 말고 그냥 object detection 잘되는거 찾기 - 기타: kaggle 등 toy example로 해볼만한 것? TMI 3년차 엔지니어로서 지금까지 대략 Semantic Segmentation, GAN, Video (Action Recognition, Action Detection, Temporal Localization), Depth, Camera, T2I Retrieval, feature fusion 등.. 공감수 0 댓글수 0 2022. 8. 4.
[논문 읽기] DALLE 읽으면서 쓰는 글 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 7. 26.
[논문 읽기] Hierarchical Text-ConditionalImage Generation with CLIP Latents (DALLE 2) 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 7. 26.
[논문 읽음] Align before Fuse: Vision and LanguageRepresentation Learning with Momentum Distillation 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 7. 26.
기존 Semantic Segmentation 모델 알아보기 (feat. 기본기) 그냥 SOTA 모델 공부해서 찾아서 돌리기 식으로 하다보니 History가 부족한 것 같아서 찾아봤다. 이번 기회에 빠삭하게 알아보겠어. 일단 써놓고 예전 포스팅이랑 합치기도 해야겠다. Fully Convolutional Network (FCN) 원 논문은 14년 아카이브에 떴고 CVPR 15였다. https://arxiv.org/abs/1411.4038 (논문) 새삼 기술의 발전이 빠르다... 7년 되었네요 - 일반 classification은 ConvNet + fully connected layer (FC)로 이루어져있다. - 1*1 conv로 FC를 대체했다. 그러면 모두 conv 연산으로 이루어져 FCN이라 부른다. (이유: 위치 정보를 잃지 않기 위하여) - 참고로 이 논문이 나온 시절을 생각해.. 공감수 2 댓글수 0 2022. 7. 26.
[Libelas 파이썬 버전] Depth Estimation 하는데 GT가 없을때 사용하는 툴?! Depth Estimation을 하고싶은데 GT가 없어요 몇가지 생각해볼수 있다. 1. 뭔가 GT처럼 활용할 수 있는걸 고전 알고리즘으로 뽑고, supervised learning 알고리즘을 활용해 학습 2. 그냥 self/unsupervised learning 할게요 3. transfer learning? 이전 포스팅의 Mono-depth-and-Motion이 유사한 상황이다. - Hamlyn Dataset을 사용 - 그런데 GT depth가 없는 데이터셋 - 그래서 저자는 GT depth를 Libelas Tool을 사용하여 생성했음! (학습은 self-supervised로 하고 GT는 정량적 평가용도로만 썼지만) 그런데 Libelas 툴은 C++ 기반인가 그래서 우리 신세대 파이썬 인간들이 쓰기 좀 .. 공감수 0 댓글수 0 2022. 7. 20.
[Monocular Depth Estimation] Mono depth Toolbox 사용: AdaBins 돌려보기 이전 게시글에 이어서 이제 코드를 돌릴거다. [참고] Depth Estimation 관련해서 요즘 정리한 글 (예전건 기억 안나고 요즘 쓴거) https://ambitious-posong.tistory.com/178 Mono-Depth-And-Motion (Endoscopy) https://ambitious-posong.tistory.com/180 Depth Estimation 대충 보기 https://ambitious-posong.tistory.com/181 BinsFormer와 KITTI dataset BinsFormer 공식 코드이지만 여러 모델이 구현되어있다. KITTI Dataset은 앞에서 미리 다운받았었다. https://github.com/zhyever/Monocular-Depth-Esti.. 공감수 0 댓글수 0 2022. 7. 19.
[Monocular Depth Estimation] AdaBins, BinsFormer, 그리고 KITTI Depth Dataset 셋업 Contents Intro BinsFormer AdaBins 셋업을 해요 Intro. 저번 포스팅에서 depth estimation에 대한 조사를 시작했다. stereo는 다른 분께서 담당하고 계셔서 나는 Mono를 찾아보았다. 현재 SOTA는 transformer를 사용하는데다가 depth estimation을 classification-regression task로 정의한 BinsFormer이다. AdaBins도 이와 유사하게 adaptive bin을 구하도록 depth 문제에 접근했다. 따라서 나는 BinsFormer를 베이스라인으로 잡고 reproduce를 시작할 예정이나, 아직 코드가 업데이트되지 않았기 때문에 같은 레포에서 지원하면서도 유사해보이는 AdaBins를 실험할 예정이다. 그래도 기다.. 공감수 1 댓글수 0 2022. 7. 18.
depth estimation task 조사 + BinsFormer 대충 보기 논문 끝났다 끼히히힣! 다시 조사를 합니다. Contents - depth estimation이 뭐더라? - paperswithcode 리스트를 보자: mono 볼게요 - BinsFormer 아주 잠깐 보기 - Dataset, Eval Metric 아주 잠깐 depth estimation이 뭐였는지 주절거리고 가자. input RGB 이미지에 대해서 depth를 추정하는 것. 물체가 가까이 있는지 멀리 있는지에 대한 값을 픽셀레벨로 맞춰야한다. Camera pose tracking이나 SLAM, SfM 등 3D로 가려면 이게 필수다. (아마도. 이 분야 모른다 이제 찾는중) 예를 들면 저번 포스팅에서 봤던 Mono-Depth-and-Motion 논문을 보면 3D Reconstruction이 최종 목표인데.. 공감수 0 댓글수 0 2022. 7. 18.
[논문 읽기] Endo-Depth-and-Motion: Reconstruction and Tracking in EndoscopicVideos using Depth Networks and Photometric Constraints 두서 없이 읽는 글. 의료쪽 depth estimation 보려고 읽는거지만 사실은 SLAM이나 SfM같은데에 훨씬 관련이 깊어보인다. Endo-Depth-and-Motion: Reconstruction and Tracking in Endoscopic Videos using Depth Networks and Photometric Constraints https://arxiv.org/pdf/2103.16525.pdf 뭐하는 연구인가요? Task: Scene Reconstruction & Camera Motion 추정 Output: 6 DoF camera pose, dense 3D scene models (이건 어떤 형태지) Input: monocular endoscopic sequences를 사용 Appr.. 공감수 0 댓글수 1 2022. 7. 11.
[Continual Learning 조사 1] 마구잡이로 찾아보는 글 요즘 딥러닝이 슬슬 연구단에서 넘어가 애플리케이션화 되면서 continual learning과 같은 개념에 관심이 더 많아지는 듯 하다. 이러한 수요를 대변하듯, 2022년 올해 CVPR 워크샵 기준으로 이 주제를 다루는 곳이 2군데가 있다. 'Visual Perception and Learning in an Open World' 라는 CVPR 워크샵은 올해가 두번째로 개최된다. CVPR 2022 Workshop on Continual Learning (CLVision) 또한 올해가 3번째이다. 따끈따끈 하구만. 올해 워크샵을 이것저것 찾아보는데 재밌어 보이는 주제 중 하나가 continual learning인지라 이 분야에 대한 조사를 (이제부터 글쓰면서) 시작하였다. Continual Learning.. 공감수 1 댓글수 0 2022. 3. 31.
[그냥 뭔지 찾아보기] CLIP: Connecting Text and Images 혹은 Contrastive Language-Image Pre-training. 뭐죠? OpenAI에서 만들었다. natural language supervision으로 부터 시각적인 개념들을 효율적으로 배울 수 있는 네트워크이다. 원논문은 무진장 길기 때문에... 그냥 웹사이트를 봐주도록 하자. 왜 했죠? 아직까지 딥러닝은 transfer learning이 잘 안된다. 특정 태스크를 잘하기 위해 어노테이션이 많이 필요한데, 다른 분야로 확장하려고 하면 또 성능이 안좋다. 논문에서는 어떻게 했냐면, generalization and transfer를 잘 하기 위해서 natural language를 flexible prediction space로 봤다! 이런 문제를 해결하기 위해서, 웹에 있는 이미지와 자연.. 공감수 1 댓글수 0 2021. 12. 15.
Towards Unified Surgical Skill Assessment 심심하니 논문을 읽어요. 아 배고파 - Towards Unified Surgical Skill Assessment NELVT Surgical Skill 평가가 몹시 중요하다. 이를 위해 surgical skill을 평가해왔는데, 일일이 하려면 비효율적이니 이 역시 자동화 하려고 한다. 따라서 수술 영상이 주어지면 수술이 얼마나 성공적으로 이루어졌는지를 평가하는 것이 이 논문의 목적이다. multi-path framework 뭘 평가하는가: surgical tool usage, intraoperative event pattern, and other skill proxies 위 요소들의 관계 또한 모델링하기 위해서 path dependency module을 정의했음 Dataset: JIGSAWS의 시뮬레이션.. 공감수 0 댓글수 0 2021. 12. 3.
Masked Autoencoders Are Scalable Vision Learner + 여담 논문 읽으면서 정리 + 주절주절 아무말 간지나는 논문이 나왔으니 읽어주는게 인지상정이다. Masked Autoencoders Are Scalable Vision Learner FAIR AutoEncoder는? Encoder-Decoder 형태의 아키텍쳐이며, 좋은 인코더 얻으려고 학습한다. representation learning의 관점. 디코더를 통해 input을 복원하도록 loss를 학습시키면, 핵심적인 시맨틱을 가지는 좋은 feature를 뽑도록 네트워크가 훈련될테니까. (VAE와 비교해서 설명하는 글이 많이 있으니 모르면 찾아보도록 하자. 얘는 반대로 생성을 잘하기 위한, decoder를 얻는게 목적인 구조이다. 어쨌거나.) Denoising Auto Encoder (DAE)도 있는데, 말그대로.. 공감수 0 댓글수 0 2021. 12. 1.
AVA action 학습이 이해 안가서 주절거리는 글 요즘 Action Localization(Detection) 공부를 하고 있다. 대표적으로 AVA action 데이터셋을 사용하는걸로 보인다. 이번에 엄청 큰 데이터셋(Ego4D) 하나 새로 나온걸로 알기는 하는데, 여기에 action detection이 있는지는 모르겠다. HOI는 있던데... 어쨌거나 AVA action 데이터의 어노테이션은 bbox와 그 박스에 대한 클래스로 구성되어있다. 다른 박스와 상호작용하는 클래스가 있기도 한데, 어노테이션만 뜯어보면 그냥 bbox각각에 60클래스에 대해 Multi-label classification을 하는 구조. 다시 말해, 비디오 클립이 있다고 하면 모든 프레임(정말로 다하진 않고 fps 설정 하겠지만)에서 bbox와 함께 그 오브젝트가 어떤 동작을 하는.. 공감수 0 댓글수 0 2021. 11. 1.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.