본문 바로가기
반응형

전체 글204

[서베이 & ideation] Scene Text Recognition (OCR) + Visual Feature로 representation learning을 한다? 서론. 과거에는 OCR로 텍스트 인식하여 정형화된 문서를 판독했는데 이제는 scene text recognition을 한다. 요즘 다시 STR쪽을 보고있는데 최근에도 논문이 활발하게 나오는 것 같다. 그렇게 text detection과 text recognition 단계를 거쳐 이미지 내의 텍스트를 인식하는 것 까지는 좋다. 여기서 더 나아가, 인식한 글자를 어떻게 활용할 수 있을지에 대한 고민을 하고있다. Scene Understanding을 위해서 이미지랑 텍스트를 같이 사용하는거 없나? caption과 이미지를 함께 사용하여 multimodal로 representation learning 하는건 요즘 foundation model이라고 부르면서 널리 연구되는 분야다. CLIP이라든가 ALIGN, A.. 2022. 10. 6.
화과자 (네리끼리) 만든 것 원데이 클래스 듣고 화과자 만드는데에 완전히 꽂힘. 수업 때 만든 것. 찻잔은 웨지우드 밀레니엄 1997인데 개킹받음. 그래서 상당히 좋아하는 잔이다. 원데이 끝나고 재료 사다가 집에서도 몇번 만들어봤다. 배운 모양만 만들려니 좀 심심해서 다른것도 해봤음. 그냥 흔한 가오리 캐릭터 디자인 검색해서 나름대로 따라 만들어봤는데 제법 귀여운 것 같음 흐느적거리고 웃고있어서 가오리를 좋아함. 속은 호두 + 말차가루. 앙금만 넣으면 맛이 재미없어 차렷. 그런데 앙금만 쓰지 않고 말차와 호두를 넣는 순간, 모양 잡는게 난이도가 급상승한다. 조금만 힘주면 뭉개짐... 난이도롤 높여서 오따쿠 캐릭터 만들다가 망하기 2022. 9. 2.
시음기 백업: 가향차 아무래도 가향과 비가향차는 확실하게 나눠줘야지요? 조선시대 어쩌구에도 남녀칠세부동석이라는 말이 있듯이 아무튼 나도 홍차꼰대단 유교걸 어쩌구라서 게시물을 따로 분리했다. 1. 포숑 - 라뽐므 초꼬 쭈아! ㅎ 코를 찌르는 실론... 근데 얘네 사과 가향이 향수 낭낭한게 특이해서 잊을만하면 마시게 된다. 2. Thoe O Dor- Celebration 3그램, 140ml 묵직하고 조용한 초코가향. 당신이 프랑스 출신인것에 의문이 듭니다. (가향이 너무 조용하다는 뜻) 이것보단 그냥 헤로즈 초코가향 먹을래요 티푸드 없이 먹기엔 다소 심심함. 그러나 위장을 강타하는 베이스... 깔깔하다... 하지만 우유를 부으면 맛남 3. 실버팟 - 별들의 속삭임 말해뭐함? 실버팟은 가향 근본임. 루피시아 아라비안 나이트랑 비슷.. 2022. 9. 2.
최근 마신 비가향차 몇가지 짧은 시음기 요즘 블로그에 전공얘기밖에 안했는데 간만에 낙엽질을 해보려고 한다. 시작 전에 새로 뽑은 밀크글라스 개완 자랑좀 하겠습니다. 만족도 200%임. 어쩌다 선물 받았는데 진짜 이거 생기고부터 서양찻잔을 하나도 안쓴다. 파이어킹 블루스월 들이고 싶어서 진짜 몇달을 군침흘렸는데 지름욕구 싹 구마당함. - 압끼빠산드 산차 - 다즐링 샤도네이 럭키박스 샀던 것. 대충 3g 낭낭하게 넣고 한김 식힌 물 (온도 넘 낮으면 안됨) 개완에다가 우리니까 쫀맛. 그런데 잘못 우리면 다즐링 소여물 에디션이 된다. 저날 다즐링을 진짜 잘 우려서 화사한 향 팡팡 터졌다. 혹시 이게 말로만 듣던 머스까뗄? 아니 근데 진짜 차 우렸을때 확실하게 더 맛있음. 차이가 남. 포브스 선정 가장 재수없는 낙엽 1위답게 (아님.) 우릴때마다 맛.. 2022. 9. 2.
[2022.08.19] 일일 기록 시작 보호되어 있는 글 입니다. 2022. 8. 19.
[Depth Estimation] SCARED Dataset 근황 [개요] 이래저래 시행착오를 겪으며 해왔던 것을 정리하려고 한다. 의료 도메인으로 넘어오기 전에 KITTI dataset에서 미리 학습을 진행해봤었다. (AdaBins, 정상동작 확인) SCARED Dataset을 가지고 monocular depth estimation을 진행한 결과에 정리하는 포스팅이지만 본 목적은 따로 있다. 목표로 하는 다른 데이터셋이 있는데 이게 GT가 없는데다가 영상 좌우싱크조차 잘 안 맞는 문제가 있어서, SCARED 실험을 통해 - 유사한 데이터셋에서의 toy example을 통해 분야 관련지식 습득 - SCARED로 학습한 모델을 가지고 목표 데이터셋에 knowledge transfer 하기 이러한 두가지 목적이 있다. 그래서 task를 바라보는 관점 자체가 여기에 초점이 .. 2022. 8. 19.
[하나도 도움안되는 후기] Weight And Bias 써봤음 도구가 도움 안된다는게 아니라 제 글이 구리다는겁니다 튜토리얼 https://wandb.ai/authors/bcnn/reports/Weights-Biases-Data-Science---Vmlldzo4MDA0Nzg 뭐하는 건가요? 데이터셋, 모델, 시스템 정보 등을 추적하는 도구 이런 정보들을 전용 페이지 UI에 예쁘게 뿌려줌! TensorFlow, Keras, PyTorch, Sklearn, fastai 등 호환 가지고 있는 기능은 크게, 대시보드(Dashboard): 실험 추적 -> 이건 진짜 간단하게 확인 가능 아티팩트(Artifacts): 데이터세트 버저닝(versioning), 모델 버저닝(versioning) 스윕(Sweep): 초매개변수(Hyperparameter) 최적화 리포트(Report).. 2022. 8. 19.
[시도 1] mmdetection에 wandb (weight and bias) 적용 참고 링크 - wandb 공식 사이트 https://wandb.ai/wandb_fc/korean/reports/MMDetection-Weights-Biases---VmlldzoyMjA1Njky - 사용했다는 기록을 발견 https://velog.io/@hanlyang0522/Object-Detection-%EA%B3%BC%EC%A0%9C-%EC%88%98%ED%96%89%EC%9D%BC%EC%A7%80 1. 그냥 log_config 추가 글 자세히 읽기 전에 이런식으로 MMDetWandbHook 추가하였음. log_config = dict(interval=50, hooks=[dict(type='TextLoggerHook'), dict(type='MMDetWandbHook', init_kwargs={'pr.. 2022. 8. 18.
[2022.08.18] 공부 내용 (wandb) 오늘의 이슈. Issue 1. 저널 revision 작업 진행. latex color 적용: 패키지 추가해야함. https://tex.stackexchange.com/questions/246663/color-text-in-a-table Q. 3-fold cross validation의 경우, confusion matrix를 계산할때 그냥 TP FP TN FN 개수를 각각 누적해서 쓰나? -> 일단 그렇게 했음 Issue 2. 너무 research scientest스럽게만 모델을 개발했어서 (그동안은 모델이 없었으니깐 어쩔 수 없긴 했음..) 이걸 좀 모아서 관리하고 개선하고 사용할 수 있게 만들어야겠다는 이야기가 나왔다. DL모델 시스템 관점? 1. 기존에 task단위로 개발한 것들을 integratio.. 2022. 8. 18.
[2022.08.17] 공부 내용, 현황 요약 (object detection) 오늘 배운 점 기록. 논문 작업 이외에는 Object Detection 위주로만 공부했다. 1. YOLOX 보기 object detection에서 2-stage 위주로만 알고 있었는데, 요즘 실험해보니 CBNetV2보다 YOLOx가 더 잘된다. 그래서 YOLO를 찾아보려함. YOLO 시리즈가 정말 많았다. Q. Anchor Free? Anchor based? Anchor free가 나중에 나왔는데, 2-stage에서는 이제 anchor free도 많이 발전했는데 single stage인 YOLO들은 anchor based였다고 한다. 그래서 Anchor free를 포함하여 그동안 2-stage에서 발전한 최근 기술들을 YOLO에 도입한 것이 YOLO_X라고 한다. (그전에는 도입이 안 된 듯) 참고자료 .. 2022. 8. 17.
Object Detection의 Ensemble 기법 조사 하다보니 앙상블의 필요성을 느껴서 조사 시작. 논문을 읽어요 https://www.unirioja.es/cu/joheras/papers/ensemble.pdf. https://github.com/ancasag/ensembleObjectDetection. code object detection? [output] bbox, category, confidence score detection의 앙상블? 그냥 알고리즘적으로 고안한 다양한 기법들 모델 내에서: RPN에 들어가기 전 이미지 피쳐에 적용, classification stage에 앙상블 적용 ... primary 결과를 두고, secondary 결과를 가지고 조정하는 경우: YOLO랑 Faster-RCNN output을 같이 섞는 방법을 예로 들수 있다.. 2022. 8. 17.
[mmdetection 에러] 그놈의 mmcv 버전.. mm시리즈가 편하긴 한데 불편한 것 중 하나가, 공식코드로 지원하지는 않는데 SOTA 모델들이 mm시리즈 기반으로 코드를 지원할떄이다. 사용가능한 mmcv 버전이 달라서 같은 mmdetection 기반인데 도커 호환이 안되더라. [상황] 공식 mmdetection 코드(현재 시각 기준)를 사용하다가 CBNetV2를 돌리려는데 이게 공식지원이 안된다. CBNetV2 코드도 mmdetection 기반이지만 구버전에서 구현을 해서 그런지 mmcv가 1.3.8~1.4.0밖에 지원이 안된다. (현재 최신버전은 1.6.1) => 그래서 도커 이미지 다시 만드는 중. CBNetV2 https://github.com/VDIGPKU/CBNetV2 GitHub - VDIGPKU/CBNetV2 Contribute to VD.. 2022. 8. 11.
[연구일지] 2022.08.10 Monocular Depth Estimation 기록 [상황] 데이터셋 https://arxiv.org/pdf/2101.01133.pdf 모델 Monocular Depth Estimation Toolbox 사용 (이전 포스팅 참고) 텐서보드로 train loss curve와 image-pred-GT visualization 확인중 GT가 tiff file이고 값의 범위가 넓음 [몇가지 이슈] [GT 관련] 양수값으로도 몇백 이상의 큰 값이 있지만 0보다 작은 값이 있다. [GT 관련] 빈 값이 많아서 자글자글 -> 실제로는 depth map 차이가 크지만 이미지로 뽑아보면 빈값때문에 어두워 보이는 경향이 있음. [학습 관련] 상대적으로 predicted output값이 크게 나오는 경향이 있었다. [테스트 관련] depth estimation은 뭔가 eva.. 2022. 8. 10.
[Monocular Depth Estimation] mono toolbox 코드 뜯는 기록 Monodepth Estimation Toolbox https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox GitHub - zhyever/Monocular-Depth-Estimation-Toolbox: Monocular Depth Estimation Toolbox based on MMSegmentation. Monocular Depth Estimation Toolbox based on MMSegmentation. - GitHub - zhyever/Monocular-Depth-Estimation-Toolbox: Monocular Depth Estimation Toolbox based on MMSegmentation. github.com [상황] 1. .. 2022. 8. 5.
나의 Knowledge Base: 메인 페이지 흩어진 지식 조각들을 한군데 모아두기 위해 당분간 시간을 가지고 정리할 예정이다. 디테일하게 모든 것을 적을 생각은 없고, 그냥 필요한 내용들 찾아서 링크를 걸 예정. 1. 딥러닝 개별 분야 목적: 지식 정리와 코드 리마인드 규칙: 주제별로 1, 2로 나눠서 포스팅. [포스트 1] 분야 가이드, 서베이 작성 해당 task의 개요 (history, dataset, eval metric 등 기본) SOTA 모델들 내가 써본 것들 중점적으로한 리뷰 (이미 이전에 포스팅한 자료 있으면 같이 링크 걸어두기, 다듬으면 더 좋고) 볼만한 github 코드레포 정리 [포스트 2] 1에서 조사한 것을 기반으로함, 실제로 뜯어보거나 돌려보는 과정을 정리 기본 코드 SOTA 코드 분야 목록 image classificati.. 2022. 8. 4.
반응형

티스토리툴바