반응형 아무 말204 20201208 연구노트 보호되어 있는 글 입니다. 2020. 12. 8. 20201207 연구노트 보호되어 있는 글 입니다. 2020. 12. 7. Cosine Annealing 사용해보는 기록 서치해도 잘 없길래 걍 써봄. 사용 계기 1. 내 모델이랑 SlowFast를 비교해야한다. pre-training 없이 작은 데이터셋에서 비교하는중. 2. 근데 내 환경에서 slowfast 성능이 너무 구리다. ResNet이랑 비슷하거나 더 안나오기도 한다. ㄱ-? 3. learning scheduler가 달랐지! 혹시나해서 내 모델과 slowfast 모두 pleatau를 사용하도록 실험도 해봤지만, 그냥 둘다 underfitting 될 뿐이었다. 튜닝을 하라면 하겠지만 일단 slowfast 성능 영끌이 필요한 관계로, 바로 half cosine을 찾기 시작했다. 조사 SlowFast 논문 - half cosine scheduler를 사용했다고 언급. SGDR 논문을 인용하면서. - 이 스케줄러의 bas.. 2020. 12. 4. Kinetics 학습 삽질 과정 (진행중) 비디오를 처음 해보니 슬픈 일이 벌어졌다. 사실 something-something이랑 jester를 쓰고 싶었는데 데이터셋 유료화되었다. 굉장히 눈물이 났다. 돈이 없어서... 지피유가 없어서... 중간 규모의 데이터셋을... 쓰려는데요... 데이터셋이... 유료에요... 상황 원래 Kinetics400을 돌리려고 했다. [문제 1] 크롤링을 하자 ActivityNet 공식코드 (youtube-dl 쓰는 그거), youtube crawler 다른거 (이름 까먹음) 둘다 써봤다. 그런데 2-3일정도 지나면 "HTTP too many requests error" 발생. 아무래도 ip를 바꾸거나 해서 시도해야할 것 같은데, 데이터 양이 방대해서 일일이 하기 번거롭다. 오래 걸리고. 진짜 몇번을 시도했는데 이.. 2020. 12. 4. 20201204 연구노트 보호되어 있는 글 입니다. 2020. 12. 4. 20201203 연구노트 보호되어 있는 글 입니다. 2020. 12. 3. 20201202 연구노트 보호되어 있는 글 입니다. 2020. 12. 2. [ViT 논문] Image Recognition without CNNs? - Transformer! 이 논문 막 읽기 시작했다. 원래 논문을 구글독스에 주절거리며 읽는 편이라 그냥 여기다 썼다. 의식의 흐름대로 논문 읽어보기. Title : AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE https://openreview.net/pdf?id=YicbFdNTTy ICLR 2021 리뷰중이라는 논문. Transformer만 사용해서 이미지처리를 한다?! 1. 원래 이럴땐 성능부터 보는거다. Accuracy를 보자. 보고왔는데 그냥 그렇다. ResNet, EfficientNet이랑 비교한 것 처럼 나와있는데 EfficientNet은 비어있는 것도 많다. 그리고 ResNet152도 아니고 ResNet152x4는 뭐지? 설명 .. 2020. 10. 30. 경제공부의 시작은 무엇일까? 보호되어 있는 글 입니다. 2020. 9. 23. 이전 1 ··· 11 12 13 14 다음 반응형
