Home

📝 Table of Contents

• 대회 개요
  • 배경
  • 문제 정의
  • 평가지표: mAP50
• 대회 결과
• 접근 방법
  • 새로운 협업 방식 도입
  • mmdetection 사용법 익히기
  • 모델 실험
  • 회고와 새로운 계획
  • Augmentation 기법 실험
  • 그 외
• 회고

---

📖 대회 개요

Semantic Segmentation 대회에서 사용한 데이터셋을 사용했습니다.

배경

• 대량으로 물건이 만들어지고 소비를 하면서 심각한 쓰레기 문제를 낳고 있다.
• 쓰레기 문제를 해결하기 위해 "분리 수거"를 통해 잘 분리 배출된 쓰레기는 자원으로서 가치를 인정 받아 재활용된다.
• 그만큼 "분리 수거"가 중요하지만, "이 쓰레기가 어디에 속하는지", "어떤 것들을 분리해서 버리는 것이 맞는지" 등 정확한 분리수거 방법을 알기 어렵다는 문제점이 있다.
• 쓰레기가 찍힌 사진을 가지고 Detection을 진행해 위의 문제를 해결하고자 한다.

문제 정의

쓰레기가 찍힌 사진에서 쓰레기를 탐지하여 Box를 만들고 배경을 포함한 12개의 클래스로 분류하는 Detection 모델

• input:  쓰레기 이미지 (512, 512) 총 4109장과 COCO Format으로 이루어진 Annotation 파일

├─ images
│  ├─ id: 파일 안에서 image 고유 id, ex) 1
│  ├─ height: 512
│  ├─ width: 512
│  └─ filename: ex) batch01_vt/002.jpg
│
└─ annotations
   ├─ id: 파일 안에 annotation 고유 id, ex) 1
   ├─ segmentation: masking 되어 있는 고유의 좌표
   ├─ bbox: 객체가 존재하는 박스의 좌표 (xmin, ymin, w, h)
   ├─ area: 객체가 존재하는 영역의 크기
   ├─ category_id: 객체가 해당하는 class의 id
   └─ image_id: annotation이 표시된 이미지 고유 id

• output: 12개의 클래스
  • Background, UNKNOWN, General trash, Paper, Paper pack, Metal, Glass, Plastic, Styrofoam, Plastic bag, Battery, Clothing

평가 지표: mAP50

---

🏆 대회 결과

• 순위 60등, mAP 0.4490
• 제출횟수 총 20회 (팀 151회)

---

🚀 접근 방법

팀의 대회 참여 과정을 따라가면서 내가 팀에 어떤 기여를 했는지 위주로 작성하였습니다.

새로운 협업 방식 도입

2021.05.10

이번 대회도 segmentation과 비슷하게 베이스 코드가 없이 진행될 줄 알았으나 mmdetection이라는 생소한 라이브러리를 가지고 학습을 진행해야 했어서 기존과는 다른 방법이 필요하다고 판단했다.

그래서 이번에는 노션으로 실험계획 및 결과를 공유하고 다같이 공유하면 좋을 내용도 노션에 정리하기로 했다. 실험 시 노션 실험 페이지에 자신이 어떤 실험을 할 건지 적어놓고 wandb 링크와 run name을 적어 실험이 어떻게 진행되는지 확인할 수 있도록 하였다.

실험 상황을 공유하기 위해 실험 전 , 실험 중 , 실험 완료로 3가지 상태를 정의하여 실험 계획을 했다면 실험 전에 놓고, 실험을 시작하면 wandb 링크를 달아놓고 실험 중으로 옮기고 실험이 끝났으면 valid mAP와 LB mAP를 적어 실험 완료로 옮기도록 했다.

mmdetection 사용법 익히기

2021.05.11 - 2021.05.12

object detection과 mmdetection 둘 다 처음이었기에 어느 정도 object detection의 모델 구조를 파악하고 mmdetection으로 어떻게 학습을 시키는지를 알 필요가 있었다. 그래서 분담을 하여 나와 배수민 캠퍼님이 mmdetection 사용법을 익혀 노션에 공유하기로 했다.

mmdetection의 documentation의 설명이 부족해 documentation 외에 dacon의 mmdetection 사용법, tbd에 올라온 mmdetection tutorial을 참고하여 팀원들이 바로 커스텀을 할 수 있도록 사용법을 작성했고, 개인적인 꿀팁도 적어놓았다.

후에 추가로 정지영 캠퍼님이 wandb hook을 사용한 wandb 실험 세팅을 하는 법을 추가해주셨다.

모델 실험

2021.05.12 - 2021.05.17

본격적인 실험 전 최재혁, 이아름, 조성진 캠퍼님이 SOTA 및 논문을 참고하여 좋은 모델 몇 가지를 조사를 했고 이를 바탕으로 몇 가지 backbone과 method를 정해 실험을 수행했다. backbone으로 vgg16, darknet53, resnet50을, method로 ssd512, yolo-v3, yolo-v4, faster rcnn, detectoRS, cascade mask rcnn, vfnet, htc, mask rcnn을 선정하였고 이에 대한 실험을 수행했다.

이 중 vggnet19를 backbone으로 한 모델과 htc 모델 실험을 맡았다. mmdetection에 모든 모델이 들어있고 단순히 backbone만 바꾸기만 하면(혹은 method만 바꾸기만 하면) 돌아갈 거라 생각했지만, vgg19는 mmdetection에 없어 @register를 사용해 등록을 해줘야 했고 htc와 같이 mask도 예측하는 경우 그대로 사용하면 에러가 발생했다.

에러의 이유는 mask관련 annotation을 설정하지 않아서 생긴 에러였다. 이에 대한 내용을 배수민 캠퍼님이 작성을 해주셔서 mask 관련 모델도 돌릴 수 있게 되었다.

한 차례 실험이 끝난 후 UniverseNet, SwinTransformer, DetectoRS, Cascade Mask RCNN, Faster RCNN 등 더 다양한 모델들을 실험을 했고 이 중 SwinTransformer와 Cascade Mask RCNN(with DCN)이 단일 모델로 LB mAP가 0.5가 넘는 성능을 보여주었다. LB mAP 기준 0.4부터 0.55까지의 모델 결과를 따로 저장해두어 나중에 앙상블에 사용하였다.

회고와 새로운 계획

2021.05.15

대회 첫 주차 마지막 날에 회고 시간을 가졌다. 확실히 segmentation의 단점이 대부분 개선되었지만 아직 더 개선되어야할 부분이 존재했다. 바로 대회 전체에 대한 계획이 아닌 내일 계획만 세운다는 점이었다. 그래서 피어세션 시간을 한 시간 더 할애해서 남은 기간동안의 계획과 마일스톤을 설정하였다.

backbone을 바꾸는 것보다는 mmdetection 혹은 모델 그 자체를 실험하는 것이 최고 성능이 나온다 생각해 재 실험할 모델들을 설정하였고 추가로 구현해야 할 부분을 정해 2:2:2로 나누어 구현을 하였다. cutmix, copyandpaste, mosaic은 구현하지 못했지만, inference box, stratified k-fold, ensemble 코드는 다 구현을 했다.

Augmentation 기법 실험

2021.05.17 - 2021.05.18

학습 시간이 작은 Faster R-CNN을 이용해 mmdetection에 있는 여러 augmentation을 적용해 실험을 했다. cutout, multi-scale training, randomflip, randomrotate, instaboost, photometricdistortion, autoaugment 등을 실험했고, 그 외에 앞선 segmentation에 수달님이 쓰셨던 augmentation도 가져와 실험을 했다.

A.Compose( [
A.VerticalFlip(p=.25), 
A.Cutout(num_holes=10, max_h_size=51, max_w_size=51, p=.25),
A.ShiftScaleRotate(p=.25), 
A.RandomResizedCrop(512, 512, scale=[0.75, 1], p=1) 
])
A.Compose( [
A.OneOf([A.RandomRotate90(p=.25), A.VerticalFlip(p=.5)], p=1), 
A.Cutout(num_holes=10, max_h_size=51, max_w_size=51, p=.25),
A.ShiftScaleRotate(p=.25), 
A.RandomResizedCrop(512, 512, scale=[0.75, 1], p=1) 
])

tta.Compose( [ 
tta.VerticalFlip(), 
tta.Scale(scales=[0.75, 1, 1.25]) 
])

실험 결과 대부분 기본 Faster R-CNN 결과와 비슷했지만 수달님이 쓰신 Augmentation과 Multiscale Training은 성능이 잘 나와서 이 두 개를 최종 Augmentation 기법으로 채택하였다.

그 외

2021.05.18 - 2021.05.19

• 배수민, 조성진 캠퍼님이 구현한 앙상블로 여러 가지 실험을 한 결과 꽤 재미있는 결과를 확인할 수 있었다. "비슷한 점수대의 모델을 앙상블시키면 강화하듯이 Public LB 점수가 올라간다"는 것이었다. 거의 대부분 LB 점수가 올라갔으며, 이로 LB mAP를 0.54대까지 끌어올렸다.
• 토론 게시판에 SwinTransformer를 60 epoch까지 돌리면 단일 모델로 0.6까지 오른다는 말을 듣고, 전에 학습시킨 Swin 모델을 전체 데이터셋(valid 포함)에 최종 채택한 Augmentation을 적용시켜 이어서 학습을 시켰으나 학습 시간이 오래 걸려서 40 epoch까지 밖에 학습을 하지 못했다. 확실히 30 epoch 이후로 mAP가 폭발적으로 늘지는 않지만 loss가 조금씩 작아지는 것을 확인할 수 있었고, 단일 모델로 0.53의 성능을 얻을 수 있었다.
• 앙상블 기법으로, nms, softnms, nmw, wbf를 사용했고 iou_thr와 skip_box_thr 를 변경하며 실험을 진행했다. iou_thr는 디폴트값인 0.4나 0.5에서 LB mAP가 제일 높았고 skip_box_thr은 전체적인 박스 개수를 줄여 오히려 LB mAP가 떨어졌다. 결국은 모두 디폴트 값으로 두고 박스가 잘 생성되는 softnms를 사용했다. 최종 모델로는 가장 성능이 잘 나온 swin-b와 swin-t의 softnms 앙상블을 제출했다.
• stratified k-fold 코드는 구현했지만 모델 하나 학습 하는데 시간이 많이 걸려서 결국 사용하지는 못했다. 그 외 copyandpaste, cutmix, mosaic 모두 구현을 시도했으나 annotation 처리 코드가 어려워 결국 구현을 포기했다.

---

👀 회고

• 우선 순위와 점수는 만족스럽지 않지만 Segmentation 대회 회고 때 나왔던 아쉬웠던 점들을 대부분 해결하거나 개선시켰다는 점에서 꽤 만족스러운 대회였다. 이번 대회를 하면서 정말 협업이 무엇인지 깨달았고 저번 대회보다는 체계적인 실험으로 할 수 있는 대부분의 실험을 수행했다. 특히 Segmentation 대회 때 앙상블을 못해서 너무 아쉬웠는데 이번에는 다양한 앙상블 실험을 할 수 있어서 좋았다.
• 학습을 오랜 시간 끈기있기 하지 못한 점은 아쉬웠다. 모델 학습 시간이 오래 걸려서 30 epoch 쯤에 성능이 잘 안 나온다면 학습을 멈췄는데 토의 게시판에 60 epoch을 돌렸을 때 좋은 성능이 나온다는 것을 보고 조금 더 오래 돌려볼 걸 하는 아쉬움이 있었다.
• 리더보드와 평가지표인 mAP만을 가지고 모델을 검증한 점도 아쉬웠다. mmdetection에는 mAP 외에 loss도 다양하게 제공을 했는데, mAP만 확인을 했다. 나중에 안 사실이지만 mAP가 높더라도 loss가 낮지 않다면 리더보드에 제출했을 때 성능이 잘 안나온다는 것이었다. mAP가 조금 떨어지더라도 loss가 더 낮은 모델이 더 잘 나왔는데, 다음 대회 때는 대회 평가지표 외에 다른 지표도 참고해서 모델을 더 자세히 검증해야겠다는 생각을 했다.