알고리즘을 반복적으로 개선하는 과정에 실험들에 대해 추적하는 것은 큰 도움이 된다. 수십, 수백 번의 실험 과정 및 결과를 효율적으로 관리하면 더 나은 하이퍼 패러미터를 선택하는 데 도움이 된다.
- 알고리즘/코드 버저닝
- 사용한 데이터셋
- 하이퍼패러미터
- 결과
- Text files: 확장성이 떨어지지만 작은 실험에는 괜찮을 수 있다.
- Spreadsheet: 공유된 스프레드 시트는 확장성이 더 있다.
- 실험 추적 시스템: 요즘 좋은게 많이 나옴
- weight & bias
- ML flow
- SageMaker studio
- 결과를 복제하는데 필요한 모든 정보를 제공하는가
- 인터넷을 통해 데이터를 가져오는 경우 입력 데이터셋이 바뀌기 때문에 결과를 동일하게 복제하는 것이 어려울 수 있다.
- 평가 지표 요약이나 분석이 포함된 실험 결과들을 제공하는가(최신에서 과거까지)
- 추가 고려사항: 리소스 모니터링(GPU, CPU, 메모리 등), 시각화, 모델 오류 분석 등등