README.md #5

daadaadaah · 2024-06-25T06:08:55Z

🙇‍♀️ 소개

주간 회고 스터디용 주간 회고 이슈를 매주 자동으로 생성 및 관리하여 수작업 대비 n배 효율을 제공하는 스프링 스케줄러 서버

## 1. 수작업 대비 n배 효율 향상 -> 계산할 떄, GPT 도움 받기
https://chatgpt.com/c/333d6971-56bf-4535-8d6a-cbdb8b324942
> 이 배치 프로그램을 만듬으로써 수작업 대비 얼마나 향상되었는지

🎈주요 기능

1. ⏰ 스케줄러 기능

Spring의 @scheduled 애너테이션과 GitHub API를 활용하여 주기적인 작업을 자동으로 수행한다.
예를 들어, GitHub 리포지토리에 Issue를 생성하거나 Close 하는 작업에 사용된다.

2. 🔔 알림 기능

Discord Webhook API를 활용하여 로깅 또는 배치 작업의 성공/실패 여부 등을 Discord 채널에 알림을 전송한다.
예를 들어, 로깅 또는 배치 작업의 성공/실패 여부을 알리는 데 사용된다.

3. 📝 로깅 기능

Google Sheets API를 활용하여 GitHub API 통신 및 작업별 수행 시간 등을 Google 스프레드시트에 저장한다.
(이를 통해 로그를 클라우드에 안전하게 저장하고, 손쉽게 조회 및 분석할 수 있습니다.)

🗓️ 기간

2024년 6월 ~

🛠️ 기술

Java, Spring Boot, Gihtub API, Google API, Discord API

🚀 주요 성과 또는 문제 해결/개선 사례

1. 비동기 및 싱글 스레드를 활용하여 비즈니스 로직과 부가 기능 로직 최적화(장애 전파 문제 해결, 동시성 문제 해결 및 성능 최적화)(관련 링크)

2. 알림 메시지 전송 방식 및 알림 전송 주기 변경으로 디스코드 알림 기능 개선

개선점 2-1. 데이터 전송 방식 변경(텍스트 기반 방식 -> 파일 첨부 방식)으로 최대 글자수 초과 문제 해결 (관련 링크)

개선점 2-2. 데이터 전송 주기 변경(모든 데이터 저장시마다 -> 한번에 배치로)으로 DX 향상(관련 링크)

3. 기타 개선점들 (총 n개)

(1) SRP 원칙을 활용하여 순환 참조 문제 해결(관련 링크)

SRP에 기반하여 Config 클래스 분리와 Bean 분리로 순환 참조 이슈 해결

(2) 구글 시트 객체를 Bean 등록 하여 ~ 개선

팩토리 패턴과 Bean 등록으로 Google Sheets 객체 생성과 사용 디커플링시킴으로써 애플리케이션의 안정성 향상시켰고, Google Sheets 객체를 사용함으로써 메모리와 리소스 낭비 감소 시킴

(3) AOP 활용하여 00 향상

커스텀 AOP, RetryListener를 활용하여 어떤 클래스의 어떤 메서드가 몇번 재시도하는지에 대한 로깅 구현
@retryable 애노테이션이 적용된 메서드 호출 전, 클래스명과 메서드명을 RetryContext에 저장하는 AOP 컴포넌트 개발 -> AOP를 활용하여 재시도 메커니즘의 투명성과 유지보수성 향상.

(4) AOP 대신 Interceptor 활용하여 HTTP 요청/응답 로깅 기능 구현

(5) 구글 시트 객체 생성시 다양한 원인에 의해 객체 생성이 실패할 수 있어서, CreateSheetsFailReason이라는 enum 클래스를 하나 만들어서 예외 상황을 카테고리화 하여, 디버깅시 문제의 원인을 명확히 구분할 수 있게 하였습니다.

🍎 주요 클래스 구조(?) (링크)

daadaadaah · 2024-07-27T03:18:04Z

TODO

비동기로 성능 줄일 수 있는 부분 찾아서 적용시키기
1. closeIssue에 @async 붙이면, 구글 시트 API에서 429 Too Many Requests 발생함.
배치 프로세스별 Logging 어노테이션 만들어서, 이 어노테이션이 붙은 클래스의 모든 메서드들 로깅하도록 수정하기

daadaadaah · 2024-08-06T08:07:12Z

public class GithubIssueRepositoryStepIdManagementAspect { // TODO : 테스트 코드 작성 참고 https://chatgpt.com/c/f5048ee1-e629-454d-927d-ffaccad6e537

daadaadaah · 2024-08-07T16:34:14Z

Description:

The dependencies of some of the beans in the application context form a cycle:

   localMethodExecutionTimeLoggingAspect defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/common/aop/LocalMethodExecutionTimeLoggingAspect.class]
      ↓
   discordNotificationService defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/service/notification/DiscordNotificationService.class]
      ↓
   restTemplateHttpClient defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/resttemplate/RestTemplateHttpClient.class]
┌─────┐
|  appConfig defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/common/config/AppConfig.class]
↑     ↓
|  gitHubApiLoggingInterceptor defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/resttemplate/interceptor/GitHubApiLoggingInterceptor.class]
↑     ↓
|  logDirectSaveGoogleSheetsService defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/service/log/LogDirectSaveGoogleSheetsService.class]
↑     ↓
|  logGoogleSheetsRepository defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/repository/log/LogGoogleSheetsRepository.class]
↑     ↓
|  googleSheetsClient defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/googlesheets/GoogleSheetsClient.class]
└─────┘


Action:

Relying upon circular references is discouraged and they are prohibited by default. Update your application to remove the dependency cycle between beans. As a last resort, it may be possible to break the cycle automatically by setting spring.main.allow-circular-references to true.

Description:

The dependencies of some of the beans in the application context form a cycle:

   localMethodExecutionTimeLoggingAspect defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/common/aop/LocalMethodExecutionTimeLoggingAspect.class]
      ↓
   discordNotificationService defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/service/notification/DiscordNotificationService.class]
      ↓
   discordRestTemplateHttpClient defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/resttemplate/DiscordRestTemplateHttpClient.class]
┌─────┐
|  appConfig defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/common/config/AppConfig.class]
↑     ↓
|  gitHubApiLoggingInterceptor defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/resttemplate/interceptor/GitHubApiLoggingInterceptor.class]
↑     ↓
|  logDirectSaveGoogleSheetsService defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/service/log/LogDirectSaveGoogleSheetsService.class]
↑     ↓
|  logGoogleSheetsRepository defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/repository/log/LogGoogleSheetsRepository.class]
↑     ↓
|  googleSheetsClient defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/googlesheets/GoogleSheetsClient.class]
└─────┘


Action:

Relying upon circular references is discouraged and they are prohibited by default. Update your application to remove the dependency cycle between beans. As a last resort, it may be possible to break the cycle automatically by setting spring.main.allow-circular-references to true.

daadaadaah · 2024-08-08T00:52:57Z

1번째 순환 참조 문제

Description:

The dependencies of some of the beans in the application context form a cycle:

   localMethodExecutionTimeLoggingAspect defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/common/aop/LocalMethodExecutionTimeLoggingAspect.class]
      ↓
   discordNotificationService defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/service/notification/DiscordNotificationService.class]
      ↓
   restTemplateHttpClient defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/resttemplate/RestTemplateHttpClient.class]
┌─────┐
|  appConfig defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/common/config/AppConfig.class]
↑     ↓
|  gitHubApiLoggingInterceptor defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/resttemplate/interceptor/GitHubApiLoggingInterceptor.class]
↑     ↓
|  logDirectSaveGoogleSheetsService defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/service/log/LogDirectSaveGoogleSheetsService.class]
↑     ↓
|  logGoogleSheetsRepository defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/repository/log/LogGoogleSheetsRepository.class]
↑     ↓
|  googleSheetsClient defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/googlesheets/GoogleSheetsClient.class]
└─────┘


Action:

Relying upon circular references is discouraged and they are prohibited by default. Update your application to remove the dependency cycle between beans. As a last resort, it may be possible to break the cycle automatically by setting spring.main.allow-circular-references to true.


Process finished with exit code 1

AppConfig -> GitHubApiLoggingInterceptor -> (LogService) LogDirectSaveGoogleSheetsService -> LogGoogleSheetsRepository -> GoogleSheetsClient -> AppConfig(Sheets)

해결 방법

GoogleSheetsConfig 추가하여 구글 시트 관련 빈은 AppConfig가 아닌 GoogleSheetsConfig 관리하도록 변경

daadaadaah · 2024-08-08T01:04:03Z

2번째 순환 참조 문제

Description:

The dependencies of some of the beans in the application context form a cycle:

   localMethodExecutionTimeLoggingAspect defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/common/aop/LocalMethodExecutionTimeLoggingAspect.class]
┌─────┐
|  discordNotificationService defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/service/notification/DiscordNotificationService.class]
↑     ↓
|  restTemplateHttpClient defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/resttemplate/RestTemplateHttpClient.class]
↑     ↓
|  appConfig defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/common/config/AppConfig.class]
↑     ↓
|  gitHubApiLoggingInterceptor defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/infrastructure/resttemplate/interceptor/GitHubApiLoggingInterceptor.class]
↑     ↓
|  logDirectSaveGoogleSheetsService defined in file [/Users/daheekwak/Desktop/review-study-app/out/production/classes/com/example/review_study_app/service/log/LogDirectSaveGoogleSheetsService.class]
└─────┘


Action:

Relying upon circular references is discouraged and they are prohibited by default. Update your application to remove the dependency cycle between beans. As a last resort, it may be possible to break the cycle automatically by setting spring.main.allow-circular-references to true.


Process finished with exit code 1

DiscordNotificationService -> RestTemplateHttpClient -> AppConfig(restTemplate) -> GitHubApiLoggingInterceptor -> (LogService) LogDirectSaveGoogleSheetsService -> (NotificationService) DiscordNotificationService

해결 방법

resttemplate이 필요한 상황이 2가지 상황이다.
디스코드와 통신할 때와 Github 과 통신할 때,
1개로 관리되던 resttemplate 빈을 2개의 빈으로 각각 나눠 사용하도록 함.
Config 클래스로 분리

daadaadaah · 2024-08-11T08:06:13Z

디스코드 400 Bad Request 에러 해결

인코딩 방법
JSON 파일 첨부

daadaadaah · 2024-08-22T09:21:04Z

@Async.mov

daadaadaah · 2024-08-22T09:55:45Z

2024-08-22.6.51.00.mov

daadaadaah · 2024-08-27T05:25:36Z

As-Is : 동기 방식

기존 방식은 비즈니스 로직인 Github 로직과 부가 기능 로직인 Google Sheets Logging 로직이 동기 방식으로 수행되었습니다.
그로 인해 두 로직간의 높은 결합도가 생겨 다음과 같은 문제가 발생했습니다.

장애 전파 문제 : 부가 기능인 Logging 로직에 문제가 발생했을 때, 비즈니스 로직인 Github 작업이 중단되는 문제
핵심 로직 총 작업 수행시간 지연 문제 : 부가 기능인 Logging 작업이 지연 될 경우, 비즈니스 로직인 Github 작업도 지연되는 문제

To-Be : 비동기 방식

@async로 비즈니스 로직인 Github 로직과 부가 기능 로직인 Google Sheets Logging 로직을 디커플링하여 다음과 같은 성과를 얻었습니다.

장애 격리를 통해 서버의 안정성 향상 : 부가 기능인 Logging 로직에 문제가 발생하더라도, 비즈니스 로직인 Github 작업이 계속 진행
실행시간 4.5배 성능 향상(평균 45초 -> 10초 단축) : 부가 기능인 Logging 로직 작업에 상관 없이, 비즈니스 로직이 수행되므로

daadaadaah · 2024-08-27T06:15:44Z

비동기로 비즈니스 로직과 부가 기능 로직을 디커플링시켜 장애 격리를 통해 서버의 안정성 향상과 성능 향상

개선점 1. 동기 -> 비동기로 장애 전파 문제 해결

개선점 2. 비동기+싱글 스레드로 수행 시간 지연 문제 해결

(단, 멀티스레드가 아닌 싱글 스레드 상황에서의 성능임)

싱글 스레드방식으로 동시성 문제 해결

개선점 1. 멀티 스레드 -> 싱글 스레드로 동시성 문제 해결

동기 -> 비동기 : 장애 전파 문제 해결
멀티 스레드 -> 싱글 스레드 : 동시성 문제 해결
비동기+싱글 스레드 : 수행 시간 지연 문제 해결

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

README.md #5

README.md #5

daadaadaah commented Jun 25, 2024 •

edited

Loading

daadaadaah commented Jul 27, 2024 •

edited

Loading

daadaadaah commented Aug 6, 2024

daadaadaah commented Aug 7, 2024 •

edited

Loading

daadaadaah commented Aug 8, 2024 •

edited

Loading

daadaadaah commented Aug 8, 2024 •

edited

Loading

daadaadaah commented Aug 11, 2024

daadaadaah commented Aug 22, 2024

daadaadaah commented Aug 22, 2024

daadaadaah commented Aug 27, 2024 •

edited

Loading

daadaadaah commented Aug 27, 2024 •

edited

Loading

README.md #5

README.md #5

Comments

daadaadaah commented Jun 25, 2024 • edited Loading

🙇‍♀️ 소개

🎈주요 기능

1. ⏰ 스케줄러 기능

2. 🔔 알림 기능

3. 📝 로깅 기능

🗓️ 기간

🛠️ 기술

🚀 주요 성과 또는 문제 해결/개선 사례

1. 비동기 및 싱글 스레드를 활용하여 비즈니스 로직과 부가 기능 로직 최적화(장애 전파 문제 해결, 동시성 문제 해결 및 성능 최적화)(관련 링크)

2. 알림 메시지 전송 방식 및 알림 전송 주기 변경으로 디스코드 알림 기능 개선

개선점 2-1. 데이터 전송 방식 변경(텍스트 기반 방식 -> 파일 첨부 방식)으로 최대 글자수 초과 문제 해결 (관련 링크)

개선점 2-2. 데이터 전송 주기 변경(모든 데이터 저장시마다 -> 한번에 배치로)으로 DX 향상(관련 링크)

3. 기타 개선점들 (총 n개)

(1) SRP 원칙을 활용하여 순환 참조 문제 해결(관련 링크)

(2) 구글 시트 객체를 Bean 등록 하여 ~ 개선

(3) AOP 활용하여 00 향상

(4) AOP 대신 Interceptor 활용하여 HTTP 요청/응답 로깅 기능 구현

(5) 구글 시트 객체 생성시 다양한 원인에 의해 객체 생성이 실패할 수 있어서, CreateSheetsFailReason이라는 enum 클래스를 하나 만들어서 예외 상황을 카테고리화 하여, 디버깅시 문제의 원인을 명확히 구분할 수 있게 하였습니다.

🍎 주요 클래스 구조(?) (링크)

daadaadaah commented Jul 27, 2024 • edited Loading

daadaadaah commented Aug 6, 2024

daadaadaah commented Aug 7, 2024 • edited Loading

daadaadaah commented Aug 8, 2024 • edited Loading

1번째 순환 참조 문제

해결 방법

daadaadaah commented Aug 8, 2024 • edited Loading

2번째 순환 참조 문제

해결 방법

daadaadaah commented Aug 11, 2024

디스코드 400 Bad Request 에러 해결

daadaadaah commented Aug 22, 2024

daadaadaah commented Aug 22, 2024

daadaadaah commented Aug 27, 2024 • edited Loading

As-Is : 동기 방식

To-Be : 비동기 방식

daadaadaah commented Aug 27, 2024 • edited Loading

비동기로 비즈니스 로직과 부가 기능 로직을 디커플링시켜 장애 격리를 통해 서버의 안정성 향상과 성능 향상

개선점 1. 동기 -> 비동기로 장애 전파 문제 해결

개선점 2. 비동기+싱글 스레드로 수행 시간 지연 문제 해결

싱글 스레드방식으로 동시성 문제 해결

개선점 1. 멀티 스레드 -> 싱글 스레드로 동시성 문제 해결

daadaadaah commented Jun 25, 2024 •

edited

Loading

daadaadaah commented Jul 27, 2024 •

edited

Loading

daadaadaah commented Aug 7, 2024 •

edited

Loading

daadaadaah commented Aug 8, 2024 •

edited

Loading

daadaadaah commented Aug 8, 2024 •

edited

Loading

daadaadaah commented Aug 27, 2024 •

edited

Loading

daadaadaah commented Aug 27, 2024 •

edited

Loading