feat: AOP 적용해 읽기/쓰기 DB로 요청 분산 #503

ChooSeoyeon · 2024-09-26T12:41:15Z

📌 관련 이슈

close #498

✨ 작업 내용

AOP 적용해 읽기/쓰기 DB로 요청 분산
- WriterDatabase 어노테이션 사용 시 writerDataSource 사용
- WriterDatabase 어노테이션 사용 안할 시 readerDataSource 사용

📚 기타

Datasource 설정 분리
WriterDatabase 어노테이션 생성
AOP 적용해 Datasource 동적 변경
open session in view 끔 (인증필터에서 사용한 datasource가 뒷단까지 전달되는 거 방지)

masonkimseoul

고생하셨습니다.
코멘트 확인해주세요.

masonkimseoul · 2024-09-27T08:42:00Z

backend/src/main/java/com/zzang/chongdae/global/config/DataSourceAspect.java

+@Slf4j
+@Profile("prod")
+@Aspect
+@Component
+public class DataSourceAspect {
+
+    @Before("@annotation(writerDatabase)")
+    public void setWriterDataSource(WriterDatabase writerDatabase) {
+        log.debug("DataSourceAspect - Before advice: Switching to 'write' data source");
+        DataSourceRouter.setDataSourceKey("write");
+    }
+
+    @After("@annotation(writerDatabase)")
+    public void setReaderDataSource(WriterDatabase writerDatabase) {
+        log.debug("DataSourceAspect - After advice: Switching back to 'read' data source");
+        DataSourceRouter.setDataSourceKey("read");
+    }


이 클래스는 어떻게 작동하나요?

아래의 서비스가 있다고 가정해봐요 😄

@WriterDatabase public Response save(Request request) { Entity entity = new Entity(request); Result result = Repository.save(entity) return new Response(result); }

controller에서 save 메서드를 호출할 할 때 @WriterDatabase 어노테이션을 인식하게 됩니다.

setWriterDataSource가 호출되서 데이터 소스가 write로 변경됩니다. 이렇게 되면 Repository.save 할 때 writer DB로 설정한 DBMS에 쿼리가 실행됩니다.

save 메서드가 종료 된 후 @After 어노테이션 붙은 setReaderDataSource가 호출되어 데이터 소스가 다시 read로 변경되는 구조에요~

masonkimseoul · 2024-09-27T08:42:16Z

backend/src/main/java/com/zzang/chongdae/global/config/DataSourceConfig.java

+@Configuration
+@RequiredArgsConstructor
+@EnableJpaRepositories(basePackages = "com.zzang.chongdae")
+public class DataSourceConfig {


이 클래스도 궁금합니다.

보시다 시피 prod 환경일 때만 실행되는 설정파일이고, reader db와 writer db를 설정해주는 역할을 합니다~

데이터베이스가 하나라면 spring이 자동으로 datasource를 찾아주는데, 두 개의 datasource를 사용하게 되면 dataSource를 재정의 해야한다고 합니다.

그래서 재정의해주기 위해 writerDataSource와 readDataSuource를 datasourceRouter에 등록했습니다~

제가 추측하기로는 이렇고 추가 공부가 필요해요 ㅜㅜ

masonkimseoul · 2024-09-27T08:42:41Z

backend/src/main/java/com/zzang/chongdae/global/config/DataSourceRouter.java

+@Slf4j
+public class DataSourceRouter extends AbstractRoutingDataSource {
+
+    private static final ThreadLocal<String> contextHolder = new ThreadLocal<>();


쓰레드 로컬을 도입한 이유가 궁금합니다.

+) contextHolder는 멀티스레드 환경에서 스레드별 데이터소스를 지정하기 위한 용도가 맞나요?

각 API 요청마다 reader, writerdb 를 구분하기 위해 ThreadLocal을 도입했습니다.

멀티스레드 환경에서 스레드 단위로 변수(contextHolder)를 만들 수 있어요.

DataSourceRouter는 상태가 있는 객체이고 @Bean으로 등록되어 있기 때문에 요청을 처리하는 쓰레드들이 현재 설정되어 있는 dataSource를 공유하는 구조가 되어버립니다 😢

그래서 ThreadLocal을 활용하여 아래처럼 각 요청마다 dataSource를 설정할 수 있도록 변경했어요..!

masonkimseoul · 2024-09-27T08:43:04Z

backend/src/main/resources/application-prod.yml

  jpa:
    defer-datasource-initialization: false
    hibernate:
-      ddl-auto: validate
+      ddl-auto: none


이 옵션을 none으로 설정한 이유가 있을까요?

다시 validate로 설정해도 되겠는데요? 테스트하다가 누락된 것으로 보입니다

이부분은 추후 ci 스크립트 넣어서 validate 미리 사용해봐도 좋을 거 같네요~

fromitive · 2024-09-29T12:59:19Z

backend/src/main/java/com/zzang/chongdae/global/config/DataSourceConfig.java

+@Profile("prod")
+@Configuration
+@RequiredArgsConstructor
+@EnableJpaRepositories(basePackages = "com.zzang.chongdae")


EnableJapRepository는 왜 붙여지게 된건가요? 필요없지 않나요??

필요 없는 것으로 판결

helenason

코드 잘 봤습니다!

Spring AOP, DB 분리 등 생소한 개념들이라 재밌게 했네요 :)

관련하여 질문이랑 제안 남겨두었으니 확인 부탁 드립니다~~~

helenason · 2024-10-04T05:25:47Z

backend/src/main/java/com/zzang/chongdae/global/config/DataSourceRouter.java

+@Slf4j
+public class DataSourceRouter extends AbstractRoutingDataSource {
+
+    private static final ThreadLocal<String> contextHolder = new ThreadLocal<>();


+) contextHolder는 멀티스레드 환경에서 스레드별 데이터소스를 지정하기 위한 용도가 맞나요?

helenason · 2024-10-04T05:27:33Z

backend/src/main/java/com/zzang/chongdae/global/config/DataSourceConfig.java

+
+@Profile("prod")
+@Configuration
+@RequiredArgsConstructor


Config 파일에 생성자는 왜 필요한 건가용?

helenason · 2024-10-04T05:49:10Z

backend/src/main/java/com/zzang/chongdae/global/config/DataSourceConfig.java

+    @Bean
+    @ConfigurationProperties(prefix = "spring.datasource.hikari.read")
+    public DataSource readDataSource() {
+        return DataSourceBuilder.create().type(HikariDataSource.class).build();


[질문] 위와 같이 빌더를 통해 데이터소스를 생성하는 방식과 new HikariDataSource()와 같이 생성자를 통해 직접 생성하는 방식의 차이가 궁금해요!

큰 차이 없는 것 같습니다. 가독성 측면에서 이 방법이 더 좋을 것 같아요.

helenason · 2024-10-04T05:51:01Z

backend/src/main/java/com/zzang/chongdae/global/config/DataSourceConfig.java

+    public DataSource dataSource() {
+        return new LazyConnectionDataSourceProxy(routeDataSource());
+    }
+}


[질문] LazyConnectionDataSourceProxy 클래스로 감싼 데이터소스를 사용하는 이유는 성능 때문이 맞나요? (데이터 소스에 대한 연결이 실제로 필요할 때까지 지연되어 성능 최적화에 도움)

[제안] 코드의 흐름상 메서드 구현 순서가 역순이 되면 더 자연스럽지 않을까 싶은데, 어떻게 생각하시나요? 어차피 @DependsOn을 통해 빈 초기화 순서를 지정하고 있기 때문에 주요 빈을 먼저 선언하는 게 좋을 것 같아요! (dataSource -> routeDataSource -> writeDataSource -> readDataSource)

성능을 위해 사용하는 것 맞습니다. (LazyConnectionDataSourceProxy)
제안해주신 방안은 적용하겠습니다.

helenason · 2024-10-04T05:54:09Z

backend/src/main/resources/application.yml

@@ -11,6 +11,7 @@ spring:
    properties:
      hibernate:
        format_sql: true
+    open-in-view: false


해당 속성이 true로 설정되어 있을 때 어떤 문제가 발생했는지 공유해주시면 감사하겠습니다 :)

Open session in view 가 true일 경우 view 부터 트렌젝션이 시작됩니다.
그리고, Transaction 기본 전파 전략은 REQUIRED_NEW 이므로 이는, 기존 트렌젝션이 존재할 경우 새로운 트렌젝션을 새로 생성하지 않습니다 즉, Service에 Transactional을 사용해도 기존 트렌젝션을 유지합니다.
따라서 view에서 Service 메서드를 호출할 때 기존 트렌젝션을 사용하고, 해당 트렌젝션에서 사용하는 DataSource는 우리가 설정한 defaultDataSource를 사용하는데, 이 default dataSource가 readDatabase를 사용해서 Write시 writerDatabase를 사용할 수없는 문제가 발생하게 되었습니다.

다음에 그림으로 설명해 줄게용

helenason

수고했어요 재밌당

* chore: 커스텀하게 만든 datasource 사용해 db 연결 * feat: transactional readonly 값에 따라 datasource 변경 * feat: transactional을 writerDatabase 어노테이션으로 대체 * feat: DataSource 관련 동작 prod 프로필로 제한 * feat: WriterDatabase 어노테이션 적용 * feat: writerDatasource 사용 후 readerDatasource로 변경 * feat: writer db와 user db의 권한 분리 * chore: 배포 테스트 * chore: 직렬로 deploy * chore: cicd 범위 원래대로 수정 * chore: osiv 꺼서 인증필터가 사용한 datasource의 영향 제거 * chore: 바뀐 properties 반영 * chore: prod 배포 * chore: cicd 범위 원복 * chore: health-check 요청으로 불필요하게 찍히는 로그 제거 * chore: prod 배포 * chore: cicd 범위 원복 * chore: log 레벨 info에서 debug로 변경 * chore: prod 배포 * chore: cicd 범위 원복 * chore: db 스키마에 대한 validate 검사 * refactor: 불필요한 어노테이션 제거 * refactor: 메서드 순서 사용 순대로 변경

ChooSeoyeon added 7 commits September 26, 2024 19:54

chore: 커스텀하게 만든 datasource 사용해 db 연결

a559240

feat: transactional readonly 값에 따라 datasource 변경

6e53f85

feat: transactional을 writerDatabase 어노테이션으로 대체

91b33d7

feat: DataSource 관련 동작 prod 프로필로 제한

ccff642

feat: WriterDatabase 어노테이션 적용

fa152e7

feat: writerDatasource 사용 후 readerDatasource로 변경

8ca79d3

feat: writer db와 user db의 권한 분리

950e154

ChooSeoyeon assigned fromitive and ChooSeoyeon Sep 26, 2024

ChooSeoyeon added 13 commits September 26, 2024 21:49

chore: 배포 테스트

766f2c2

chore: 직렬로 deploy

e98b98f

chore: cicd 범위 원래대로 수정

d5c9475

chore: osiv 꺼서 인증필터가 사용한 datasource의 영향 제거

6e712e6

chore: 바뀐 properties 반영

06ca4ad

chore: prod 배포

ff9a8fb

chore: cicd 범위 원복

8ef3d26

chore: health-check 요청으로 불필요하게 찍히는 로그 제거

4fd34fe

chore: prod 배포

0c41e08

chore: cicd 범위 원복

2ebf701

chore: log 레벨 info에서 debug로 변경

a763a32

chore: prod 배포

e131e04

chore: cicd 범위 원복

9f36808

masonkimseoul requested changes Sep 27, 2024

View reviewed changes

fromitive reviewed Sep 29, 2024

View reviewed changes

helenason requested changes Oct 4, 2024

View reviewed changes

ChooSeoyeon added 2 commits October 7, 2024 13:28

chore: db 스키마에 대한 validate 검사

c31fbfa

refactor: 불필요한 어노테이션 제거

86d8dc7

masonkimseoul approved these changes Oct 7, 2024

View reviewed changes

helenason approved these changes Oct 7, 2024

View reviewed changes

refactor: 메서드 순서 사용 순대로 변경

c2bc484

ChooSeoyeon merged commit 82fd915 into develop-BE Oct 7, 2024

ChooSeoyeon deleted the feature/498-transaction-readonly-new branch October 7, 2024 04:58

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

feat: AOP 적용해 읽기/쓰기 DB로 요청 분산 #503

feat: AOP 적용해 읽기/쓰기 DB로 요청 분산 #503

ChooSeoyeon commented Sep 26, 2024 •

edited

Loading

masonkimseoul left a comment

masonkimseoul Sep 27, 2024

fromitive Sep 29, 2024

masonkimseoul Sep 27, 2024

fromitive Sep 29, 2024

masonkimseoul Sep 27, 2024

helenason Oct 4, 2024

fromitive Oct 4, 2024

masonkimseoul Sep 27, 2024

fromitive Sep 29, 2024

ChooSeoyeon Oct 7, 2024

fromitive Sep 29, 2024

masonkimseoul Oct 7, 2024

helenason left a comment

helenason Oct 4, 2024

helenason Oct 4, 2024

helenason Oct 4, 2024

masonkimseoul Oct 7, 2024

helenason Oct 4, 2024

masonkimseoul Oct 7, 2024

helenason Oct 4, 2024

fromitive Oct 7, 2024 •

edited

Loading

helenason left a comment •

edited

Loading

feat: AOP 적용해 읽기/쓰기 DB로 요청 분산 #503

feat: AOP 적용해 읽기/쓰기 DB로 요청 분산 #503

Conversation

ChooSeoyeon commented Sep 26, 2024 • edited Loading

📌 관련 이슈

✨ 작업 내용

📚 기타

masonkimseoul left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

helenason left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

fromitive Oct 7, 2024 • edited Loading

Choose a reason for hiding this comment

helenason left a comment • edited Loading

Choose a reason for hiding this comment

ChooSeoyeon commented Sep 26, 2024 •

edited

Loading

fromitive Oct 7, 2024 •

edited

Loading

helenason left a comment •

edited

Loading