Final 프로젝트

[jlee38266]

기획 개요

• 목표: SearchEngine과 LLM을 활용한 웹툰 추천 서비스
• 리소스: 지원 20만원, 내리는 기준: 16만 aws budget 설정 후, 알림을 받으면 논의 후 진행 예정

Stroy Board

로그인 기능의 경우, User Access log를 쌓기 위해서 필요로 하는 기능이기 때문에 security는 붙이지 않고 단순히 로그로 관리 하기 위한 필드값만 설정 할 예정 -> 이번 프로젝트는 프로파일링이 주요 고려 요소

구현 계획

1. API 데이터 선정

네이버, 카카오, 카카오페이지 웹툰 API를 활용한 API
https://github.com/HyeokjaeLee/korea-webtoon-api?tab=readme-ov-file

• JSON 반환 예시:
  {
  "id": "kakopage_47027026",
  "title": "'카톡대화 백일장' 빵터지는 당선작 모음",
  "provider": "KAKAO_PAGE",
  "updateDays": [
  "MON"
  ],
  "url": "https://page.kakao.com/content/47027026",
  "thumbnail": [
  "https://page-images.kakaoentcdn.com/download/resource?kid=NJAUKxYtHpWQtknp&filename=o1"
  ],
  "isEnd": true,
  "isFree": true,
  "isUpdated": false,
  "ageGrade": 0,
  "freeWaitHour": null,
  "authors": [
  "카카오페이지"
  ]
  }
  

2. 프로젝트 범위 (요구사항) -> 서비스가 어떻게 나올 것이가. 어떤 기능을 제공하고 구현에 있어서 어떤 과정을 필요로 하는지...

1. 검색 CRUD 구현
   • 추천 페이지 존재, 자유 게시판 -> CUD 테스트를 해보기 위한 기능 구현
2. 회원 조회만 구현
   • 회원 정보 기반 맞춤 웹툰 추천
3. AI 추천 시스템
   • 추천 플로우 작성
   • 쿼리 예시: 30대 남성이 많이 조회한 웹툰을 알려줘
   • 현재 제공된 데이터는 장르, 요약이 없으므로 추후에 해당 필드값이 추가될 수 있을 시 -> 좀 더 다양한 프롬프트를 시도 가능
4. 로그 처리 (회원은 맞춤 추천을 받을 수 있지만, 비회원은 맞춤 추천을 받을 수 있다)
   • access log:
     사용자 활동 로그(특정 사용자가 웹툰을 선택할 시, 사용자의 기본 정보, 클릭한 웹툰의 url과 클릭한 시간을 저장 )
     만약 비회원이 서비스를 사용하려고 한다면 회원가입을 강제해야 하는가? or 클릭한 웹툰의 url, 클릭한 시간을 이력으로 관리해야 하는가?
   • error log:
     서비스 코드의 예외 처리를 하고 해당 에러를 로그 파일로서 저장 (서비스 에러 처리량에 따라 보존 기간, 순환 정책 수립 필요, 에러의 심각도와 빈도 고민 필요)
5. 모니터링 시스템 구축
   • promethus, grafana로 모니터링 시스템 구축:
     (USE, RED 부분 스터디 중, 추후 모니터링 할 메트릭 디자인 예정)
6. 클라우드 환경 구축
   • AWS EC2, S3, EKS, OpenSearch, VPC, Subnet, GateWay, NAT:
     Redis를 쓴다면 EC2 직접 올리기 또는 elastic cache에서 캐시를 사용하는게 좋은지 의견 필요,
     테스트 환경과 실제 배포 환경은 구분 될 예정 -> 로컬 테스트를 할 시에는 ELK로 테스트? 배포시에는 ELK를 EC2에 올린다? OpenSearch Service를 사용? -> 어떤 서비스로 구현을 해도 한다면 하나의 서비스로 통일은 필요(테스트와 배포 환경 기술 스택 일치)

기술 스택

Java17: LTS, v11과 비교하여 더 개선된 가비지 컬렉터, v21의 경우 성능 차이가 극명하게 다르지 않고, 가상 스레드를 도입할 예정이 없기 때문에 기존에 생태계와 2029년까지 사용할 수 있는 java17을 채택
vue3: 다른 프레임워크 및 라이브러리 비해 빠르게 프로젝트를 띄울 수 있기에 채택
DB: 조언 필요 (구체적인 테이블의 갯수와 필드명은 논의 통해 도출 필요 -> 러프하게는 현재 유저, 게시판 테이블, 웹툰 데이터 테이블 필요)

3. 개발 및 프로파일링 일정 (6주) - 7월 8일 기준 시작

   - 1-2주차: 요구사항 분석 및 설계 (local 서버, 화면 구축), 가능하다면 db 클러스터링, 네트워크 HA 구성 (너무 과하다고 생각될 시 조율 필요)
   - 3주차: local 환경 기준, 서비스 단위 테스트, 로드 테스트 코드 구현을 위한 스터디 및 시도
   - 4주차: 로드 테스트 실행 및 트러블 슈팅
   - 5주차: 로컬 테스트 기반 클라우드 서비스 시작 ( terraform 사용 ) 
   - 6주차: 산출물 문서화

4. 팀 역할

5. 프로파일링 및 성능 최적화 중심 작업

6. 성능 테스트 및 분석

7. 프로파일링 도구 및 기술

8. 최적화 영역

9. 문서화

10. 추가 고려사항

[jlee38266]

1. 프로젝트 지향점 -

   1. 로드 테스트와 프로파일링을 통해 모니터링 및 코드 레벨 개선 경험
   2. 사용자 엑세스 로그 수집과 처리
   3. IaC를 통한 CLI 환경에서의 인프라 관리 경험
   4. Search Engine의 기능을 활용하기 위한 최소한의 메소드 기능 구현
   5. 프론트의 경우 이틀 안에 끝낼 수 있을 정도의 심플함 추구

2. 사용해본 기술 또는 경험 -

• Front: Vue3, js, html, css

  • 프론트의 경우 서버에서 넘겨주는 데이터를 보여주기 위한 컴포넌트를 만드는 정도로만 활용해봤습니다.

• Backend: Java, spring-data-jpa, mybatis, Junit5 -> Java 17, JPA를 활용하여 Restful 하게 간단한

  • CRUD를 만들 수 있으며, SMTP를 활용한 알림 기능을 구현한 경험이 있습니다. Junit5 기반으로 간단한 단위 테스트와 테스트용 로컬 서버를 활용하여 격리된 테스트를 해본 경험이 있습니다.

• DB: MariaDB

  • 데이터 삽입 후, 간단한 쿼리문으로 조회를 위주로 사용했습니다.

• Infra: Docker

  • iamge를 만들고 dockerhub에 올리는 용도로만 활용해 봤습니다.

• collaboration: Git, Github, SourceTree, Notion, Slack, Discord, Postman

  • Git을 활용하여 브랜치를 관리할 수 있으며, 범용적으로 쓰이는 소통툴을 활용할 수 있고, Postman을 통해 API 요청 테스트를 해본 경험이 있습니다.

[t4e1]

프로젝트 지향점

1. 로드 테스트와 프로파일링을 통한 병목 현상 모니터링과 해당 현상을 개선할 수 있는 미들웨어 / 코드 레벨의 개선을 경험해보기.
2. 사용자 액세스 로그 수집과 처리(파일 기반 저장 -> SearchEngine 처리 ), 에러 로그의 수집과 처리(1.Loki 기반 2.파일 기반) 경험해보기
   2-1. 사용자 액세스 로그를 사용한 사용자 맞춤 추천 시스템 구축
3. AWS 클라우드 환경 구축의 기본(VPC -> 서브넷 설정 -> GW -> 이후 기타 서버 구축)에 대한 이해와 구축
   3-1. AWS 서비스의 적절한 사용 방법 경험(ex. 부분적 Lambda 사용)
4. 가능하다면 데이터베이스 튜닝(어느 DB를 쓸지는 모르겠지만)

사용해본 기술 또는 경험

• Backend(Code):
  • Springboot
  • Spring Security(with JWT)
  • 간단한 TestCode 작성 (Assertions)
  • WebSocket Session을 사용한 간단한 채팅 기능 구현
• Backend(DB):
  • Maria DB : DB 튜닝은 경험 x, 유저, DB, Table생성 및 권한 부여 까지만 할 수 있습니다. HA는 Master - Slave로만 간단히 구성 해봤고 Cluster는 공부는 해본 적이 있습니다.
• Backend(Infra):
  • Jenkins를 사용한 CI/CD ( github -> docker hub / elastic beanstalk )
  • AWS (Elastic Beanstalk 를 사용한 배포, EC2 단독 서버, S3, Route53)
  • 간단한 Docker 및 k8s 사용(build, pull, run, deployment/service 설정 파일 생성 등)

[jhlee6515]

프로젝트 지향점

1. 단순 기능 개발보단 성능 측정 및 개선으로 옵티마이즈 해보기
2. 클라우드 환경에서 개발 경험 해보기
3. 프로젝트에서 필요한 새로운 기술들을 공부하고 적용해보기

사용해본 기술

• Spring Boot(Java)
• Spring Security(JWT/Oauth 인증)
• MyBatis, JPA
• MariaDB

[koyoung99]

프로젝트 지향점

1. aws 클라우드환경 자세하게 공부하기
2. 필요한기술 공부하고 익히기

사용해본 기술 또는 경험

• vue3, html, css
• java, spring boot, mybatis
• docker - github action