Implement Loki Storage features by MinIO installation #11
Assignees
Comments
3 tasks
Dobby-Kim
added a commit
that referenced
this issue
Feb 5, 2024
… saved) #11 (#12) * feat(Caddyfile): add init Caddyfile * feat(docker-compose): add minio basic settings on docker compose file * feat(loki-config): modify storage from filesystem to MinIO and add its configurations * chore(workflow): change docker compose commands due to changes of profile tags * chore(Caddyfile): erase old Caddyfile * feat(loki-config): set log saving period by max 1 min * feat(minio): set log storage to use docker volume permenantly. * chore(minio config): hide minio host secrets * chore(loki-config): set minio root secrets * chore(workflow): set github action minio secrets env * chore(docker-compose): set minio root secrets as env * chore(docker-compose): set minio root secrets as env * fix(docker-compose): set minio root secrets as env * fix(loki-config): swap minio root user-password location * chore(loki-config): modify typo * fix(docker-compose): set loki env command setting * chore(workflow): add grafana docker container build command * chore(docker-compose): add minio container profile * feat/fix: apply NAT IP only AWS to LOKI request by Caddy (#13) * feat/fix: apply NAT IP only AWS to LOKI request by Caddy 1. codedang AWS에서 오는 요청만 LOKI에서 수집하기 위해 Caddy에서 특정 NAT IP만 프록시하도록 설정하였습니다. 2. github action flow 를 보완하였습니다. - Caddy를 reload하는 과정은 static frontend file mount가 정상적으로 작동하지 않았을 때 해결하는 과정이므로 불필요하다고 생각합니다. - 사용하지 않는 volume을 삭제하는 과정은 추후 로그 분석시 이전 log가 삭제될 가능성을 염두하였을 때 불필요하다고 생각합니다. - container가 running인지 확인하는 과정은 log container에 국한되므로, 이를 분리합니다. * fix(Caddy): reload caddy not running compose caddy up always - Caddy를 reload하는 것은 필수적입니다. 매번 docker compose 실행시, Caddy에서 TLS인증서를 매번 새로 받아오므로 문제가 생길 수 있습니다. 따라서, 컨테이너는 계속 유지시키고, reload만 하는 방법으로 수정합니다. * Caddyfile secret 변수 주입 (#14) * feat/fix: apply NAT IP only AWS to LOKI request by Caddy 1. codedang AWS에서 오는 요청만 LOKI에서 수집하기 위해 Caddy에서 특정 NAT IP만 프록시하도록 설정하였습니다. 2. github action flow 를 보완하였습니다. - Caddy를 reload하는 과정은 static frontend file mount가 정상적으로 작동하지 않았을 때 해결하는 과정이므로 불필요하다고 생각합니다. - 사용하지 않는 volume을 삭제하는 과정은 추후 로그 분석시 이전 log가 삭제될 가능성을 염두하였을 때 불필요하다고 생각합니다. - container가 running인지 확인하는 과정은 log container에 국한되므로, 이를 분리합니다. * fix(Caddy): reload caddy not running compose caddy up always * fix(Caddy): edit env variable of Caddyfile * Caddy 관련 flow 다시 수정합니다. (#15) * feat/fix: apply NAT IP only AWS to LOKI request by Caddy 1. codedang AWS에서 오는 요청만 LOKI에서 수집하기 위해 Caddy에서 특정 NAT IP만 프록시하도록 설정하였습니다. 2. github action flow 를 보완하였습니다. - Caddy를 reload하는 과정은 static frontend file mount가 정상적으로 작동하지 않았을 때 해결하는 과정이므로 불필요하다고 생각합니다. - 사용하지 않는 volume을 삭제하는 과정은 추후 로그 분석시 이전 log가 삭제될 가능성을 염두하였을 때 불필요하다고 생각합니다. - container가 running인지 확인하는 과정은 log container에 국한되므로, 이를 분리합니다. * fix(Caddy): reload caddy not running compose caddy up always * fix(Caddy): edit env variable of Caddyfile * fix(cd): set env by secret * feat(Caddyfile): add init Caddyfile * feat(minio): create bucket when run minio container * feat(github action workflow): implement command * fix: delete old file * feat(github action workflow): modify workflow commands * feat(github action workflow): modify workflow commands * chore(docker-compose): modify minio command --------- Co-authored-by: Taehoon Kim <95288696+goathoon@users.noreply.github.com>
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Describe the problem and solution
Loki가 가공한 log 및 event data를 현재 local filesystem을 이용하여 저장 중입니다.
더 나은 쿼리 성능으로 향상시키고 총 소유 비용을 줄이기 위해 MinIO를 도입합니다.
3번 Stage sever에 MinIO 컨테이너를 빌드하고, loki config을 수정하여 저장 수단을 변경합니다.
Validations
The text was updated successfully, but these errors were encountered: