멋진 머신러닝 개발자가 되고 싶은 주니어 개발자입니다!
🇰🇷 Republic of Korea
🎂 Feb. 1996
-
Gimpo Foreign Language High School (2011~2014)
-
Bachelor's degree in Computer Science and Engineering @ DGIST (2014~2018)
-
Master's degree in Computer Vision @ DGIST VC lab (2018~2020)
-
IPIU 2020 Paper Accept (1st Author) - 머리 부분 탑재형 디스플레이를 이용한 실시간 3차원 눈 표정 재건축
Paper Abstract
While recently some approaches to capture facial expressions of users wearing HMDs have been proposed, most of them can handle only a limited set of eye expressions such as opening and closing of eyes. To overcome this, in this paper, we propose a novel approach to recognition and reconstruction of detailed facial expression of a user wearing a HMD in the eye region in real-time. Our approach models the eye expression of a user using a 3D blenshape model to enable 3D reconstruction of eye expression. To capture eye expression of a user, our approach adopts infra-red (IR) cameras installed inside a HMD, and a light-weight neutral network model that takes a pair of images of both eyes captured by IR cameras, and predicts the blendshape parameters. To train our neural network, we built a dataset by capturing real eye images of users and manually annotating them. Experimental results show that our approach can handle diverse eye expressions such as frowning compared to previous approaches.
-
SSAFY (Samsung Software Academy for Youth) 4th (2020~2021)
-
Participate SIGGRAPH 2019 / IPIU 2020, 2019, 2018 / ICCV 2019
-
신세계 I&C 기업 연계 프로젝트 - 셀프스토어 활성화를 위한 가상 장바구니 App Web 사이트 개발 @SSAFY (진행중)
-
시각 장애인을 위한 장보기 앱 See장 @SSAFY (2021)
- SSAFY 공통 프로젝트 1등 / UCC 3등
- Object Detection을 이용해 찾고자 하는 상품명을 말하면 상품이 사용자 위치를 중심으로 어디에 위치해 있는지 음성 출력으로 알려줌.
- Image Classification을 이용해 손에 들고 있는 상품을 판별해 음성 출력으로 알려줌.
- 맡은 역할 : Object detection, Image Classification 구현 전반 (학습용 데이터 생성 및 학습)
-
부동산 매물 거래가 내역 확인을 위한 웹사이트 HappyHouse @SSAFY (2020)
- SSAFY 관통 프로젝트 2등
- 서울시 부동산 매물 거래 정보를 확인할 수 있고 지도를 통해 매물 정보 및 주변 상권과 편의시설 정보 또한 확인 가능.
- 관심동네로 설정한 동네의 매물을 한눈에 볼 수 있고 주위에 원하는 상권이나 편의시설의 유무 또한 쉽게 확인 가능.
- 관심동네로 설정하지 않은 다른 동네 중 원하는 상권이나 편의시설이 있는 동네의 매물을 추천해줌.
- 맡은 역할 : DB 데이터 정제, 메인페이지 제작 및 전체 UI css form 제작, 매물 지도 표시 기능, 매물 검색 기능, 매물 상세보기 페이지 제작, 주변 상권정보 지도 표시 기능, 찜 목록 페이지 제작.
-
초실감 원격가상 인터랙션을 위한 사용자 복원 기술 개발 프로젝트 @DGIST VC lab (2018~2020)
- 한국 연구재단 지원
- 참여 연구소 : 고려대학교, KAIST, POSTECH, DGIST
- 카메라를 이용해 사용자의 모습을 촬영한 것을 3차원 컴퓨터 상에서 실시간으로 렌더링해 궁극적으로 서로 다른 장소에 있는 다수의 사람들이 렌더링된 서로를 만날 수 있게끔 하는 프로젝트.
- 맡은 역할 : DGIST 연구 책임자로써 얼굴 표정 중 눈 부분을 집중적으로 모델링.
- 3d Reconstruction 방식 중 Blendshape 방식을 이용해 진행하였으며 이 과정에서 눈 표정에 특화된 parameter 를 자체적으로 만들고 성공적으로 학습시켜 실시간 3d Reconstruction 이 가능하게 했으며 이를 바탕으로 논문 또한 제출함.
- 대외비 프로젝트로 전체 코드는 공개 불가.
-
길건너 친구들 (2018)
- C++에서 vertex shader 와 fragment shader 를 사용해 길건너 친구들 게임을 각각 2d 와 3d 로 구현.
-
그래프 형태의 빅데이터 분석을 위한 알고리즘 연구 및 GPU 프로그래밍 @DGIST (2016)
- 학부생 3학년 4명이 팀을 이뤄 대학원 연구실에서 제안한 과제를 1년 동안 수행하고 학기 말에 각자의 결과를 발표하는 DGIST 교내 프로그램인 UGRP에서 수행한 과제.
- 정보통신융합 전공 내 UGRP 프로젝트 1등
- GPU상에서 아직 구현되지 않은 algorithm 을 구현하고 좀 더 효율적으로 만들 수 있는 방법에 대해 연구한 프로젝트. Betweenness Centrality, Clustering Coefficient, Minimum Spanning Tree and Triangle Counting 의 4개 algorithm 에 대해 연구를 진행했고 이 중 일부 알고리즘들은 parallel computation 에 특화된 GPU 기반으로 코드를 구현함.
- 맡은 역할 : Develop & Optimize Triangle Counting algorithm
- UGRP 프로그램 종료 후 본인이 구현한 코드와 알고리즘을 바탕으로 과제를 제안한 연구실의 석박사 과정 대학원생들이 연구를 진행함.
-
숫자 야구 게임 (2015)
- Java를 이용해 server와 client 구축 후 2명이 숫자 야구 게임을 즐길 수 있도록 구현.
-
️반려견을 키우는 집사 🐕 (진주 / 2020.11.13 생일 추정)
-
오로라 🌠 를 보러 혼자 떠났던 노르웨이
-
대학교 4년 동안 끊이지 않던 아르바이트 🏃