소개

안녕하세요, 3D 엔지니어 이기섭 입니다.

저는 이런 사람입니다!

도전적이고 새로운 기술에 거부감이 없는

- 새로운 디바이스 및 환경 등 프로젝트 진행에 맞춰 필요한 새로운 기술들을 빠르게 학습하고 적용해왔습니다.

개선적이고 실행력있는

- 테니스 동아리의 부흥을 위해 부원들의 요구사항을 분석하고 앱을 개발하여 동아리에 적용시켜 보았습니다.

협업 및 커뮤니케이션이 잘되는

- 학부와 대학원 재학 중 여러 공모전과 학술대회에 적극 참가하면서 동료 및 선배들과 원활하게 소통하고 협력하여 8편의 논문을 게재하고 9번의 수상경력을 쌓았습니다.
- 협업에서는 의견 존중과 진행 상황 공유를 항상 중요하게 생각합니다.

기술 스택

C#, Unity

- 객체지향 프로그래밍에 대해 이해하고 싱글톤 디자인 패턴을 적용하여 앱을 개발할 수 있습니다.

- Unity를 사용해 애플리케이션 개발 및 출시 경험이 있습니다.

- MetaXR, MRTK, ARFoundation 등 다양한 XR 개발 도구를 활용한 프로젝트 경험이 있습니다.

Python, Pytorch

- pandas, numpy, matplotlib 등의 라이브러리를 사용하여 데이터 처리와 시각화 작업을 수행할 수 있습니다.

- PyTorch를 이용해 LSTM, Transformer 기반의 딥러닝 모델을 설계, 구현 및 학습시킨 경험이 있습니다.

C++, Computer Vision & Graphyics

- C++ STL을 활용하여 다양한 알고리즘 문제를 해결할 수 있습니다.

- OpenCV를 사용해 이미지 스티칭, 카메라 캘리브레이션 등의 컴퓨터 비전 기술을 실습해 보았습니다.

- 학부 그래픽스 수업에서 OpenGL, GLFW, GLSL을 사용하여 렌더링 파이프라인 구현을 실습해보았습니다.

앱 개발

- Flutter와 Dart를 사용하여 앱 개발 및 출시 경험이 있습니다.

- SwiftUI를 활용하여 iOS 네이티브 앱을 개발해 보았습니다.

- Firebase를 이용해 데이터 관리 및 사용자 인증 시스템을 구현한 경험이 있습니다.

이력서

아이콘 클릭 시 새 창에서 해당 사이트가 열립니다.

교육

한양대학교, 서울
2022년 9월 ~ 2024년 8월
컴퓨터소프트웨어학과 (석사) , GPA: 3.81/4.5
경북대학교, 대구
2018 3월 ~ 2022년 8월
컴퓨터학부 글로벌소프트웨어융합전공 (학사) , GPA: 3.56/4.5
옥스탠드 국제학교, 선전, 중국
2014년 8월 ~ 2017년 7월
고등학생

경험

혼합현실 연구실 - 한양대학교
2022년 7월 ~ 2024년 8월
대학원생(석사과정)
'황기환, 그의 귀환' 야외형 미션추리게임 - OREH
2023년 2월 ~ 2023년 6월
앱 개발자
이미지 처리 및 분석 연구실 - 경북대학교
2020년 7월 ~ 2021년 12월
학부 연구생
컴퓨터학부 - 경북대학교
2020년 3월 ~ 6월 (1학기), 2022년 3월 ~ 6월 (1학기)
c/c++프로그래밍기초 수업 조교
2020년 9월 ~ 2021년 1월 (2학기, 계절학기)
빅데이터기초실습 수업 조교

해외 경험

캐나다 - University of Calgary (Human-X Interaction Lab)
2023년 9월 ~ 2024년 2월
방문연구원
인도 - LG Soft India
2021년 1월 ~ 2월
온라인 인턴십
에스토니아 - Tallinn University
2018년 7월 ~ 8월
계절학기 교환학생
중국 - Oxstand International School, ShenZhen
2014년 8월 ~ 2017년 6월
고등학교 유학생

활동

경북대학교 테니스 동아리 (KUTC)
2018년 3월 ~ 2022년 8월
2019년 운영진(지도부장)
멋쟁이사자처럼 - 대학연합 IT동아리
2020년 3월 ~ 2021년 12월
2020년 8기 아기사자(신입부원)

2021년 9기 운영진(교육팀)
경북대학교 빅데이터 전문가 육성과정
2019년 9월 ~ 12월

프로젝트

건설XR: 건설현장 보조 시스템

프로젝트 개요

이 프로젝트는 홍익대학교 디자인학과 학생들과 협업하여 미래의 건설산업에 대비한 HoloLens2 기반 건설현장 보조 시스템을 개발하는 것을 목표로 했습니다.

건설현장의 높은 소음과 넓은 작업환경으로 인해 고립된 작업자의 돌발 사고 시 즉각적인 대응이 어렵다는 문제에 착안하여, 수동 및 자동 구조요청 기능을 구현했습니다.

자동 구조요청의 경우 작업자의 의식 상실 상황에 대비해 가상 스턴트맨 시뮬레이션과 LSTM 네트워크를 활용한 자동 사고 감지 기능을 개발했습니다.

구성 인원

- 개발: 2, 디자인/기획: 2

담당 역할

- 시선을 활용한 상호작용 구현

- 구조 요청 기능 구현

- 추락, 충돌 사고 시뮬레이션 구현

- 머리 움직임 데이터 추출 및 네트워크 모델 학습

- 학습된 모델의 Unity 환경 내 추론 구현

시기 및 기간

- 한양대학교 혼합현실 연구실(석사과정 2기)

- 2022년 10월 ~ 2023년 9월

타겟 플렛폼

- MS HoloLens 2

사용 기술

C# Python MRTK Barracuda Pytorch ONNX Unity3D Jupyter Notebook Visual Studio

첨부자료 링크

(논문) A Framework for Emergency Rescue Request on Construction Site in XR

(논문) Virtual Agent Simulation for Head Motion-Based Accident Detection Model on Construction Site

수동 구조 요청

SOS 구조 요청

메인 화면 양쪽 상단에 구조 요청을 보내기 위한 SOS 버튼이 있습니다. 구조 요청은 두개의 SOS 버튼 중 하나를 3초 동안 응시하거나 터치하여 활성화할 수 있습니다.

사용자가 SOS 버튼 및 버튼을 활성화하고 있다고 인지시키기 위해 세가지 피드백을 제공하였습니다.

최대 게이지 표시: 버튼 크기의 2배인 빨간색 원이 SOS 버튼 뒤에 나타납니다.
버튼 사이즈 변화: SOS 버튼이 점차 커집니다. 버튼의 크기는 3초 동안 첫 번째 효과로 생성된 원의 크기만큼 증가합니다.
원형 타이머 생성: 작업자가 바라보고 있는 지점에 원형 타이머가 생성되며 긴급 요청이 실행될 때까지 남은 시간이 숫자로 표시되고 게이지바가 채워지게 됩니다.

SOS 버튼이 활성화 되면 배경이 빨간색으로 바뀌고 사용자는 재확인 창을 제외한 다른 구성 요소와 상호 작용할 수 없게 됩니다.

"예" 버튼과 "아니오" 버튼은 시선을 통한 상호작용의 오차를 최대한 방지하기 위해 양쪽 끝에 배치하였습니다.

SOS 버튼 및 모든 버튼들은 시선과 터치를 통해 상호작용이 가능합니다.

구조 요청 완료 및 수신

(1) 구조 요청자 시점

구조 요청이 완료된 후 '요청 완료' 팝업창이 생성되며 3초 후 메인 화면으로 돌아가게 됩니다.

(2) 작업 팀장 시점

구조 요청이 발생하면 작업 팀장에게 요청자의 캡처된 시야 정보가 전달되며 작업 팀장은 받은 정보를 통해 119 신고와 동시에 빠른 대응을 취할 수 있습니다.

자동 구조 요청

가상 스턴트맨 설정

충돌 및 추락 상황을 연출하기 위해서 유니티 게임엔진의 Ragdoll physics 기능을 사용하였습니다.

기본(Idle) 상태의 에이전트에 충돌을 감지하는 콜라이더를 설정하여 콜라이더에 충돌 객체가 감지될 경우 기본 상태 에이전트의 각 관절의 위치와 회전 값을 ragdoll physics가 적용된 에이전트에 동일하게 적용한 후 교체시켰습니다.

시뮬레이션 구현

자재 충돌 사고 : 벽돌

자재 충돌 사고 : 파이프

자재 충돌 사고 : 철 기둥

자재 충돌 사고 : 철망 펜스

추락 사고 : 사다리

추락 사고 : 임시 발판

본 프로젝트에서는 자재 낙하로 인한 충돌 사고와 고층 높이에서 떨어지는 추락 사고를 구현하였습니다.

충돌 사고를 재현하기 위해 충돌 객체: 벽돌(brick), 파이프(pipe), 철 기둥(steel pillar), 철망 펜스(wire fence) 4 가지를 캐릭터의 일정 높이 위에서 낙하 시켰습니다. 각각의 초기 무개는 5kg, 40kg, 60kg, 15kg로 설정하였습니다.

추락 사고를 재현하기 위해 에이전트를 임시 발판과 사다리 위에 위치시킨 후, AddForce() 함수를 사용해 흉부 쪽으로 힘을 가해 밀쳐내는 방식을 사용했습니다. 이때 힘은 'impulse' 모드로 적용했습니다.

일반 상황의 경우 30개의 일상 생활 관련 모션 에니메이션 클립을 사용하였습니다.

데이터 생성

학습 데이터를 생성하기 위해 매 시뮬레이션에서 특정 매개변수를 무작위로 설정하여 여러 시나리오 진행하였습니다.

충돌 객체: 충돌 객체의 높이와 무게는 기존 값에 1.0에서 2.0 사이의 무작위 값을 곱하였습니다. scale은 무게와 동일 값을 곱해주었습니다.
에이전트: 충돌, 추락, 일반 상황 모두에서 에이전트를 y축을 기준으로 무작위로 회전시켰습니다.
일반 상황 애니메이션: 애니메이션의 재생 속도를 0.5 ~ 1.5 사이의 무작위로 설정하였습니다.

머리 움직임 데이터는 60fps로 고정한 후 매 프레임마다 에이전트 머리의 position, rotation, velocity, angular velocity 값을 수집했습니다.

충돌 객체 및 낙하 유형 별로 각 100회씩 총 600회의 시뮬레이션을 진행하였고 그 중 연속된 30 프레임을 무작위로 1000개 추출하였습니다.

일반 상황 데이터 또한 각 에니메이션 클립 별로 10회씩 총 300회 시뮬레이션을 진행한 후 연속된 30 프레임 1000개를 추출했습니다.

네트워크

사고 감지 모델의 입력은 연속된 30프레임으로 구성되며, 각 프레임은 정규화 되어 13 차원으로 이루어져 있습니다. 머리 움직임 데이터의 순차적 특성을 고려하여, conv1d-LSTM 구조의 신경망을 채택하였습니다.

최종적으로 SoftMax 함수를 사용하여 위험 상황과 일반 상황의 두 가지 클래스에 대한 확률 값을 추출했습니다.

활성화 함수로는 ReLU를 사용했으며, 손실 함수와 최적화 알고리즘으로는 각각 Cross-Entropy와 Adam을 사용했습니다.

실험 및 결과

일반 상황 데이터 1000개, 사고 상황 데이터 1000개를 가지고 아래와 같이 하이퍼파라미터를 설정한 후 학습을 진행한 결과 테스트 데이터셋 정확도 94.95%를 얻었습니다.

데이터셋 비율: Test 20%, Validation 16%, Train 64%
Learning rate: 0.001
Epochs: 20
Batch size: 64

개발된 시스템의 실제 성능을 검증하기 위해 유니티 엔진의 신경망 추론 라이브러리인 Barracuda를 활용하여 학습된 LSTM 모델을 통합하였습니다.

테스트 결과, 구현된 시뮬레이션 상에서 충돌 사고와 추락 사고를 성공적으로 식별해내는 것을 확인했습니다.

KUTC