About Me
데이터 생성부터 데이터 소비까지, 데이터의 end-to-end를 책임지고 데이터가 잘 흐르고 다양하게 활용될 수 있도록 꿈꾸고 실현하는 최승호입니다. 어떻게 하면 안정적인 데이터 파이프라인을 구축할 지, 어떻게 하면 비용효율적으로 데이터 플랫폼을 구성할 지, 어떻게 하면 데이터 분석에 집중할 수 있는 환경을 만들어 줄 지 지속적으로 고민하고 테스트하고 도입하는 데이터 엔지니어입니다. 데이터를 통해 인사이트를 낼 수 있다고 생각하고, 그 가치가 무궁무진하다고 믿습니다. 조직이 공통된 목표를 향해 나아갈 수 있도록 중간에서 커뮤니케이션하며 업무를 진행하여 인사이트를 내는데 도움이 되기를 희망합니다.
Work & Project
01. AWS RDS Aurora → Google Bigquery Multi-Cloud Near-Realtime(CDC) Data Pipeline
AWS DMS CDC, Lambda, SQS를 활용하여 RDS Aurora의 데이터를 Google Bigquery로 준실시간으로 이동하는 데이터 파이프라인 구축
02. Trino on AWS ECS
Trino를 AWS ECS에 배포하여 사용자들이 다양한 데이터 소스를 확인할 수 있고 DataLake 형태로 데이터를 사용할 수 있게 확장함
03. Text To SQL Using LLM
Chainlit과 LangChain(LangServe)를 활용하여 챗봇형태의 Text To SQL을 구축하여 데이터 추출 요청을 줄이고 사용자들이 쉽게 데이터를 추출할 수 있게 함
04. RDB to DW ETL Evolution
SaaS, Snapshot, Query, CDC 등 다양한 형태의 ETL을 구축해가며 상황에 맞는 ETL을 선택하고, 이를 통해 Source DB에 영향없이 효과적으로 데이터를 추출하여 DW에 적재하는 경험을 쌓음
05. Infra Management
AWS Cloud상에서 IaC(Terraform), DW(Redshift/Bigquery) Monitoring, Grafana를 통한 인프라 모니터링 및 알람, Cost Optimization, 공용라이브러리 등 다양한 인프라 관리 경험을 쌓음
06. Various Data Source
다양한 데이터 소스(ElasticSearch, DynamoDB, Timeseries(prometheus, influx), redis, 구글/애플마켓, data.ai 등)로부터 데이터 파이프라인을 구축하여 데이터 분석의 확장을 지원함
07. Etc
마케팅 비용 관리 사이트, AI 배치(어뷰저탐지, 고객이탈, 첫구매예측) 등의 기능을 개발하고 운영함
Experience
Neowiz
Data Engineer, 2020.07 - Present
Skills
ETL간 Source DB에 영향을 최소화하며 Fault-Tolerant한 데이터 파이프라인을 구축한 경험이 있습니다.