All Projects
01. AWS RDS Aurora → Google Bigquery Multi-Cloud Near-Realtime(CDC) Data Pipeline
AWS DMS CDC, Lambda, SQS를 활용하여 RDS Aurora의 데이터를 Google Bigquery로 준실시간으로 이동하는 데이터 파이프라인 구축
02. Trino on AWS ECS
Trino를 AWS ECS에 배포하여 사용자들이 다양한 데이터 소스를 확인할 수 있고 DataLake 형태로 데이터를 사용할 수 있게 확장함
03. Text To SQL Using LLM
Chainlit과 LangChain(LangServe)를 활용하여 챗봇형태의 Text To SQL을 구축하여 데이터 추출 요청을 줄이고 사용자들이 쉽게 데이터를 추출할 수 있게 함
04. RDB to DW ETL Evolution
SaaS, Snapshot, Query, CDC 등 다양한 형태의 ETL을 구축해가며 상황에 맞는 ETL을 선택하고, 이를 통해 Source DB에 영향없이 효과적으로 데이터를 추출하여 DW에 적재하는 경험을 쌓음
05. Infra Management
AWS Cloud상에서 IaC(Terraform), DW(Redshift/Bigquery) Monitoring, Grafana를 통한 인프라 모니터링 및 알람, Cost Optimization, 공용라이브러리 등 다양한 인프라 관리 경험을 쌓음
06. Various Data Source
다양한 데이터 소스(ElasticSearch, DynamoDB, Timeseries(prometheus, influx), redis, 구글/애플마켓, data.ai 등)로부터 데이터 파이프라인을 구축하여 데이터 분석의 확장을 지원함
07. Etc
마케팅 비용 관리 사이트, AI 배치(어뷰저탐지, 고객이탈, 첫구매예측) 등의 기능을 개발하고 운영함