Azure Data Migration Engineer

포지션 상세 정보

기술스택

Azure Data Factory
Spark
AZURE
Databricks
PySpark

주요업무

단순 사용자가 아닌, 데이터 수집부터 검증·운영화까지 End-to-End 전환을 주도합니다.
• Data Pipeline 전환: 기존 On-Premise(Hadoop/Hive/Shell) 환경을 Azure 기반(ADF + Databricks)으로 마이그레이션
• 아키텍처 설계: Premium Block Blob Storage 기반의 Landing/Raw 영역 적재 및 권한 구조 설계
• 워크플로우 최적화: Databricks Jobs DAG 구성 및 재처리(Retry, Backfill) 프로세스 설계
• 품질 및 운영 안정화: 데이터 정합성 검증(Checksum, Hash), 병행운영 및 Cutover/Rollback 절차 수립

자격요건

• Azure 기반 수집/적재: ADF pipeline 개발 및 Azure Blob Storage(Premium SKU, LRS) 설계 경험
• 빅데이터 전환 역량: Spark/PySpark 기반 개발 및 Hive/Shell 워크플로우 분석/전환 가능자
• 데이터 거버넌스: 마이그레이션 전/후 데이터 정합성 검증(Row/Key count, 지표 합계 비교) 경험
• 운영 설계: 배치의 의존성(Dependency), Retry, Timeout, Backfill 프로세스 설계 경험
• Git 기반 코드 관리 및 운영 Runbook 작성 역량

우대사항

• Hadoop 에코시스템: Hadoop/HDFS/Hive/Oozie 플랫폼 분석 경험자
• DevOps & 보안: Databricks Asset Bundles, Key Vault, Private Endpoint, Managed Identity 경험
• 도메인: 대용량 광고/미디어 데이터 처리 및 일/월 단위 배치 운영 경험

복지 및 혜택

- 연차 및 경조사 휴가 제공
- 유연한 출퇴근제

채용절차 및 기타 지원 유의사항

-