포지션 상세 정보
- 기술스택
MongoDBRNoSqlMachineLearningMATLABAWSDeepLearningPythonDockerSQL
- 주요업무
• 데이터 웨어하우스 구축 및 운영 데이터 웨어하우스에 대한 설계 구축 및 운영합니다. • 데이터 파이프라인 설계 및 운영 정형 및 비정형 데이터에 대한 분석과 ETL / ELT 데이터 파이프라인을 설계 및 운영합니다. • 데이터 가공 분석을 위한 환경 구성 및 운영 관련된 부분의 인프라 및 기반 시스템 운영 관리, 모니터링을 진행합니다. *현재 진행중인 프로젝트 - Channel Manager(A/B 테스팅)에서의 사용자 데이터 수집 및 분석 - IVI(In-Vehicle Infotainment) 단말의 대량 로그 수집 및 집계 - CCS(Connected Car Service) 대량 데이터 수집 및 집계 ✓이렇게 성장 할 수 있어요 • 데이터 파이프라인 구축 가능 각 프로젝트(Channel Manager/IVI/CCS/Surffy)에서 발생하는 다양한 정형 및 비정형 데이터에 대한 분석과 ETL / ELT 데이터 파이프라인을 설계 및 운영해볼 수 있습니다. • 데이터 웨어하우스 매니징 현재 기획 단계에 있는 프로젝트들을 직접 밑 기반부터 만들어 보며 설계 / 기획 / 개발을 진행해볼 수 있습니다. 데이터 엔진의 end-to-end 프로세스를 경험하며 전문가로 성장할 수 있습니다. • 분산시스템의 소프트웨어 아키텍쳐 구축 경험 데이터베이스 분산 아키텍쳐에 대해 다양한 경험을 쌓을 수 있습니다. 아키텍처 구성은 개발의 청사진을 그리는 소프트웨어를 구성하는 것에 있어 가장 기초적이고 핵심적인 업무입니다. 이를 직접 경험하고 운영해 보며 데이터에지니어로써 핵심역량을 강화할 수 있습니다. • 클라우드환경 전반에 대한 이해 AWS 위에서 개발되고 있는 프로그램들과의 협업 및 연동으로 다양한 도메인을 경험할 수 있습니다.
- 자격요건
경력 : 3년 이상 ~ 5년 이하의 경우 • python, R, matlab등의 언어로 데이터 처리 경험이 있으신 분 • sql 사용에 능숙하신 분 • RDBMS 또는 NoSQL에 대한 깊은 이해와 경험이 있으신 분 경력 : 5년 이상 ~ 10년 이하의 경우 • 대용량 데이터 아키텍처 설계 및 운영 능력이 있으신 분 • 데이터 분석 및 모니터링을 포함한 ETL / ELT 파이프라인 개발 및 운영 경험이 있으신 분 • 웹 데이터 엔지니어링 등의 데이터 서비스 개발을 위한 소프트웨어 개발 역량을 갖추신 분
- 우대사항
• 관련 분야의 연구 개발 경험이 있으신 분 (5년 미만) • 데이터 웨어하우스 구축 경험이 있으신 분 • GitHub(git), Jira 등을 활용한 개발 프로젝트를 경험해보신 분 • 대용량 실시간 데이터 처리 경험이 있으신 분 • 서비스 모니터링 환경 직접 구축, 모니터링 및 장애 대응 경험이 있으신 분 • 하나 이상의 서버 프레임워크(Spring, Django 등)에 대해 역량이 있으신 분 • CS지식(운영체제, 네트워크, 자료구조, 알고리즘)에 대해 이해가 있으신 분 • Docker환경 구축 및 개발 경험이 있으신 분 • 최신 기술 동향을 놓치지 않고, 문제를 해결함에 변화를 두려워하지 않는 분 • 테스트의 중요성을 아시는 분, 테스트 자동화를 경험해보신 분 • AWS 서비스 구축 경험해보신 분 ✓이런 분이 오시면 좋겠어요 • 프로그래밍 새로운 기술을 필요로 한다면 그에 맞게 언어 / 프레임워크에 대한 이해 및 적용을 합니다. 예를 들어 Airflow와 같은 workflow engine은 Python으로, Spark와 같은 분산 처리 프레임워크 활용은 Scala로, 밥 먹듯이 하는 데이터 조회/처리는 SQL로, production 데이터 서빙 백엔드 서버를 구축할 때는 고성능 API 서버를 만들 수 있는 Go 등 • 분산 처리에 대한 기본적인 이해 및 적용 데이터 엔지니어들이 주로 사용하는 고수준 프레임워크인 Spark, Athena (Presto), BigQuery, Hive 등은 전부 분산 컴퓨팅을 바탕으로 만들어진 프레임워크들이고, 데이터의 규모가 늘어나 분산/병렬 처리가 필요한 경우 이에 대한 플랫폼을 구축하여 데이터를 원활하게 조작해야 합니다. • SQL 튜닝 데이터 엔지니어가 뛰노는 환경들 (Athena, BigQuery 등) 은 일종의 데이터베이스입니다. 일반적으로 서비스에 활용되는 RDB/NoSQL DB와 다른 부분도 많고, 공유하는 부분도 많습니다. 그렇기에 DB에 대한 일반적인 상식을 많이 알면 알수록, 특히 위에서 언급한 직접 운용하고 있는 데이터 플랫폼의 기반을 알면 알수록 production 환경에서 플랫폼을 운영하기 수월해집니다. 이에 따라 DB/SQL에 대해 공부하며 기존에 가지고 있는 지식으로만 업무를 처리하지 않고, 새로운 기술과 트랜드를 적용하여 수행하는 업무의 효율성을 개선해나가야 합니다. 또한 요즘에는 정말 많은 경우에 데이터 조회, 심지어는 빅데이터 플랫폼에서는 약간 생소할 수도 있는 개념인 삽입/삭제까지 SQL을 이용해서 하기 때문에 SQL을 매우 잘 다루는 것이 더더욱 중요해졌고, 더 나아가 내가 만들어낸 쿼리가 실제로 어떻게 동작하는지 이해할 수 있다면 SQL 관련 업무, 그리고 주변 동료들이 SQL을 사용하면서 어려움을 겪을 때 좋은 해결책을 제시해줄 수 있습니다.
- 복지 및 혜택
• 사옥 근무, 언주역 3번 출구 도보 5분 역세권 • 캡슐커피 및 음료, 우유 등 무제한 스낵바 운영 • 업무용 최신장비 지급(맥북, LG 그램) • 자율시차출퇴근 8시~10시 운영 • 눈치보지 않고 사용할 수 있는 휴가제도 • 여유로운 1시간 30분 점심시간 • 업무 관련 자기계발 무제한 지원 • 분기별 1회 Surf Dive Day: Town Hall Meeting • 여름/겨울 방학 운영 등등 지원자님과 함께 나눌 다양한 문화, 복지
- 채용절차 및 기타 지원 유의사항
✓우리 팀, 이렇게 근무해요 • 급여 : 전 직장 연봉 1.2배, 직무에 따라 스톡옵션 부여합니다. • 근무시간 : 출근시간은 8시~10시 선택이며, 자율시차출퇴근제로 운영합니다. • 근무장소 : 서울시 강남구 봉은사로 37길 5 캠프지 2,3,5층 ✓우리 팀, 이렇게 합류해요 • 서류 전형 → 실무진 인터뷰 → 결과발표 • 제출서류 : 이력서 • 선택서류 : Github, 블로그 등 자신을 뽐낼 수 있는 것이라면 무엇이든 좋습니다.
기업/서비스 소개
기업상세 정보로 이동
1 / 11
STCLab은 VWR(Virtual Waiting Room) 시장에서 NetFUNNEL서비스를 공급하고 있으며, 국내 VWR 시장에서 독점적인 지위(시장 점유율 99%)를 갖고 약 400여개의 고객사를 보유하고 있습니다. 대표적으로는 질병관리청 백신예약, 코레일 철도 예약, 삼성전자 X BTS 글로벌 사전예약 등의 서비스를 성공적으로 제공했습니다.
