- 데이터 파이프라인 설계
- 대용량 데이터 분산 처리 시스템 설계, 관리
- Real-time Data Processing 시스템 설계 및 구축
- 정형/비정형 데이터에 대한 Data processing
경력 및 자격요건
- 한 회사에 2년 이상 재직 경력이 있으신 분
- SQL 이해, 활용 경력자
- 빅데이터 파이프라인 구축, 운영 경험자(ETL, Airflow)
- Kafka , psypark, SparkStream 등을 이용한 데이터 파이프라인 구축 경험자
- 수집 성능 또는 가공, 처리시 성능 이슈에 대한 진단 및 고도화 DW,DM 구축 및 운영
- Hadoop 기반 시스템 운영 경험
우대사항
- IT인프라 환경에 대한 전반적인 이해와 커뮤니케이션 능력
- 금융 보안에 대한 이해