AWS Glue는 Apache Spark 작업에 ‘Auto’ 버전을 선택할 수 있다고 발표했습니다. 호환성을 확인하고 승인을 받으면 서비스가 해당 작업을 최신 Glue 런타임으로 자동 전환합니다. 전환 전 출력 스키마, 데이터 용량, 지연 시간, 형식을 점검합니다. 코드 변경이 필요한 작업은 기존 버전을 유지하며 업그레이드 분석 결과를 받습니다. 이 기능은 모든 AWS 상용 리전에서 제공됩니다.
왜 중요한가
데이터팀은 수동 업그레이드에 몇 주씩 들이지 않고도 Spark 작업을 안전하고 빠르게 유지할 수 있습니다.