AWS Glueは、Apache Sparkジョブのバージョンとして「Auto」を選べるようになったと発表しました。互換性を確認し、ユーザーの同意を得たうえで、サービスがジョブを最新のGlueランタイムへ自動的に移行します。切り替え前には、出力スキーマ、データ量、レイテンシ、形式を検証します。コードの変更が必要なジョブは旧バージョンのまま維持され、アップグレード分析が提供されます。この機能は、すべてのAWS商用リージョンで利用できます。
なぜ重要か
データチームは、手動アップグレードに何週間も費やすことなく、Sparkジョブの安全性と処理速度を維持できます。