Automations 개요

itn’t it? 내 생각에… 여기 있네: ML 파이프라인에서 자동화된 워크플로우를 생성하고 관리W&B Automations API를 사용하여 ML 파이프라인에서 자동화된 워크플로우를 생성하고 관리하세요.

W&B Automations API를 사용하면 ML 파이프라인의 이벤트에 반응하는 자동화된 워크플로우를 프로그래밍 방식으로 생성하고 관리할 수 있습니다. 모델 성능 임계값 도달이나 아티팩트 생성과 같은 특정 조건이 충족될 때 실행될 액션을 설정하세요.

​

Core Classes

Class	설명
Automation	설정 정보가 포함된 저장된 자동화 인스턴스를 나타냅니다.
NewAutomation	새로운 자동화를 생성하기 위한 빌더 클래스입니다.

​

Events (Triggers)

Event	설명
OnRunMetric	run 메트릭이 정의된 조건(임계값, 변경 등)을 충족할 때 트리거됩니다.
OnCreateArtifact	컬렉션에 새로운 아티팩트가 생성될 때 트리거됩니다.
OnLinkArtifact	아티팩트가 레지스트리에 링크될 때 트리거됩니다.
OnAddArtifactAlias	아티팩트에 에일리어스가 추가될 때 트리거됩니다.

​

Actions

Action	설명
SendNotification	Slack 또는 기타 연동된 채널을 통해 알림을 보냅니다.
SendWebhook	외부 서비스로 HTTP 웹훅 요청을 보냅니다.
DoNothing	자동화 설정을 테스트하기 위한 플레이스홀더 액션입니다.

​

Filters

Filter	설명
MetricThresholdFilter	임계값 대비 메트릭 값 비교를 기반으로 run을 필터링합니다.
MetricChangeFilter	시간에 따른 메트릭 값의 변화를 기반으로 run을 필터링합니다.

​

Common Use Cases

​

모델 성능 모니터링

• 모델 정확도가 임계값 아래로 떨어질 때 알림 전송
• 트레이닝 손실(loss)이 정체될 때 팀에 알림
• 성능 메트릭에 기반한 재학습 파이프라인 트리거

​

Artifact 관리

• 새로운 모델 버전이 생성될 때 알림 전송
• 아티팩트에 태그가 지정될 때 배포 워크플로우 트리거
• 데이터셋이 업데이트될 때 다운스트림 처리 자동화

​

실험 트래킹

• 실패하거나 충돌한 run에 대한 알림
• 장시간 실행되는 실험이 완료될 때 알림
• 실험 메트릭에 대한 일일 요약 전송

​

통합 워크플로우

• 웹훅을 통해 외부 트래킹 시스템 업데이트
• 모델 레지스트리를 배포 플랫폼과 동기화
• W&B 이벤트를 기반으로 CI/CD 파이프라인 트리거

​

Example Usage

다음 예시는 custom-metric이라는 메트릭이 10을 초과할 때마다 Slack 알림을 보내는 자동화를 생성합니다. custom-metric은 트레이닝 중에 wandb.Run.log({"custom-metric": value })를 사용하여 로그될 것으로 예상됩니다.

import wandb
from wandb.automations import OnRunMetric, RunEvent, SendNotification

api = wandb.Api()

project = api.project("<my-project>", entity="<my-team>")

# 팀의 첫 번째 Slack 인테그레이션을 사용합니다.
slack_hook = next(api.slack_integrations(entity="<my-team>"))

# 트리거 이벤트를 생성합니다.
event = OnRunMetric(
     scope=project,
     filter=RunEvent.metric("custom-metric") > 10,
)

# 이벤트에 반응하는 액션을 생성합니다.
action = SendNotification.from_integration(slack_hook)

# 자동화를 생성합니다.
automation = api.create_automation(
     event >> action,
     name="my-automation",
     description="'custom-metric'이 10을 초과할 때마다 Slack 메시지를 보냅니다.",
)

Automations API 사용에 대한 자세한 내용은 Automations Guide를 참조하세요.