FLUX.1-dev 아키텍처를 기반으로 한 이 모델은 분리 학습과 스타일 보상 학습(SRL)을 통해 스타일 유사성과 주제 일관성을 동시에 달성합니다. USO는 세 가지 주요 방식을 지원합니다:
- 주제 중심: 새로운 장면에 주제를 배치하면서도 정체성의 일관성을 유지합니다.
- 스타일 중심: 참조 이미지를 기반으로 새로운 콘텐츠에 예술적 스타일을 적용합니다.
- 결합형: 주제와 스타일 두 가지 모두를 동시에 사용합니다.
ByteDance USO ComfyUI 네이티브 워크플로우
1. 워크플로우 및 입력
아래 이미지를 다운로드한 후 ComfyUI로 드래그하여 해당 워크플로우를 로드하세요.JSON 워크플로우 다운로드
Comfy Cloud에서 실행
아래 이미지를 입력 이미지로 사용하세요.2. 모델 링크
체크포인트 로라 모델 패치 클립 비전 모든 모델을 다운로드해 다음 디렉토리에 배치하세요:3. 워크플로우 지침
- 모델 로드:
- 1.1
Load Checkpoint노드가flux1-dev-fp8.safetensors를 로드했는지 확인하세요. - 1.2
LoraLoaderModelOnly노드가dit_lora.safetensors를 로드했는지 확인하세요. - 1.3
ModelPatchLoader노드가projector.safetensors를 로드했는지 확인하세요. - 1.4
Load CLIP Vision노드가sigclip_vision_patch14_384.safetensors를 로드했는지 확인하세요.
- 1.1
- 콘텐츠 참조:
- 2.1
Upload를 클릭해 제공된 입력 이미지를 업로드하세요. - 2.2
ImageScaleToMaxDimension노드는 입력 이미지를 콘텐츠 참조용으로 스케일링합니다. 512px는 더 많은 캐릭터 특징을 유지하지만, 캐릭터의 머리만 입력한다면 최종 출력 이미지에 캐릭터가 너무 커지는 문제가 생길 수 있습니다. 1024px로 설정하면 훨씬 더 나은 결과를 얻을 수 있습니다.
- 2.1
- 예시에서는
콘텐츠 참조이미지만 사용합니다. 만약스타일 참조이미지를 사용하고 싶다면, 마크된 노드 그룹을 우회하려면Ctrl-B를 사용하세요. - 프롬프트를 작성하거나 기본값을 유지하세요.
- 필요하다면 이미지 크기를 설정하세요.
- EasyCache 노드는 추론 속도를 높이기 위한 것이지만, 일부 품질과 디테일을 희생할 수 있습니다. 필요 없다면 우회할 수 있습니다 (Ctrl+B).
Run버튼을 클릭하거나 단축키Ctrl(Cmd) + Enter를 사용해 워크플로우를 실행하세요.
4. 추가 참고사항
- 스타일 참조만:
콘텐츠 참조 노드를 교체하고 Empty Latent Image 노드만 사용한다는 것입니다.
- 전체
스타일 참조그룹을 우회해 텍스트를 이미지로 변환하는 워크플로우로 사용할 수도 있습니다. 즉, 이 워크플로우는 4가지 변형이 가능합니다:
- 오직 콘텐츠(주제) 참조만 사용
- 오직 스타일 참조만 사용
- 콘텐츠와 스타일 참조 혼합
- 텍스트를 이미지로 변환하는 워크플로우로 사용