Stable Diffusion 이해하기

참고로 해당 글은 Stable Diffusion의 학습 방법보다는 이해하고 활용하는데 초점을 두고 정리한 글이다.

 

Stable Diffusion?

Stable Diffusion은  Stability AI, CompVis에 의해 연구된 이미지 생성 모델로 2022년 8월 공개되었다. diffusion(확산) model을 기본으로 하는데, diffusion model은 noise 추가와 역확산 과정을 거친다. 원래의 이미지에 노이즈를 추가하여 이미지는 랜덤하게 변화하고 이러한 노이즈가 포함된 이미지를 복원하는 역확산 과정을 통해 노이즈를 제거하고 원하는 이미지를 생성한다.

또한, Stable Diffusion은 Latent diffusion model로 이미지의 잠재 공간인 latent space(고차원 데이터를 더 낮은 표현으로 변환한 것)를 활용하여 학습하기 때문에, 이미지의 중요한 특성을 보존하면서도 더 효율적으로 처리가 가능하다.

 

Stable Diffusion의 활용

Stable Diffusion은 텍스트 프롬프트 기반 이미지 생성 뿐만 아니라 이미지 변환, 이미지 편집, 이미지 보정, 동영상 생성에 활용될 수 있다. 아래에 몇 가지 활용을 정리해 보았다.

1. 이미지 생성: 텍스트 프롬프트를 통한 이미지 생성

2. 이미지 변환 - Image to Image: 이미지에 변환을 위한 텍스트 프롬프트를 추가하여 새로운 이미지 생성

3. Inpainting: 이미지에서 사용자가 선택한 영역을 제거하고 그 안에 새로운 이미지를 채워 넣음

4. 이미지 보정: 저화질 이미지를 고화질로 변환 하는 등 이미지 품질 향상

5. 동영상 생성: 텍스트 프롬프트를 기반으로 동영상 생성

 

 

참조

 

1. Hugging face Stable Diffusion 문서 https://huggingface.co/docs/diffusers/v0.12.0/en/stable_diffusion

The Stable Diffusion Guide 🎨

2. Stable Diffusion API https://stablediffusionapi.com/

Stable Diffusion And Dreambooth API - Generate and Finetune Dreambooth Stable Diffusion using API