Stable Diffusion - text to image, image to image 원리

AI 화보촬영 , 중요한 것은 실존인물이 아니라는 것.

 

눈동자 , 이빨 등등 아무리 봐도 연예인 화보촬영 인듯한데,  SD 가 만들어낸 photo image 라는것.

 

SD 의 이미지 생성 기본인 노이즈를 제거하여 원하는 이미지를 만드는 progress 를 한번 살펴보자.

첫번째는 Prompt(명령 text) 를 주고 이미지를 만들어 낸 과정이다. (Text to Image)

prompt : beautiful woman wearing wedding dress and matching jewlery, koream beauty, korean actress, photo studio portrait, 8k,octane render, ultra detailed, art by artgerm and james jean
transparency background,

sampler : dpm++sde, karra

step : 20

cfg : 5

denoize : 1.0

size : 768 x 1344  (empty latent image 사용) 

이미지 결과 :

웨딩 촬영

이 이미지를 ksampler 가 어떤 과정을 거쳐서 만들어 내는가 하는 과정이다.

 

step을 20으로 했을때 노이즈 상태에서 ksampler 가 점점 노이즈들을 제거하여 최종 20 step 에서 완성 시켜준다.

이것이 text to image 생성 progress 이다.

 

두번째는 image to image 이다 

동일한 조건에 latent image 가 empty latent image (빈 종이) 가 아니라 참조 image 를 입력시켜줘서 만드는 것이다.

입력된 이미지를 참조로 만들어 내는 과정이다.

size : 768 x 1344  ( image -> VAE encode를 거쳐사용) 

 

참조 입력 이미지

 

denose 값 : 1 로 했을때,

 

progress 를 보면 text to image 나 progress 는 별로 차이가 없다.  

따라서 입력이미지의 의미가 없이 만들어진다.

 

 

denose 값 : 0.5 로 했을때,

 

denoseing 시작부터 입력이미지가 어느 정도 남아있는 상태에서 노이즈를 제거하여 만든다.

그래서 입력 이미지에 좀 더 영향을 받아 이미지를 생성한다.

 

 

denose 값 : 0.1 로 했을때 (denose 0 은 생성이 안됨)

step1	step3	step7	step15	step20

 

처음부터 거의 입력이미지 상태에서 노이즈를 제거하기 때문에 생성 이미지도 입력 이미지와 거의 유사하다.

 

Denose 값에 따른 결과 :

denose 1.0	denose 0.5	denose 0.1

 

결론적으로 image to image 는 입력이미지를 참조하여 생성하는데 denose 값을 조정하면서 원하는 이미지를 만들어야 한다.

denose 값이 작을수록 입력이미지의 모습과 유사하다.

 

text to image 로 마음에 드는 이미지를 만든 후 , 그것을 참조로 조정하여 또 다른 이미지를 만든다면

가끔은  걸작이 탄생하는 경우도 있다.

 

머리글 이미지를 참조하여 만든 결과. denose 0.8

 

즐거운 일을 하는것은 언제나 행복하다.

하기 싫은 일을 하는 것은 고역이다.

과정이 어렵다고 하고 싶은 일을 포기하는 것은 다가올 미래의 행복을 스스로 포기하는 것이다.

시작이 반이라는 말이 무슨 의미인지 느껴본 자는 어려워도 자신이 하고 싶은 일을 도전해 본 사람이다.

다음 주는 이제 7월이다.

7월도  좋은 일만 생기기를......

연풍사랑.