Flux - 무료 Ai 사진만들기 신규 AI모델 - comfyui 로 사용하기

Flux 모델로 만든 ai사진

 

텍스트를 입력하여 이미지를 만드는 이미지 생성AI 는 미드저니, 스테이블디퓨전, Dall-e  이렇게 있는데 거기에 새로운 오픈형 생성AI 모델이 출시 되었다.

독일에 본사를 둔 스타트업 Black Forest Labs 에서 개발하였다.

주로 연구진이 스테이블 디퓨전을 개발한 사람들이라고 한다.

미드저니 보다 좋다고 여기저기서 말 하길래 직접 다운로드 하여 사용해 본다.

Flux 모델도 comfyui 로 사용 할 수있다고 하니 comfyui 를 이용하여 사용해 본다.

먼저 필요한 모델들을 다운로드 하여야 한다.

1. Flux 모델은 3가지가 있다.

    -. Flux.1 [pro]  : 상업용 모델로 직접 로컬 컴터에서는 사용이  안되고 지원하는 클라우드서버(fal.ai)를 통해서 사용이 가능하다.

    -. Flux.1 [dev]  : 비상업용으로 연구목적을 위하여 사용이 가능하다.

    -. Flux.1 [schnell] : 개인들이 로컬 컴퓨터로 역시 비상업용 용도로 사용하는데 속도가 빠르다는 모델이다.

 

    이중에서 Flux.1 [dev] 를 다운로드 한다. 

     좀 더 빨리 이미지를 생성하고 싶으면 Flux.1 [schnell] 을 다운받아 사용하면 된다.

 

Hugging Face 에서 다운로드. https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

Hugging Face 의 Flux 모델 다운로드받는곳

여기서 flux1-dev.safetensors (23.8G) 를 다운로드하여 

모델을 unet 폴더에 넣는다.

파일이 상당히 크다.

그리고 VAE 모델 (ae.safetensors - 335MB) 도 다운로드 하여 

vae 폴더에 넣는다.

 

2. CLIP 모델 : https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

3개 파일 다운로드

clip_l.safetensors (246MB) , t5xxl_fp16.safetensors (9.79 G) , t5xxl_fp8_e4m3fn.safetensors (4.89 G)

3개를 다운받아 

clip 폴더에 넣는다.

 

3. comfyui 는 가장 최신 버전으로 업데이트를 하고 사용한다.

 

이제 아래 workflow 를 다운받아 comfyui 에서 실행 하고  prompt 를 수정하면서 이미지를 만들어 본다.

Flux 모델용 workflow

 

처음 실행하면 대략 1분이상이 소요된다.

prompt 를 변경하면서 실행해 보니 대략 30 ~ 40초가 소요된다.

스테이블 디퓨전 SDXL 보다 시간은 더 많이 걸린다.

이것은 flux에서 다운받은 prompt 로 만든 이미지

prompt : cute anime girl with massive fluffy fennec ears and a big fluffy tail blonde messy long hair blue eyes wearing a maid outfit with a long black gold leaf pattern dress and a white apron mouth open holding a fancy black forest cake with candles on top in the kitchen of an old dark Victorian mansion lit by candlelight with a bright window to the foggy forest and very expensive stuff everywhere

 

이것으로 만들었는데 prompt 에서 묘사한 대로 잘 만들었다.

 

물속에 있는 여성 이미지

느낀 바대로 좀 더 사실적인 묘사가 느껴진다.

한국여성이 I love korea 글씨판을 든 ai사진

얼굴도 사실적인 느낌이 더 많고 , 글씨가 잘 써지고 손 모양이 자연스럽게 잘 묘사된다.

 

Flux 가 모델의 크기가 커서 스테이블디퓨전 보다 무겁고 시간이 더 걸리지만,

좀 더 사실적인 이미지를 만들고 글자가 정확히 나타나며 특히 손 모양이 많이 자연스럽게 잘 나온다.

그렇다고 미드저니 나 스테이블디퓨전 보다 많이 낫다라고 말하기는 시기상조이고

좀 더 많은 이미지를 만들어 보아야 장단점을 더 알것같다.

 

참고로 Flux.1 [dev] 파일이 커서 무겁고 컴퓨터가 느리고 이미지 생성이 느리면 

최신의 좀 더 작은 크기의 모델을 다운받아 사용해 보라.

https://huggingface.co/Kijai/flux-fp8/tree/main

flux1-dev-fp8.safetensors 또는 flux1-schnell-fp8.safetensors 를 다운로드 리

Flux 모델도 향후 많은 발전이 기대되며,   간단히 사용해 본바 높은 점수를 줘도 될듯싶다.