스테이블 디퓨전 로라 적용 전 후 그림의 차이

스테이블 디퓨전 사용 시 체크포인트와 로라 차이점을 아직 적응 못하신 분들을 위하여, 이번 포스팅은 로라 적용 시와 미 적용 시 모델 생성이 어떻게 되는지 직접 테스트해서 이해하기 쉽게 보여 드리려고 합니다.

스테이블 디퓨전의 로라란

스테이블 디퓨전에서 기본적으로 그림의 형태를 잡아주는 건 체크포인트입니다. 전체적인 그림풍 및 모델이나 배경 등의 화풍이라고 생각하면 됩니다. 이 모델을 어떤 모델을 사용하느냐에 따라 그림이 다르게 나옵니다. 여기에 더해서 더욱 세부적으로 그림에 영향을 주게 되는 게 바로 로라입니다. 같은 체크포인트를 사용해도 로라를 어떻게 사용하느냐에 따라 전혀 의도치 않은 다른 그림이 나올 수 있습니다.

이번 포스팅은 실제 어떻게 바뀌는지에 대한 테스트이기 때문에 로라 다운로드 및 사용법은 아래 포스팅을 참고

그림 생성에 사용될 자료값

1. 프롬프트 : 이번 테스트로 보여드릴 그림을 그리는데 사용한 프롬프트입니다.

RAW, colorful, (detailed skin:1.3), sharp focus, delicate, (beautiful gorgeous Korean woman:1.3), (makeup), instagram, (kpop idol, korean beauty, korean mixed), 8k uhd, dslr, high quality, (film grain:1.3), (F1.4, 1/800s, ISO 100, photorealistic),realistic background, detailed background, best shadow, shiny skin, jeans:1.8, pureerosface_v1, cowboy_shot, looking_down,1 girl,__00 pose40__,large_breast, wide_hip, thigh_gap, groin, (narrow waist), running uniform,__00 hair17__,__00 face10__, running, indoor stadium, (full body:2.0) 

2. 체크포인트 : newmarsmix_R11 (1번모델), majicmixRealistic_v5 (2번 모델),

3. 로라 : dreamyGirlsFace_dreamyFace (1번 로라:얼굴 세부학습), mix4 (2번 로라:인물 세부학습)

4. 사용 시드값 : 3215432713 (여기에서 사용된 시드는 기존 생성 이미지 중에서 임의 시드값 추출해서 적용)

5. (sampling method : DPM++ 2M SDE Karras), (Sampling steps : 20), (Upscaler : R-RSRGAN 4x+), (Upscale by : 2.5)

6. 현재 이 값을 그대로 이용하게 되면 아래와 똑같은 그림을 그릴 수 있습니다.

체크포인트별 그림 생성 차이 (시드값 동일시)

그래서 이번 포스팅에서는 그 차이를 직접 확인할 수 있게 모델을 생성해 직접 비교를 해보도록 하겠습니다. 위에 사용값을 그대로 적용했으며,  디디테일러나 다이나믹쓰레스홀딩 등 기타 값을 사용하지 않은 채 기본 제공되는 업스케일만 사용하여 그림을 생성 비교해 보도록 하겠습니다. 보시는 것처럼 모든 값을 동일하게 처리했지만 체크포인트에 따라 변화가 들어간 걸 알 수 있습니다. 배경부터 그림체까지 1번 모델은 실사 2번 모델은 반실사의 형태를 보여주는 것을 확인할 수 있습니다.

좌측이 1번 체크포인트 모델 우측이 2번 체크포인트 모델입니다.

로라 적용 시 그림 생성 차이 (시드값 및 모든 조건 동일)

이번에 느는 오늘의 목적인 로라값이 어떻게 그림에 영향을 주는지 확인하기 위해서 각 로라를  그림별로 지정 및 값을 변경해 어떻게 그림이 바뀌는지 확인해 보도록 하겠습니다.  먼저 모든 값을 그대로 가기 때문에 로라마다 존재하는 트리거 프롬프트는 무시하고 실험결과를 진행하도록 하겠습니다. 

참고사항 이번 실험에서는 시드값을 모두 동일하게 적용 후 실험을 진행하였기에 그림이 망가지는 부분도 있습니다.

아래 생성된 그림을 참고하시고 체크포인트에 영향을 적게 주고 세부사항을 적용할수록 그림에 잘 적용되는 게 확인됩니다.

1번 체크포인트 모델과 1번 로라 적용 시 생성된 그림

newmarsmix_R11(체크포인트) 적용 후 dreamyGirlsFace_dreamyFace (로라 적용) 로라값은 1 / 0.5 / 0.3 순으로 적용

1번 로라의 경우 얼굴에 집중이 되어 있는 로라이다 보니 0.5 값부터 체크포인트와 충돌이 적어 완성된 그림이 나오기 시작하는 걸 확인할 수 있습니다. 

2번 체크포인트 모델과 2번 로라 적용 시 생성된 그림

majicmixRealistic_v5(체크포인트) 적용 후 mix4 (로라 적용) 로라값은 1 / 0.5 / 0.2 순으로 적용

해당 로라는 전체적인 인물 적용에 사용되는 로라이다 보니 체크포인트와 자꾸 충돌을 일으켜 0.2까지 적용값을 낮춰주고 나서야 어느 정도 완성된 그림이 생성되었습니다. 로라는 실제 적용이 많이 되지 안혹 제대로 된 그림이 나올 때까지 학습이 많이 필요한 상황입니다. 

로라 적용 방법과 고르는 법

위에서 실험한 것처럼 로라와 체크포인트와의 상관관계나 혹은 로라의 특성이 그림에 크게 영향을 미치게 됩니다. 가장 흔하고 쉽게 적용할 수 있는 방법을 예로 들어보면, 전체적인 체크포인트(원하는 스타일의 그림풍)에 이 체크포인트의 세부 부분을 강화 (의상, 배경 등) 하는 식으로 적용했을 때 가장 완벽한 그림을 뽑을 수 있었습니다. 그리고 로라를 선택해서 적용할 때는 꼭 확인해야 하는 부분이 로라마다 가지고 있는 트리거 프롬프트입니다. 이 부분은 없는 로라도 있지만 꼭 로라를 사용할 때 확인해 보고 사용하는 게 더 완벽한 그림을 그리는데 도움이 됩니다.

 

EX) 오늘 실험을 위해 사용한 2번 체크포인트 모델을 심화 학습시킨 MAJIC (로라 모델)을 체크포인트와 함께 병행하면 굉장한 퀄리티의 시너지 효과를 낼 수 있습니다.

다운 경로나 모델이 필요하신 분들은 댓글이나 메일 남겨주시면 경로나 파일 보내드리도록 하겠습니다.