스테이블 디퓨전에서 SDXL및 LORA 모델을 사용해서 AI이미지를 생성해볼게요
저는 이 포스트 스텝들을 통해 위의 이미지를 뽑았어요~!
프롬프트 키워드는 거실과 실내관련으로요
만약 모델활용하기 전에 스테이블 디퓨전으로 이미지를 기본 방식으로 만드는 법을 먼저 알아야 한다면
아래 포스트들을 참조해주세요~!
▼스테이블 디퓨전으로 캐주얼 배경 이미지 만들기 1/2
스테이블 디퓨전(Stable Diffusion)으로 캐주얼 배경 만들기 1/2
안녕하세요 오늘은 이전 포스트에 이어 스테이블 디퓨전을 활용하여 만화배경 혹은 캐주얼 배경을 만들어 보려고 해요 이 포스트에서는 위 이미지들을 만나게 됩니다! 스테이블 디퓨전이라 하
cozycatart.tistory.com
▼스테이블 디퓨전으로 캐주얼 배경 이미지 만들기 2/2
스테이블 디퓨전(Stable Diffusion)으로 캐주얼 배경 만들기 2/2
스테이블 디퓨전으로 이어서 캐주얼 배경을 만들어봐요 스테이블 디퓨전(Stable Diffusion)으로 캐주얼 배경 만들기 1/2 안녕하세요 오늘은 이전 포스트에 이어 스테이블 디퓨전을 활용하여 만화배
cozycatart.tistory.com
저희는 SDXL기반으로한 LORA를 쓸 예정으로
SDXL아닌것도 있지만 SDXL기반의 모델이 더 괜찮은 모델이 많아 보였어요
SDXL은 AI종류 중 하나고
기존의 스테이블 디퓨전에서 사용하는것 보다 더욱 발달된 AI 모델로써
실사 이미지를 뽑아내는데 최적화 되어있습니다
그럼 실사가 아닌 카툰틱 이미지를 뽑을 때 SDXL이 왜 필요할까요?
1. img to img에서 자체 보정 머신을 따로 사용해서 이미지 보정이 더욱 잘 됨
2. 프롬프트 이해도가 기존보다 상승
3. 기존 AI보다 더 퀄리티 좋은 그림을 그림
4. LORA 모델 중 사용하고자 하는 모델들이 SDXL에 최적화 되어 있기 때문
단점으로는 더 많은 그래픽카드 램을 사용합니다
그래서 더 좋은 그래픽사양이 필요해요
LORA 모델이란
특정한 그림체를 뽑아낼때 사용하는 모델로 LORA모델 사용 시그림체가 격변하지 않고 일정한 그림을 뽑아줍니다
프롬프트와 기초 설정에 관여하는 일종의 패키지라고 생각하면 되요
https://civitai.com/models 해당 주소에서 모델을 찾아서 사용합니다
모델 찾는법은 아래에서 이어서 알려드릴게요
Civitai Models | Discover Free Stable Diffusion Models
Browse from thousands of free Stable Diffusion models, spanning unique anime art styles, immersive 3D renders, stunning photorealism, and more
civitai.com
이렇게 다양한 종류의 모델들이 있어요
LORA모델을 적용시키려면 SDXL도 다운받아야해요
SDXL과 모델 다운받기
SDXL
https://civitai.com/models/101055?modelVersionId=128078
SD XL - v1.0 VAE fix | Stable Diffusion Checkpoint | Civitai
Originally Posted to Hugging Face and shared here with permission from Stability AI. SDXL consists of a two-step pipeline for latent diffusion: Fir...
civitai.com
그리고
sdxl_refiner (보정용)도 다운받습니다
https://civitai.com/models/101055?modelVersionId=128080
SD XL - v1.0 Refiner VAE fix | Stable Diffusion Checkpoint | Civitai
Originally Posted to Hugging Face and shared here with permission from Stability AI. SDXL consists of a two-step pipeline for latent diffusion: Fir...
civitai.com
위 두 개의 파일을 모두 다운로드 하고
두 파일을 스테이블 디퓨전에 적용시킵니다
스테이블 디퓨전 폴더로 이동해서
/models/Stable-diffusion 폴더로 이동하여 두 개 파일을 모두 넣어줍니다
다음은 LORA모델을 적용할건데요,
사용하고싶은 모델을 찾아요
위에 공유드린 https://civitai.com/models 사이트에서,
위쪽 검색창에 원하는 키워드를 검색합니다
검색 후 왼쪽의 필터 아이콘 클릭합니다
필터에서 sdxl 1.0, LoRA 선택 후
원하는 카테고리와 태그 선택,
왼쪽의 경우 sdxl, LoRA 선택 후
카테고리는 전체에 cartoon 태그만 선택합니다
위의 방식으로 검색한 결과모습이에요
이 중 원하는 모델을 선택 후 다운로드했습니다
해당 모델이구요
해당 위치에 넣어줍니다 ( /models/LoRA 경로 )
모델 적용하기
그리고 스테이블 디퓨전 실행 후 상단의 체크포인트를 설정해야하는데요
해당 새로고침 버튼 누르고 목록에서 다운받은 sdxl을 잡아줘야하는데
만약에 없으면 로라 모델 설정할 때처럼 하단 체크포인트탭에서 sdxl을 찾아서 적용해야해요
이렇게 직접 적용하면 됩니다
다음은 Lora 모델 설정을 해줘야하는데요
위의 이미지 클릭 시 프롬프트란에 lora 사용 프롬프트가 생성되요
위처럼 추가된걸 볼 수 있을거에요
Lora 모델 사용법과 키워드를 잠시 정리하고 갈게요~!
Lora 모델은 사용하기 위해서
키워드를 프롬프트에 넣어줘야 하고
위의 이미지 처럼 Lora 모델 프롬프트가 생기는데
먼저 키워드의 경우 프롬프트에 넣어주기만 하면 되요
옆의 빨간 박스 안의 단어가 키워드로
사용하는 Lora모델마다 키워드가 달라요
그리고 다음은 Lora 모델용 프롬프트가 있는데
오른쪽의 숫자를 이용해서 모델의 수치를 정할 수 있어요.
0~1 사이 숫자를 입력하고 0은 적용안함이고,
1은 최대로 적용인 수치에요
전체 키워드 적용 모습이에요
좌측 상단 키워드추가와 마지막 lora 키워드 적용,
그리고 이전에 했던 배경 생성(들판의 나무와 하늘을 표현하고 싶어요)과 같은 설정 사용,
seed값은 -1로 설정했어요
이런 결과물이 나왔습니다
로라 모델 사용 전에는 이런 모습이에요
위에 결과물보다 훨씬 부드럽고 분위기있지요?
이어서 보정작업을 해볼게요~!
스테이블 디퓨전 - AI생성 이미지 보정하기
안녕하세요! 여기서는 모델적용하여 생성한 AI이미지를 보정하는 작업을 해보려고 해요 아래 포스트 이어 모델적용이미지가 아닌 그냥 AI산출물 이미지 보정하는 방법도 마찬가지로 참조해보세
cozycatart.tistory.com
'누구나 개발하고 디자인해요' 카테고리의 다른 글
| 앱이전하기) 게임 콘텐츠 퍼블리싱 계약서 양식/활용본 공유 (1) | 2023.12.27 |
|---|---|
| 스테이블 디퓨전 - AI생성 이미지 보정하기 (0) | 2023.12.27 |
| 스테이블 디퓨전 - 모델 직접 만들기 (1) | 2023.12.20 |
| 유니티에서 에셋 수정하기/ 3D 오브젝트 분리하기 (1) | 2023.12.10 |
| 스테이블 디퓨전(Stable Diffusion)으로 캐주얼 배경 만들기 2/2 (0) | 2023.12.07 |