Stable Diffusion 사용법｜설치부터 AI 이미지 생성까지 초보자 가이드

이미지를 생성할 때마다 웹사이트에 접속하거나 크레디트를 충전하는 것이 부담스럽다면, 직접 컴퓨터에서 AI 모델을 실행하는 방법이 궁금할 수 있습니다. 이때 많이 등장하는 이름이 Stable Diffusion(스테이블 디퓨전)입니다.

하지만 Stable Diffusion은 설치 버튼 하나로 끝나는 프로그램이 아닙니다. 이미지 생성 모델을 실행하려면 적절한 그래픽카드, 모델 파일, 실행 인터페이스가 필요합니다. 이번 글에서는 초보자가 개념을 구별하고 ComfyUI를 이용해 처음 생성하는 흐름까지 살펴보겠습니다.

Stable Diffusion

1. Stable Diffusion이란 무엇인가요?

Stable Diffusion은 Stability AI가 개발한 이미지 생성 모델 계열입니다. ‘안개 같은 무작위 노이즈에서 점차 이미지를 구성한다’는 확산 모델 원리를 활용합니다. 같은 Stable Diffusion이라는 이름이라도 SDXL, Stable Diffusion 3.5 등 버전에 따라 요구 장비와 품질, 모델 파일이 다릅니다.

또한 Stable Diffusion이라는 모델과 이를 실행하는 ComfyUI 같은 화면 프로그램은 별개입니다. 모델은 실제 이미지를 생성하고, 실행 프로그램은 프롬프트·크기·생성 단계를 설정하도록 도와줍니다.

로컬 실행 외에 공식 API나 지원되는 클라우드 서비스에서 사용할 수도 있습니다. 자신의 컴퓨터 사양이 충분하지 않다면 브라우저 기반 서비스를 먼저 경험해 보는 것도 합리적인 선택입니다.

2. 주요 개념 다섯 가지부터 이해하기

• 체크포인트: 이미지 생성에 사용되는 모델 파일로, 버전과 용량이 다릅니다.
• 프롬프트: 어떤 장면을 생성할지 글로 설명합니다.
• 시드(Seed): 생성 시작 상태를 정하는 값이며 동일 조건에서 결과를 비교할 때 유용합니다.
• 스텝·샘플러: 이미지를 생성하는 반복 과정과 알고리즘을 조절하는 설정입니다.
• 노드·워크플로: ComfyUI에서 모델 로딩, 프롬프트, 생성, 저장을 연결한 구성입니다.

처음부터 모든 값을 외우지 않아도 됩니다. 기본 워크플로로 이미지를 한 장 만든 뒤 프롬프트와 시드만 바꿔보면 설정의 의미를 체감하기 쉽습니다.

3. ComfyUI로 Stable Diffusion 설치 준비하기

1. 운영체제와 GPU 사양, 여유 저장 공간을 확인합니다. 고해상도 모델은 상당한 그래픽 메모리와 저장 공간이 필요할 수 있습니다.
2. ComfyUI 공식 홈페이지에서 지원되는 데스크톱 또는 설치 방식을 확인합니다.
3. 자신의 운영체제와 하드웨어에 맞는 설치 안내를 따라 실행 환경을 준비합니다.
4. Stability AI의 공식 모델 페이지에서 사용할 모델 버전과 라이선스를 확인하고, 해당 ComfyUI 워크플로에 필요한 파일을 준비합니다.
5. 모델 파일을 가이드가 지정한 폴더에 배치한 후 ComfyUI를 실행해 기본 워크플로를 엽니다.
6. 체크포인트 선택 메뉴에서 설치한 모델을 선택하고 연습용 문장으로 생성을 시도합니다.

모델마다 필요한 추가 파일과 워크플로가 다르므로, 인터넷에서 검색한 오래된 설치 명령을 그대로 실행하지 않는 것이 좋습니다. 실행이 되지 않는다면 우선 버전과 체크포인트 형식이 맞는지, 오류 로그에서 어떤 파일을 찾지 못하는지 확인하세요.

외부에서 배포된 플러그인과 모델 파일에는 보안 위험이 있을 수 있습니다. 공식 또는 신뢰할 수 있는 배포처를 사용하고 회사 PC라면 임의 프로그램 설치 권한을 확인해야 합니다.

4. 실습 ① 첫 가로형 이미지 생성하기

기본 워크플로가 실행됐다면 먼저 단순한 장면부터 만들어보세요. 아래 문구를 프롬프트 입력 노드에 넣고 모델에 맞는 기본 설정으로 실행합니다.

A quiet home office with a wooden desk,
a small indoor plant and a notebook.
Soft daylight coming through the left window.
Realistic lifestyle photography, cream and gray tones.
Clean composition, wide horizontal framing,
no letters, no people, no brand marks.

워크플로에서 출력 크기를 가로형으로 설정합니다. 모델이 지원하지 않는 비율이나 크기를 무작정 지정하면 품질이 떨어지거나 메모리 부족 오류가 발생할 수 있습니다. 처음에는 해당 모델의 권장 설정으로 시작하세요.

이미지를 저장한 뒤 노트북 형태, 식물의 잎, 광원 방향이 자연스러운지 확인합니다. 실제 상품 사진처럼 사용해야 한다면 AI가 만든 가상의 장면임을 구별해야 합니다.

5. 실습 ② 프롬프트만 바꿔 스타일 비교하기

Stable Diffusion은 동일한 모델과 설정에서 문장을 조금씩 바꿔 결과 차이를 살피는 데 좋습니다. 이전 결과의 설정을 기록하고, 가능하다면 시드를 고정한 채 스타일 관련 문구만 바꿔보세요.

The same tidy desk beside a window,
with a notebook and one small plant.
Minimal watercolor illustration, soft hand-painted edges,
muted sage green and warm cream palette,
gentle light, spacious horizontal composition,
no lettering or logos.

첫 번째 이미지가 사진풍이었다면 이번에는 수채화풍으로 달라지는지 확인합니다. 시드를 고정해도 프롬프트나 모델이 달라지면 장면 자체가 달라질 수 있습니다. 이를 정확한 재현 기능으로 오해하지 마세요.

한 번에 모델·시드·스텝을 모두 변경하면 무엇 때문에 결과가 바뀌었는지 알기 어렵습니다. 비교할 때는 한 가지 조건씩 조정하는 편이 좋습니다.

6. 실습 ③ 시드를 바꾸고 결과 재현성 살펴보기

세 번째는 이미지 생성 과정의 특성을 이해하는 연습입니다. 같은 프롬프트와 모델을 유지한 채 시드 값만 바꿔 두 장을 생성해 보세요.

A single yellow umbrella leaning against
a white wall in a small modern hallway,
soft rainy-day light, realistic photograph,
simple centered composition, no people, no text.

1. 기본 모델과 해상도, 스텝을 기록합니다.
2. 시드 100으로 한 장을 생성합니다.
3. 같은 설정에서 시드 200으로 다시 생성합니다.
4. 우산의 위치와 벽면 형태, 빛을 비교합니다.

반대로 같은 시드를 다시 사용하면 어떤 조건에서 결과를 비슷하게 재현하는지 확인할 수 있습니다. 모델 파일이나 실행 버전, 설정이 바뀌면 결과가 달라질 수도 있습니다.

7. Stable Diffusion은 무료인가요?

Stable Diffusion 모델을 직접 실행할 때 서비스의 월 구독료가 반드시 필요한 것은 아닙니다. 하지만 GPU, 전기, 저장 공간과 모델 라이선스, 선택한 클라우드 서비스의 사용료가 별도로 발생할 수 있습니다.

이용 방법	비용과 조건
로컬 PC	하드웨어·전기·저장 공간 비용, 모델별 라이선스
클라우드 GPU	사용 시간과 GPU 성능에 따른 과금
공식 API·외부 서비스	이미지·요청·구독별 요금과 각 제공사의 약관

Stable Diffusion 3.5의 공식 발표에서는 일정 매출 규모 이하에 적용되는 커뮤니티 라이선스의 상업적 이용 조건을 설명합니다. 다만 모든 Stable Diffusion 모델이 동일한 라이선스인 것은 아닙니다. 사용하는 정확한 모델 이름과 라이선스를 확인해야 합니다.

8. 설치 시 자주 겪는 문제와 주의사항

• 메모리 부족: 권장 크기보다 큰 출력을 생성하고 있지 않은지 확인하고 모델의 요구 사양을 살펴봅니다.
• 모델이 보이지 않음: 파일 위치와 지원 형식, 실행 프로그램의 검색 경로를 점검합니다.
• 검은 화면·오류: 운영체제와 그래픽 드라이버, 워크플로 호환성을 확인합니다.
• 느린 생성: CPU만 사용 중인지 또는 사용 모델이 하드웨어에 비해 큰지 확인합니다.

로컬 실행의 장점은 설정을 비교적 자유롭게 관리할 수 있다는 점입니다. 반면 하드웨어와 의존성 문제를 직접 해결해야 하는 부담도 있습니다. 단순 블로그 썸네일 몇 장이 목적이라면 웹 기반 서비스를 이용하는 편이 더 간단할 수 있습니다.

9. 자주 묻는 질문과 마무리

Q. Stable Diffusion과 ComfyUI는 같은 프로그램인가요?

아니요. Stable Diffusion은 이미지 생성 모델 계열이고 ComfyUI는 모델을 실행하고 설정을 연결하는 인터페이스입니다.

Q. GPU 없이 설치할 수 있나요?

환경에 따라 가능한 경우도 있지만 성능이 크게 제한될 수 있습니다. 모델과 설치 방식의 최소 요구 사양을 먼저 확인하세요.

Q. 생성 이미지를 수익형 블로그에 사용해도 되나요?

정확한 모델의 상업적 라이선스와 참고 이미지의 권리를 확인해야 합니다. 실제 사진으로 오해할 수 있는 활용도 피하세요.

처음에는 기본 워크플로로 작은 이미지를 한 장 생성하고 시드를 바꾸는 연습부터 시작하세요. 로컬 AI 이미지 제작의 가장 중요한 개념을 이해하는 데 도움이 됩니다.

공식 참고 자료

• Stability AI 공식 홈페이지
• Stability AI 자체 호스팅 안내
• Stable Diffusion 3.5 모델·라이선스
• ComfyUI 공식 설치 안내