I. 서 론
1. 연구의 배경 및 목적
2. 연구의 범위 및 방법
II. 이론적 배경
1. 공간 시각화 자동화
2. 이미지 생성 AI 기반 공간 시각화
III. 디자인 스타일 모델 구축
1. 대규모 언어 모델(LLM) 기반 프롬프트 엔지니어링
2. 이미지 생성 AI 기반 디자인 스타일 모델 추가 학습
IV. 디자인 스타일 모델 기반 공간디자인 시각화
1. 디자인 스타일을 반영한 공간디자인 대안 생성
2. 텍스트-이미지(Txt2img) 기반 공간디자인 시각화
3. 이미지-이미지 (Img2img) 기반 공간디자인 시각화
V. 결 론
I. 서 론
1. 연구의 배경 및 목적
공간 시각화는 실내 건축 분야에서 중요한 역할을 수행하며, 이는 시각 매체를 통해 아이디어와 디자인을 효과적으로 전달하여 설계 과정에 참여하는 다양한 이해관계자들 간의 소통을 촉진한다(Chiu, 1995; Cherneff et al., 1992). 실내 공간에서 디자인 스타일은 공간을 계획하고 꾸미는 방법과 접근 방식을 나타내는 것으로, 공간의 미적, 기능적, 심리적인 측면을 형성하고 강조한다. 디자인 스타일은 공간의 사용자 및 사용 목적에 따라 다양한 취향과 유행을 아우르며 색상, 패턴, 재료, 가구 및 소품의 선택에 영향을 미친다(Goldschmidt et al., 1998; Eckert et al., 2000). 또한, 사용자의 개성과 취향을 나타내는 수단으로서 개인의 아이덴티티와 삶의 스타일을 반영하기도 한다. 이로 인해, 공간 시각화 과정에 있어 사용자의 선호도를 고려한 맞춤형 디자인을 이해하고 제안하는 것이 중요하다. 그러나 이는 사용자의 다양한 취향과 요구를 고려하여 그들이 원하는 디자인 스타일과 공간적 요소를 이해하는 것과 동시에 시각화를 위한 전문 기술을 필요로 하며, 이 과정은 전문가와 비전문가 모두에게 시간, 비용, 그리고 노력 면에서 상당한 투자를 필요로 한다(Lee et al., 2020).
최근 딥러닝 기술의 발전으로 인해 생성형 인공지능(생성형 AI)에 큰 관심을 불러일으키고 있다. 그 결과, 대규모 언어 모델 (LLMs)을 기반으로 한 이미지 생성 인공지능(이미지 생성 AI)을 활용한 시각적 콘텐츠 생성에 대한 다양한 연구가 이루어지고 있다. 이러한 흐름을 확장하여, 본 연구는 이미지 생성 AI를 활용하여 전문 기술 없이도 사용자의 선호도와 목적에 따라 다양한 디자인 시각화 대안을 생성할 수 있는 공간 시각화 자동화 접근 방식을 제안하고자 한다.
2. 연구의 범위 및 방법
본 연구에서는 이미지 생성 AI 모델 중 하나인 Stable Diffusion (이하, SD)을 활용하여 다양한 디자인 스타일을 반영한 공간 시각화 이미지 생성을 위한 방법론에 대해 조사하며(Stability AI, 2022), 특히 기존 SD 모델을 기반으로 특정 디자인 스타일에 대한 추가 학습을 진행하고 이를 바탕으로 다양한 활용 방안을 모색하는 것을 목표로 한다. 본 연구의 시각화 대상은 주거 공간의 거실로 한정하며, 총 25가지 디자인 스타일을 활용하여 연구를 진행하였다. 본 연구에서 수행된 절차는 다음과 같다. 첫째, 기존 SD 모델과 추가 학습 모델 포함 총 25가지 디자인 스타일 모델을 구축하였다. 이를 위해, LLM을 기반으로 각 디자인 스타일에 대한 프롬프트 엔지니어링(Prompt Engineering)이 수행되었으며, 디자인 스타일 모델 구현을 위한 간략한 절차와 방법을 제시한다. 둘째, 구축된 디자인 스타일 모델을 활용하여 텍스트-이미지(이하, Txt2img) 및 이미지-이미지(이하, Img2img)방식으로 공간 시각화 이미지 생성 시연을 진행한다. 셋째, 시연을 통해 생성된 단일 스타일과 혼합 스타일과 같은 구체적인 스타일 조합 공간 디자인 예시를 통해 추가 학습 모델의 활용 방안을 모색한다.
II. 이론적 배경
1. 공간 시각화 자동화
실내 건축 분야에서 기술의 진화는 공간이 구상되고 현실화되는 방식을 변화시키고 있다. 이러한 변화 중 하나는 공간 시각화 자동화이다. 과거에 디자이너는 공간 시각화를 위한 아이디어 전달을 위해 수동 스케치와 2차원 도면에 의존하였다(Phare et al., 2018; Ching, 2011). 그러나 첨단 기술과 컴퓨터 지원 도구의 등장으로 공간 시각화는 패러다임 전환을 경험하였다(Karras et al., 2018). 고급 소프트웨어, 컴퓨터 지원 설계 및 3D 모델링 도구의 통합으로 디자이너는 공간을 현실적이고 몰입적으로 시각화할 수 있게 되었다(Sutherland, 1964). 이러한 발전을 통해 디자이너는 물리적 레이아웃뿐만 아니라 조명, 재료, 질감, 그림자 등의 복잡한 세부 사항을 정확하게 표현할 수 있었다. 결과적으로 고객 및 프로젝트 협력자를 포함한 이해관계자는 실제 건설이 시작되기 전에 제안된 설계를 실물과 같은 방식으로 경험할 수 있게 되었다(Ah-Soon et al., 1997, Jonson, 2005; Oxman, 2006). 또한, 실시간 렌더링, 증강 현실(AR), 가상 현실(VR)을 포함한 도구를 통해 가상 영역과 현실 영역 사이의 격차를 줄여 디자이너와 고객에게 원활하고 몰입감 있는 디자인 탐색 프로레스를 제공할 수 있다(Shin & Lee, 2022; Lee et al., 2023; Yigitbas et al., 2023; Milgram et al., 1994).
기술의 지속적인 발전에 따라, 인공지능을 기반으로 한 공간 시각화 방법은 디자인 요소, 사용자 선호도 및 과거 데이터를 분석하여 다양한 디자인 대안을 생성하고 의사 결정 프로세스 개선을 위한 도구로 활용될 수 있으며(Jeong & Lee, 2023), 이를 바탕으로 본 연구에서는 다양한 디자인 스타일 모델을 구축하여 공간 시각화 자동화의 예시를 제시한다.
2. 이미지 생성 AI 기반 공간 시각화
이미지 생성 AI를 기반으로 한 응용 연구는 다양한 분야에서 이루어지고 있다(Yoo & Lee, 2023; Kawar et al., 2023; Ruiz et al., 2023; Kim et al., 2023). 그러나 실내 건축 분야에서의 이미지 생성 AI의 활용 연구는 여전히 한정적이다. 또한, 딥러닝 기반 디자인 스타일 식별 모델이 제시된 반면(Kim et al., 2018; Kim et al., 2020), 디자인 스타일을 효과적으로 시각화하는 연구는 제한적이다. 대규모 데이터를 사전 학습한 이미지 생성 AI는 특정 대상에 대한 추가 학습 과정을 통해 주어진 데이터에 존재하는 패턴 및 관계를 반복적으로 학습한다. 이를 통해 구축된 추가 학습 모델의 활용을 통해 대상과 일치하는 이미지를 효과적으로 생성할 수 있다(Ramesh et al., 2021; Ramesh et al., 2022; Saharia et al., 2022; Rombach et al., 2022). 따라서 본 연구에서는 이미지 생성 AI에 디자인 스타일 추가 학습을 진행하고 이를 반영한 공각 시각화 이미지 생성 자동화 방법을 탐구하고, 이를 통해 실내 건축 분야에서의 이미지 생성 AI의 활용 가능성을 확장하고자 한다.
III. 디자인 스타일 모델 구축
1. 대규모 언어 모델(LLM) 기반 프롬프트 엔지니어링
디자인 스타일 모델 구축을 위해 각 스타일별 Prompt Engineering을 진행하였다. Prompt Engineering은 이미지 생성 AI를 사용할 때, 모델에 입력되는 텍스트 프롬프트(Prompt)를 설계하고 조정하는 과정을 나타낸다. 이 과정은 AI 모델에게 정확한 작업을 수행하도록 유도하여 모델의 출력을 원하는 방향으로 생성하기 위해 사용된다. 본 연구의 연구 대상인 디자인 스타일은 주관적인 특성으로 인해 개인의 관점에 따라 해석이 다양하여 정확한 정의를 내리기 어렵다. 이로 인해 본 연구에서는 Prompt Engineering에 사용될 디자인 스타일의 상세 키워드를 추출하기 위해 LLM을 사용하였다(OpenAI, 2021). LLM은 대규모 텍스트 데이터를 기반으로 훈련되었으며, 이 데이터에는 다양한 디자인 스타일과 관련된 정보가 포함되어 있다. 이는 데이터 기반의 정보를 활용함으로써 사람의 주관적인 의견이나 편견을 최소화하고 객관적인 기준으로 상세 키워드를 추출할 수 있다. 또한, 트렌드에 따라 새로운 스타일이 등장할 때 신속하게 반영하여 대응하는 데 용이하다. 각 디자인 스타일의 상세 키워드는 시각적 특성에 기반하여 디자인 요소, 마감재, 색상, 분위기를 중점적으로 추출되었으며 실제 생성 및 추가 학습에 활용된 예시는 <Table 1>과 같다.
Table 1.
Design Style Keywords for Prompt Engineering
2. 이미지 생성 AI 기반 디자인 스타일 모델 추가 학습
본 연구에서는 이미지 생성 AI 중에서, 세 가지 주요 플랫폼인 SD, DALL-E 2, 그리고 Midjourney의 이미지 생성 성능을 검토하고 비교하였다. 각 플랫폼은 고유하고 독특한 이미지 생성 능력과 기술적 특성, 장점 및 한계를 지니고 있다.
검토 결과, 본 연구에서는 오픈 소스(Open Source) 플랫폼으로 제공되며, 픽셀 값을 안정화하는 확산 기법을 사용함으로써 이미지 생성 시에 잡음과 모호성이 최소화되고 높은 안정성과 정확성을 나타내는 SD를 기반으로 모델 추가 학습을 진행하였다. 또한 LoRA(Low-Rank Adaption of Large Language Models) 방법론을 활용하였다. 이와 관련하여 수행된 절차는 3단계로 수행되었다. 1) 학습 데이터 수집 및 전처리, 2) 학습 데이터셋 생성, 3) 모델 학습. 이와 관련한 내용은 <Figure 2>와 같다.
학습 데이터 수집 및 전처리 단계에서는 대상 디자인 스타일에 관련된 이미지 데이터를 수집한다. 예를 들어, 젠(Zen), 브루탈리즘(Brutalism) 등의 스타일을 나타내는 이미지를 확보한다. 이미지 데이터는 데이터의 대표성, 다양성, 시각적 특성 추출, 트렌드 추적, 실제 사용 사례와 연관성을 위해 건축 및 실내공간 전문 사이트(Houzz, Home Living, Archdaily 등)에서 수집되었다. 수집된 이미지 데이터는 전처리 과정에서 학습 데이터 조건에 부합하도록 512 × 512픽셀로 크기를 조정 및 정규화하는 작업을 진행하였다.
학습 데이터셋 생성 단계에서는 사전 수집 및 전처리 단계를 거친 디자인 스타일 관련 이미지를 기반으로 그에 대한 텍스트 라벨링을 수동으로 진행하였다. 이는 모델의 학습과 평가를 위한 필수적인 과정으로, 라벨링된 텍스트는 모델에게 각 이미지의 디자인 스타일에 대한 정보를 제공하여 해당 스타일을 학습시킨다. 또한 수동으로 세밀하게 입력된 라벨링은 모델의 정확성과 품질 향상을 도모하며, 추후 모델이 원하는 디자인 스타일을 얼마나 정확하게 인식하여 생성하는지 평가하는 데 도움이 된다.
모델 학습 단계에서는 사전 학습된 기존 SD 모델과 구축된 학습 데이터셋을 사용하여 모델 추가 학습을 진행한다. 이때, 이미지 생성 과정에서 디자인 스타일 정보를 통합하여 원하는 결과를 얻을 수 있도록 학습 하이퍼파라미터를 조절하여 최적화하는 단계를 거친다. 하이퍼파라미터 조건에 따른 모델의 성능을 평가하고 필요한 경우 추가 튜닝을 진행하여 최종적으로 safetensors 형식의 디자인 스타일 LoRA 모델이 생성된다.
IV. 디자인 스타일 모델 기반 공간디자인 시각화
1. 디자인 스타일을 반영한 공간디자인 대안 생성
기존 SD 모델과 추가로 구축된 디자인 스타일 모델을 포함한 25가지 디자인 스타일을 활용하여 주거 공간의 거실을 대상으로 공간 디자인 시각화 이미지 생성 시연을 진행하였다. 이미지 생성은 2가지 방식으로 Txt2img와 Img2img로 나누어 진행하였으며, 디자인 스타일 조합 및 매칭을 통해 기존에 존재하는 단일 스타일뿐만 아니라 혼합 스타일과 같은 새로운 디자인 스타일 구성을 만드는 것을 목표로 하였다.
이미지 생성을 위한 프롬프트는 3.1장에서 생성한 각 디자인 스타일 상세 키워드를 사용하여 입력하였다. 프롬프트는 Positive와 Negative로 구분되었으며 Positive 프롬프트는 AI 모델에게 원하는 대상을 생성하도록 유도하기 위함이다. 반면, Negative 프롬프트는 AI 모델이 생성하지 말아야 하는 대상의 특징이나 피해야 할 내용을 지시하기 위해 입력된다. 해당 프롬프트는 <Table 3>의 형식으로 정의되었으며, 이미지 생성에 사용된 설정 조건은 <Table 2>와 같다.
Table 2.
Image Generation Conditions
| Base Model | Sampler | Sampling Steps | CFG Scale | Resolution |
| SD v 1.5 | DPM+ 2M Karras | 20-30 | 7-13 | 1024 × 512 |
Table 3.
Prompt Template Format for Design Style
2. 텍스트-이미지(Txt2img) 기반 공간디자인 시각화
앞서 언급한 설정 조건과 프롬프트를 바탕으로 공간 디자인 시각화 이미지 생성을 진행하였으며 이미지 한 장당 약 5초의 시간이 소요되었으며, 최종적으로 단일 스타일 11,000장, 혼합 스타일 4,000장 이상의 이미지가 생성되었다.
생성 결과, 각 이미지는 프롬프트에 부합하는 요구 사항에 일치하도록 각 디자인 스타일의 키워드에서 나타난 특징을 고수준으로 구현해내는 동시에 고해상도 이미지를 안정적으로 생성하는 능력을 나타내었다. 또한, 혼합 스타일 이미지는 각 스타일 모델의 가중치에 따라 조합되어 다양한 스타일 융합의 독특한 공간 디자인을 보여주었다. 이와 관련한 Txt2img 기반 공간디자인 시각화 이미지 생성 결과는 <Table 4>와 같으며, 다음과 같은 세 가지 기준으로 생성 결과에 대한 평가를 진행하였다: 1. 디자인 스타일 관련 키워드 반영 유무, 2. 공간 구성, 가구 배치 및 형태 왜곡 수준, 3. 이미지 품질(해상도, 비율). 본 연구는 디자인 스타일을 대상으로 함에 따라 평가 기준 2, 3에 적합성을 보이는 이미지만을 선별하여 기준 1에 대한 적절성 평가를 진행하였다. <Table 4>은 각 디자인 스타일의 생성 이미지와 함께 앞서 추출한 Keywords(Table 1 참고)의 반영 유무를 보여준다. 이를 통해 사용자의 취향과 공간 사용 목적에 맞게 맞춤형 디자인을 효과적으로 생성하는 데 디자인 스타일 모델의 유용성을 실험적으로 입증하는 바이다.
Table 4.
The Results of Space Design Visualization based on Txt2img (*Keyword = Reflected: nomal / Non-reflected: italic)
3. 이미지-이미지 (Img2img) 기반 공간디자인 시각화
Img2img 기반 공간 시각화 이미지 생성 시연은 SD 모델의 확장 모델 중 하나인 ControlNet의 Canny 방식을 활용하여 진행되었다. 이 모델은 이미지 생성 및 편집 과정에서 이미지의 특정 측면을 조정하는 데 있어 더 많은 제어와 안정성을 제공한다. Canny는 이미지 처리에서 경계 검출에 사용되며 이미지 내 윤곽선을 유지한 채 디자인 스타일 모델 적용이 가능하다. 이를 바탕으로 본 연구에서 진행한 Img2img 기반 이미지 생성에서는 시드 이미지(Seed Image)로써 아파트 거실 이미지를 텍스트 프롬프트와 함께 제공하였다. 생성 결과, 이미지 내의 공간 구성과 가구 배치는 그대로 유지되면서 다양한 디자인 스타일이 반영된 이미지가 생성되었다. 향후 이를 활용하여 공간 리모델링 계획 시 전문가뿐만 아니라 비전문가도 모델링 없이 단일 이미지로 원하는 목적에 맞게 모델을 핸들링하여 공간 시각화가 용이할 것으로 사료된다. 이와 관련한 내용은 <Table 5>와 같다.
V. 결 론
본 연구는 이미지 생성 AI를 활용하여 다양한 디자인 스타일을 반영한 공간 시각화 자동화를 위한 접근 방법을 제안하였다. 특히, 디자인 스타일 모델 구축을 위해 LLM을 기반으로 한 프롬프트 엔지니어링을 진행하였으며, 이를 통해 디자인 스타일이 가지는 주관성 및 다양성에 대응하여 다양한 사용자의 취향을 반영한 공간 시각화 도구로서 이미지 생성 AI 모델의 잠재력을 검증했다는 점에서 의의가 있다. 또한, 본 연구에서 진행한 Txt2img와 Img2img 기반 공간 시각화에서는 다양한 스타일을 조합 및 매칭하여 사용자 중심 디자인 및 트렌드에 따른 진화를 포함하여 이전에 경험하지 못한 새로운 디자인 아이디어에 대한 창의성을 촉진할 수 있다. 본 연구를 통해 도출된 주요 통찰은 다음과 같다.
첫째, 공간 디자인 시각화: 이미지 생성 AI 모델은 텍스트로부터 현실감있는 시각화 이미지를 생성할 수 있어, 전문가와 비전문가 그리고 이해관계자들이 디자인 개념을 더 잘 이해하고 전달하는 데 도움을 줄 수 있다. 그러나 그림자, 반사, 가구 형태 등 복잡한 요소를 정확하게 표현하기에는 한계가 존재하여 정확성을 높이기 위한 개선 및 조정이 필요할 것으로 사료된다.
둘째, 디자인 프로세스 개선: 복잡한 공간 디자인 시각화 개념은 이미지 생성 AI 모델을 활용하여 보다 쉽게 시각 자료로 변환되어, 기존의 프로세스에서 요구되었던 전문 리소스, 비용 및 시간과 같은 요소를 개선할 수 있다. 또한, 다양한 디자인 대안 생성을 통해 실제 디자인 선택 과정에서 디자인 비교가 용이하다.
셋째, 사용자 중심 디자인 및 접근성: 고급 소프트웨어 기술 없이 간단한 추가학습을 통해 원하는 수준의 고품질 시각 자료를 생성할 수 있어, 개인의 취향에 따라 공간 디자인 시각화가 용이하며 이에 따른 접근성을 높일 수 있다.
본 연구는 디자인 스타일과 거실을 대상으로 연구를 수행하였지만 향후 지역, 문화 및 공간 목적에 따른 다양한 요구 사항을 수용하도록 방법론을 확장할 수 있으며, 추가적으로 이러한 구축 모델을 활용하여 실제 경험적인 사용을 제공하는 접근 가능한 애플리케이션 개발에 관한 후속 연구를 진행할 계획이다.
