딥러닝 기반 이미지 처리 및 캡션 생성 시스템

프로젝트 개요

이 프로젝트는 사용자가 업로드한 이미지를 처리하고, 객체를 탐지하며, 새로운 이미지를 생성하고 캡션을 제공하는 웹 애플리케이션입니다.

주요 기능

• 이미지 업로드: 사용자는 JPEG, JPG, PNG 형식의 이미지를 업로드할 수 있습니다.
• 객체 탐지: Faster R-CNN 모델을 사용해 이미지 내 객체를 탐지하고, 각 객체에 경계 상자와 라벨을 표시합니다.
• 이미지 생성: 사용자가 입력한 메시지를 기반으로 Stable Diffusion 모델이 새로운 이미지를 생성합니다.
• 캡션 생성: BLIP 모델을 통해 탐지된 객체 정보를 바탕으로 이미지에 대한 설명을 생성합니다.
• 실시간 소켓 통신: Flask-SocketIO를 활용해 클라이언트와 서버 간에 실시간으로 이미지와 메시지를 주고받습니다.

기술 스택

• Flask: 웹 서버 및 API 구축
• Torch & torchvision: 딥러닝 모델 사용
• Diffusers: 이미지 생성
• OpenCV & PIL: 이미지 처리 및 시각화
• Flask-SocketIO: 실시간 데이터 전송

예시

이 프로젝트는 딥러닝과 웹 기술을 결합하여, 사용자에게 직관적이고 즉각적인 이미지 처리 경험을 제공합니다.

(좌) 강아지 이미지 업로드 예시, (우) 채팅에 pencil 입력 예시

사용된 모델들

1. Stable Diffusion

설명: Stable Diffusion은 이미지 생성 모델로, 주어진 텍스트 설명을 바탕으로 고해상도 이미지를 생성하는 능력을 가지고 있습니다.
용도: 사용자가 입력한 메시지를 기반으로 새로운 이미지를 생성하는 데 사용됩니다.

2. Faster R-CNN

설명: Faster R-CNN(Region Convolutional Neural Network)은 객체 탐지 모델로, 입력 이미지 내에서 객체의 위치(바운딩 박스)와 클래스(라벨)를 동시에 예측합니다.
용도: 업로드된 이미지에서 객체를 탐지하고, 각 객체에 대한 바운딩 박스를 그리는 데 사용됩니다.

3. BLIP (Bootstrapping Language-Image Pre-training)

설명: BLIP는 이미지와 텍스트의 관계를 이해하기 위해 사전 훈련된 모델입니다.
용도: 탐지된 객체에 대한 설명을 생성하는 데 사용됩니다.

뒤로가기