목차
이 게시물에서는 컴퓨팅 비전의 정의와 주요 작업에 대해 자세히 살펴봅니다. 콘텐츠는 이미지 분류 및 인식, 물체 감지 및 분할, 인체 분석, 3D 컴퓨터 비전, 비디오 이해 및 분석을 다루고 마지막으로 컴퓨터 비전에서 비지도 학습 및 자기 지도 학습의 적용을 시연합니다.
저자인 TechLead는 인터넷 서비스 아키텍처, AI 제품 개발 및 팀 관리 분야에서 10년 이상의 경험을 가지고 있으며, 통지 대학의 Fudan 마스터, Fudan Robot Intelligence Laboratory의 구성원, Alibaba Cloud에서 인증한 수석 설계자, 프로젝트 관리 전문가 및 수십억 달러의 AI 수익 제품 개발 책임자
I. 소개
컴퓨터 비전(Computer Vision)은 인간의 시각 능력을 기계에 부여하는 학문입니다. 영상인식, 영상처리, 패턴인식 등 다방면을 아우르며 인공지능 연구의 중요한 부분이 되었다. 이 기사에서는 컴퓨터 비전의 정의, 역사적 배경 및 개발, 현재 응용 분야에 대한 개요를 자세히 소개합니다.
1.1 컴퓨터 비전의 정의
컴퓨터 비전은 기계가 시각적 세계를 이해하고 해석할 수 있도록 하는 방법을 연구하는 과학일 뿐만 아니라 기계가 인간과 유사한 시각적 처리 능력을 가질 수 있도록 하는 기술입니다. 디지털 이미지와 비디오를 분석하여 기계가 현실 세계의 물체와 장면을 인식, 추적 및 이해할 수 있도록 합니다. 또한 컴퓨터 비전에는 이미지 복원 및 3D 재구성과 같은 심도 있는 연구 방향도 포함됩니다.
1.1.1 핵심기술
핵심 기술에는 더 복잡한 시각적 작업을 달성하기 위해 여러 기술을 결합하여 특징 추출, 대상 감지, 이미지 분할, 3D 재구성 등이 포함되지만 이에 국한되지 않습니다.
1.1.2 애플리케이션 시나리오
컴퓨터 비전은 자율주행, 의료진단, 지능형 모니터링 등 다양한 분야에서 널리 활용되며 관련 산업의 비약적인 발전을 촉진하고 있다.
1.2 역사적 배경과 발전
컴퓨터 비전의 발전 역사는 풍부하고 다채롭습니다.1960년대 초기 탐색부터 오늘날의 딥 러닝 기술 혁명에 이르기까지 다음과 같은 주요 단계로 나눌 수 있습니다.
1.2.1 1960년대-1980년대: 초기 단계
- 이미지 처리: 주로 가장자리 감지, 텍스처 인식 등과 같은 간단한 이미지 처리 및 기능 엔지니어링에 중점을 둡니다.
- 패턴 인식: 필기 숫자 인식과 같은 기본 작업 구현.
1.2.2 1990~2000년대: 머신러닝 시대
- 특징 학습: 특징 학습과 객체 인식은 기계 학습 방법을 통해 더욱 정교하고 강력해졌습니다.
- Support Vector Machine과 Random Forest의 활용: 새로운 솔루션을 제공합니다.
1.2.3 2010년대-현재: 딥러닝 혁명
- Convolutional Neural Networks: CNN의 광범위한 사용은 컴퓨터 비전에 획기적인 발전을 가져왔습니다.
- 전이 학습과 강화 학습의 결합: 컴퓨터 비전 작업의 상당한 진전.
1.3 응용 분야 개요
컴퓨터 비전은 많은 산업에 침투했으며 그 응용은 과학 기술 분야에 국한되지 않고 우리 일상 생활에 더 광범위하게 영향을 미칩니다.
1.3.1 산업 자동화
이미지 인식 기술을 사용하여 제품 품질 검사 및 분류를 자동으로 수행하여 생산 효율성과 정확성을 향상시킵니다.
1.3.2 의료영상 분석
질병 진단 및 예측을 위한 딥 러닝과 결합된 컴퓨터 비전은 전통적인 의료 방법을 변화시켰습니다.
1.3.3 자율주행
컴퓨터 비전은 자율주행에서 핵심적인 역할을 하며 주변 환경을 실시간으로 분석하고 차량 경로 계획 및 의사 결정을 위한 정확한 정보를 제공합니다.
1.3.4 가상현실과 증강현실
컴퓨터 비전 기술을 통해 몰입형 가상 환경을 만들어 엔터테인먼트, 교육 등의 분야에서 새로운 경험을 제공합니다.
2. 컴퓨터 비전의 다섯 가지 핵심 과제
물론 기술적인 깊이와 콘텐츠의 풍부함은 매우 중요합니다. 제공된 것에 대한 개선된 버전은 다음과 같습니다.
2.1 이미지 분류 및 인식
이미지 분류 및 인식은 입력 이미지 또는 비디오 프레임을 하나 이상의 미리 정의된 범주에 할당하는 것과 관련된 컴퓨터 비전의 핵심 작업 중 하나입니다. 이 장에서는 이 작업의 핵심 개념, 기술 진화, 최근 연구 결과 및 가능한 향후 방향에 대해 자세히 설명합니다.
2.1.1 이미지 분류 및 인식의 기본 개념
이미지 분류는 이미지를 특정 범주에 할당하는 작업이며 이미지 인식은 범주를 특정 엔터티 또는 개체에 연결하여 한 단계 더 나아갑니다. 예를 들어, 분류 작업은 이미지에서 고양이의 존재 또는 부재를 식별할 수 있는 반면, 인식 작업은 애완용 고양이에서 야생 표범에 이르기까지 다양한 고양이 종을 구별할 수 있습니다.
2.1.2 초기 방법 및 기술 진화
초기 이미지 분류 및 인식 방법은 수작업 기능과 통계적 기계 학습 알고리즘에 크게 의존했습니다. 이러한 방법의 개발 역사는 다음과 같습니다.
- 특징 추출: SIFT 및 HOG와 같은 특징을 사용하여 이미지의 로컬 정보를 캡처합니다.
- 분류기 적용: SVM, 결정 트리 및 기타 분류기를 사용하여 이미지를 분류합니다.
그러나 이러한 방법은 기능 엔지니어링의 복잡성과 제한된 일반화 기능으로 인해 많은 실제 응용 프로그램에서 성능이 제한되었습니다.
2.1.3 딥러닝의 도입과 혁신
딥 러닝의 출현으로 이미지 분류 및 인식에서 상당한 진전이 이루어졌습니다. 특히 CNN(Convolutional Neural Networks)의 도입은 해당 분야의 연구와 실제 적용에 혁명적인 변화를 가져왔습니다.
이미지 분류에서 컨볼루션 신경망의 응용
컨볼루션 신경망은 누적된 컨벌루션 레이어, 풀링 레이어 및 완전 연결 레이어를 통해 이미지 기능을 자동으로 학습하므로 수동으로 기능을 설계할 필요가 없습니다. 다음은 간단한 CNN 구조의 예입니다.
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense
# 定义模型
model = Sequential()
model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(64, 64, 3)))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# 输出模型结构
model.summary()
요약하다
이미지 분류 및 인식은 컴퓨터 비전의 초석이며 기술 발전은 전체 분야의 급속한 발전을 완벽하게 반영합니다. 손으로 디자인한 기능부터 복잡한 딥 러닝 모델에 이르기까지 이 분야는 컴퓨터 비전의 강력한 기능을 보여줄 뿐만 아니라 미래의 혁신과 개발을 위한 견고한 토대를 마련합니다. 고급 알고리즘과 하드웨어의 개발로 이미지 분류 및 인식이 사람들의 증가하는 요구를 충족하기 위해 미래에 더 많은 시나리오에서 역할을 할 것으로 기대합니다.
2.2 객체 감지 및 분할
객체 감지 및 분할은 컴퓨터 비전의 핵심이며, 이미지에서 객체를 식별하는 것뿐만 아니라 해당 객체를 정확하게 찾고 분할하는 것입니다. 이 분야와 관련된 문제는 기본 이미지 처리에서 복잡한 딥 러닝 방법에 이르기까지 다양합니다. 이 장에서는 객체 감지 및 분할의 주요 개념, 주요 방법 및 최신 개발에 대해 자세히 설명합니다.
2.2.1 객체 감지
개체 감지는 이미지에서 개체를 식별할 뿐만 아니라 개체의 위치와 범주를 정확하게 결정해야 합니다. 응용 분야에는 얼굴 인식, 교통 분석, 제품 품질 검사 등이 포함됩니다.
초기 접근
초기 물체 감지 방법은 주로 손으로 만든 기능과 전통적인 기계 학습 방법에 의존했습니다.
- 슬라이딩 윈도우: HOG와 같은 수동 기능을 결합하여 슬라이딩 윈도우를 통해 여러 크기와 위치에서 개체를 찾습니다.
- SVM 분류기: 일반적으로 슬라이딩 윈도우와 결합되며 객체 분류를 위해 SVM 분류기를 사용합니다.
딥러닝 방식
딥 러닝 기술의 출현은 물체 감지 분야를 크게 발전시켰습니다.
- R-CNN 시리즈: R-CNN에서 더 빠른 R-CNN으로, 특히 지역 제안 네트워크(RPN) 및 ROI 풀링 혁신을 사용하여 객체의 정확한 감지를 달성하기 위해 점진적으로 발전했습니다.
- YOLO: YOLO(You Only Look Once)는 한 번의 정방향 패스의 실시간 감지 기능으로 주목을 받았습니다.
- SSD: SSD(Single Shot Multibox Detector)는 다중 스케일 특징 맵을 통해 크기가 다른 물체를 감지하고 실시간 감지가 가능한 장점도 있습니다.
# 使用YOLO进行物体检测的代码示例
from yolov3.utils import detect_image
image_path = "path/to/image.jpg"
output_path = "path/to/output.jpg"
detect_image(image_path, output_path)
# 输出图片包括检测到的物体的边界框
2.2.2 객체 분할
개체 분할 작업은 보다 상세하며 픽셀 수준에서 개체 분석을 포함합니다.
시맨틱 분할
시맨틱 분할은 동일한 범주의 다른 인스턴스를 구별하지 않고 이미지의 각 픽셀을 특정 범주에 할당하는 것을 목표로 합니다.
- FCN: FCN(Fully Convolutional Network)은 시맨틱 분할의 선구적인 작업 중 하나입니다.
- U-Net: U-Net은 대칭형 인코더 및 디코더 구조를 통해 정확한 의료 영상 분할을 달성합니다.
인스턴스 분할
인스턴스 세분화는 동일한 범주의 다른 개체 인스턴스를 추가로 구분합니다.
- Mask R-CNN: Mask R-CNN은 Faster R-CNN을 기반으로 객체 마스크 생성 분기를 추가하여 인스턴스 분할을 달성합니다.
요약하다
개체 감지 및 분할은 이미지 처리, 기계 학습 및 딥 러닝의 측면을 결합하며 컴퓨터 비전에서 복잡하고 다면적인 작업입니다. 자율 주행, 의료 진단, 지능형 모니터링 및 기타 분야에서 광범위한 응용 분야를 보유하고 있습니다. 향후 연구는 다중 모드 정보 융합, 소수 샘플 학습 및 실시간 고정밀 감지와 같은 최첨단 과제에 더 초점을 맞추고 이 분야의 혁신과 개발을 계속 촉진할 것입니다.
2.3 인체 분석
인체 분석은 컴퓨터 비전에서 중요하고 활발한 연구 분야로 인체 인식, 감지, 세분화, 자세 추정, 동작 인식 등 다양한 작업을 다루고 있습니다. 인간 분석의 연구 및 적용은 보안 모니터링, 의료 건강, 엔터테인먼트, 가상 현실 등을 포함한 많은 분야에서 광범위한 영향을 미칩니다.
2.3.1 얼굴 인식
안면인식은 영상에서 얼굴을 찾는 기술일 뿐만 아니라 얼굴을 검증하고 인식하는 기술이다.
- 얼굴 감지: Haar cascade와 같은 알고리즘을 사용하여 이미지에서 얼굴의 위치를 정확하게 찾습니다.
- 얼굴 확인 및 인식: FaceNet과 같은 딥 러닝 방법을 적용하여 두 얼굴이 같은 사람인지 확인하거나 대규모 데이터베이스에서 일치하는 얼굴을 찾습니다.
2.3.2 인간 포즈 추정
인체의 자세 추정은 인체의 주요 관절 위치와 전체적인 자세를 파악하는 것으로, 동작 분석 및 건강 모니터링과 같은 분야에서 중요한 응용 분야입니다.
- 1인 포즈 추정: 예를 들어 OpenPose와 같은 방법을 사용하여 단일 인체의 주요 관절을 식별합니다.
- 다중 인물 포즈 추정: 복잡한 장면의 경우 여러 인체의 주요 관절을 동시에 인식할 수 있습니다.
# 使用OpenPose估计人体姿态的代码示例
import cv2
body_model = cv2.dnn.readNetFromTensorflow("path/to/model")
image = cv2.imread("path/to/image.jpg")
body_model.setInput(cv2.dnn.blobFromImage(image))
points = body_model.forward()
# points中包括了人体的关键关节信息
2.3.3 동작 인식
동작 인식은 이미지 또는 비디오에서 특정 인간 동작 또는 동작을 인식합니다.
- 시퀀스 기반 방법: RNN 또는 LSTM을 사용하여 일련의 이미지를 분석하여 동작의 시간적 특성을 캡처합니다.
- 3D 컨볼루션 기반 방법: 3D CNN을 사용하여 동영상의 시공간적 특징을 분석하여 보다 풍부한 동작 정보를 얻습니다.
2.3.4 인체 분할
Human Segmentation은 인체를 배경과 다른 물체로부터 분리하는 기술입니다.
- Semantic Segmentation: 개인을 구별하지 않고 전체 인체를 배경에서 분리합니다.
- Instance Segmentation: 서로 다른 인간 인스턴스를 더욱 구별하여 다음에 적합
2.4 3D 컴퓨터 비전
3D 컴퓨터 비전은 흥미진진한 연구 분야일 뿐만 아니라 가상 현실(VR), 증강 현실(AR), 3D 모델링, 로봇 내비게이션 등 많은 실용적인 응용 분야의 기반을 제공합니다. 이 장에서는 3D 컴퓨터 비전의 주요 개념과 방법에 대해 자세히 설명합니다.
2.4.1 3D 재구성
3D 재구성은 2D 이미지 세트에서 3D 장면을 재구성하는 프로세스입니다. 이 프로세스에는 여러 복잡한 기술과 알고리즘이 포함됩니다.
스테레오 비전
스테레오 비전은 두 대 이상의 카메라에서 이미지를 비교하여 장면의 깊이 정보를 추정하는 것입니다. 이것은 추가 3D 재구성을 위한 기초를 제공합니다.
다중 뷰 형상
다중시점기하학은 다중시점의 기하학적 관계를 이용하여 3차원 구조를 재구성하는 방법이다. 정확한 3D 재구성은 에피폴라 기하학 및 삼각 측량의 적용을 통해 달성될 수 있습니다.
포인트 클라우드 생성 및 융합
SLAM(simultaneous localization and mapping) 기술과 같은 포인트 클라우드 생성 및 융합 방법은 다시점 이미지에서 정확한 3D 구조를 생성할 수 있습니다.
2.4.2 3D 객체 감지 및 인식
3D 물체 감지 및 인식에는 물체의 등급을 식별하는 것뿐만 아니라 3차원 공간에서 물체의 방향과 자세를 결정하는 것도 포함됩니다.
2D 이미지 기반 방법
이러한 방법은 3D CNN을 사용하여 3D 개체를 인식하고 지역화하는 것과 같은 3D 추론을 위해 2D 이미지 및 깊이 정보를 활용합니다.
포인트 클라우드 기반 방법
PointNet과 같은 일부 고급 방법은 3D 포인트 클라우드 데이터를 직접 처리하여 보다 복잡한 장면에서 정확한 감지 및 인식을 달성할 수 있습니다.
2.4.3 3D 시맨틱 분할
3D 시맨틱 분할에는 3D 장면을 의미 있는 부분으로 분할하고 각 부분에 시맨틱 레이블을 할당하는 작업이 포함됩니다.
복셀 기반 방법
이러한 방법은 3D U-Net과 마찬가지로 3D 공간을 복셀로 나누고 분할을 수행하여 강력한 3D 분할 기능을 제공합니다.
포인트 클라우드 기반 방법
PointNet과 같은 포인트 클라우드 기반 방법은 포인트 클라우드 데이터를 직접 처리하여 정확한 3D 시맨틱 분할을 달성할 수 있습니다.
2.4.4 3D 포즈 추정
3D 포즈 추정에는 3D 공간에서 객체의 위치와 방향을 추정하는 것이 포함됩니다.
단일보기 방법
단일 이미지에서 3D 포즈를 추정하는 것은 어렵지만 일부 특정 애플리케이션에는 충분히 효과적입니다.
멀티뷰 방식
정확한 추정을 위해 여러 관점에서 정보를 결합하는 것은 많은 고급 3D 비전 작업을 위한 핵심 기술을 제공합니다.
요약하다
3D 컴퓨터 비전은 도전과 기회가 가득한 분야입니다. 기본적인 3D 재구성에서 복잡한 3D 객체 인식 및 의미론적 분할에 이르기까지 이 분야의 연구는 많은 첨단 기술과 응용 분야에 지대한 영향을 미쳤습니다. 하드웨어 및 알고리즘의 지속적인 개선으로 3D 컴퓨터 비전은 자율 주행, 스마트 도시 건설, 가상 및 증강 현실 등과 같은 많은 첨단 기술의 개발을 계속 촉진할 것입니다. 앞으로 우리는 이 분야에서 더 많은 혁신과 돌파구를 기대할 수 있습니다.
2.5 비디오 이해 및 분석
비디오 이해 및 분석은 비디오 콘텐츠의 인식 및 해석을 포함할 뿐만 아니라 시공간 구조의 추론도 포함하는 컴퓨터 비전의 중요한 분야입니다. 단일 이미지 분석과 비교하여 비디오 분석은 시각 정보의 연속성과 내적 연결을 더 깊이 파고들어 컴퓨터 비전의 새로운 영역을 열 수 있습니다.
2.5.1 비디오 분류
비디오 분류의 목적은 비디오의 전체 콘텐츠를 식별하고 레이블을 지정하는 것이며, 이는 다른 작업으로 더 세분될 수 있습니다.
- 짧은 영상 분류: 행동, 표정 등을 인식하는 등 영상 속 특정 활동이나 장면에 주로 초점을 맞춘다. 이 작업은 소셜 미디어 콘텐츠 분석, 광고 추천 등에 널리 사용됩니다.
- 장편 영화 분류: 전체 영화 또는 TV 시리즈 분석에는 감정, 스타일, 주제 등의 인식이 포함될 수 있습니다. 이 기술은 추천 시스템, 콘텐츠 조정 등에 사용할 수 있습니다.
2.5.2 동작 인식
동작 인식은 비디오에서 특정 동작이나 동작을 캡처하는 프로세스입니다.
- 2D 컨볼루션 기반 방식: C3D 모델을 사용하는 등 시간적 차원의 연속성을 포착하여 단기 동작 인식에 적합합니다.
- 3D 컨볼루션 기반 방법: I3D 모델과 같이 더 복잡한 장면에 대한 시공간 정보를 더 잘 캡처합니다.
# 使用I3D模型进行动作识别的代码示例
import tensorflow as tf
i3d_model = tf.keras.applications.Inception3D(include_top=True, weights='imagenet')
video_input = tf.random.normal([1, 64, 224, 224, 3]) # 随机输入
predictions = i3d_model(video_input)
# 输出预测结果
print(predictions)
2.5.3 비디오 객체 감지 및 분할
비디오 객체 감지 및 분할은 객체 감지, 추적 및 분할 기술을 통합합니다.
- 개체 감지: Faster R-CNN 및 광학 흐름과 같은 방법과 결합된 타이밍 분석을 통해 비디오 시퀀스에서 개체를 정확하게 찾을 수 있습니다.
- 인스턴스 분할: 비디오의 단일 인스턴스를 보다 자세하게 분할합니다.응용 시나리오에는 의료 영상, 지능형 모니터링 등이 포함됩니다.
2.5.4 비디오 요약 및 하이라이트 감지
비디오 요약 및 하이라이트 감지의 목적은 대량의 비디오 데이터에서 핵심 정보를 추출하는 것입니다.
- 키프레임 기반 방법: 빠른 탐색 또는 인덱싱을 위해 대표 프레임이 요약으로 선택됩니다.
- 학습 기반 방법: 강화 학습을 사용하여 하이라이트를 선택하는 방법, 경기 하이라이트의 리플레이를 자동으로 생성하는 방법 등
2.5.5 비디오 생성 및 편집
비디오 생성 및 편집에는 더 높은 수준의 생성 및 사용자 정의가 포함됩니다.
- 비디오 스타일 변환: 뉴럴 스타일 전송 기술을 통해 다양한 스타일을 변환할 수 있습니다.
- 콘텐츠 생성: 예를 들어 GAN 기술을 사용하여 새로운 비디오 콘텐츠를 합성할 수 있어 예술 창작 및 엔터테인먼트 산업에 새로운 가능성을 제공합니다.
요약하다
다차원적이고 다차원적인 분야로서 비디오 이해와 분석은 미디어와 엔터테인먼트 기술의 진보를 촉진할 뿐만 아니라 모니터링, 치료, 교육 및 기타 방향에서 광범위한 실용적인 가치를 보여줍니다. 연구에는 이미지 분석, 시공간 모델링, 기계 학습 및 기타 측면의 교차 및 융합이 포함됩니다. 기술의 지속적인 발전과 심화로 미래의 영상 이해는 보다 정확하고 스마트하며 자동화된 수준을 달성하여 사람들의 삶과 일에 더 큰 편리함과 가능성을 제공할 것으로 기대됩니다.
3. 비지도학습과 자기지도학습을 컴퓨터 비전에 적용
비지도 학습과 자기 지도 학습을 컴퓨터 비전에 적용하는 것은 현재 뜨거운 연구 방향입니다. 감독 학습과 비교할 때 이러한 방법은 비용과 시간이 많이 소요되는 라벨링 프로세스가 필요하지 않으며 큰 잠재력을 가지고 있습니다. 비전에서 이 두 가지 학습 방법의 주요 응용 프로그램은 아래에서 자세히 살펴봅니다.
3.1 비지도 학습
클러스터링
비지도 학습의 클러스터링 작업은 유사한 데이터를 그룹화하는 방법에 중점을 둡니다.
- 이미지 클러스터링: K-평균 알고리즘을 사용하는 경우 이미지 검색 및 분류를 위해 이미지를 색상 및 질감과 같은 기능별로 그룹화할 수 있습니다.
- 깊이 클러스터링: DeepCluster와 같이 딥 러닝으로 추출한 기능을 통한 클러스터링은 더 복잡한 패턴을 캡처할 수 있습니다.
차원 축소 및 표현 학습
차원 감소 및 표현 학습은 데이터의 본질적인 구조를 드러낼 수 있습니다.
- 주성분 분석(PCA): PCA는 노이즈를 제거하고 이미지의 주요 구성 요소를 더 잘 이해하는 데 도움이 되는 일반적으로 사용되는 이미지 차원 감소 방법입니다.
- Autoencoder(AE): Autoencoder는 데이터의 압축된 표현을 학습할 수 있으며 이미지 노이즈 제거 및 압축과 같은 작업에 자주 사용됩니다.
3.2 자기 지도 학습
자기 지도 학습은 데이터의 일부를 사용하여 나머지를 예측하고 다양한 교육 작업을 다루는 비지도 환경에서 교육합니다.
비교 연구
대조 학습은 긍정적인 예와 부정적인 예를 비교하여 데이터 표현을 학습합니다.
- SimCLR: SimCLR은 긍정적인 예와 부정적인 예를 비교하여 기능 표현을 학습합니다.
# SimCLR的代码示例
from models import SimCLR
model = SimCLR(base_encoder)
loss = model.contrastive_loss(features) # 对比损失
- MoCo: MoCo는 보다 강력한 대조 학습을 위해 대기열 및 모멘텀 인코더를 사용하여 보다 정확한 모델을 교육하는 데 도움이 됩니다.
사전 훈련 작업 설계
- 색상 예측: 회색조 이미지에서 원래 색상을 예측하면 이미지의 색상 구성을 이해하는 데 도움이 됩니다.
- Autoregressive 예측: 예를 들어 PixelCNN을 사용하여 이미지 생성에 대한 제어를 향상시키기 위해 이미지의 다음 픽셀 값을 예측합니다.
3.3 교차 모달 학습
- 이미지-텍스트 매칭: CLIP을 사용하는 것과 같이 시각적 및 텍스트 표현을 동시에 학습하면 다중 모달 연구를 발전시킬 수 있습니다.
- 오디오-이미지 매칭: 감독되지 않은 방법은 오디오와 이미지 간의 연결을 설정하여 멀티미디어 분석의 새로운 지평을 열었습니다.
4. 요약
비지도 학습과 자기 지도 학습은 값비싼 주석에 의존하지 않는 새로운 길을 열어줍니다. 이 분야는 클러스터링, 대조 학습, 자동 회귀 예측 등과 같은 풍부한 방법을 통해 컴퓨터 비전에서 점점 더 많이 사용되고 있습니다. 최신 연구는 시각적 표현 학습에서 지도 방법에 접근하거나 능가하는 자기 지도 학습의 능력을 입증하여 가능한 향후 연구 방향과 광범위한 응용 시나리오를 제안합니다.
저자인 TechLead는 인터넷 서비스 아키텍처, AI 제품 개발 및 팀 관리 분야에서 10년 이상의 경험을 가지고 있으며, 통지 대학의 Fudan 마스터, Fudan Robot Intelligence Laboratory의 구성원, Alibaba Cloud에서 인증한 수석 설계자, 프로젝트 관리 전문가 및 수십억 달러의 AI 수익 제품 개발 책임자