머리말
이 기사는 3D 포인트 클라우드와 관련된 몇 가지 기본 사항이 필요하며 Deep Blue College에서 관련 과정을 수강한 학생들이 읽기에 매우 적합합니다.
포인트 클라우드 처리는 초기 수동 설계 기능에서 시작하여 점차 딥 러닝을 시도했으며 멀티뷰 또는 3D 컨볼루션 등의 혼란기를 겪은 후 포인트넷의 탄생을 알고 번성하기 시작했습니다. 나중에 pointnet++, DGCNN, SONet, KPConv, PointMLP, Point Transformer 등은 후기 작업에 많이 따라가지 못했는데 우연히 얼마전 동생에게 포인트 필러를 사용하면 포인트넷의 컴퓨팅 파워가 떨어진다는 이야기를 들었습니다. 쓸데없다.기둥의 특성은 여전히 수작업으로 디자인되어 만족스럽다. 그러다가 이 차별화된 작품인 pointNN(CVPR 2023)을 봤는데 정말 파라미터 프리를 달성하고 고품질 기능을 보장할 수 있다는 것이 밝혀졌습니다.
텍스트
예비 지식은 pointnet과 pointnet++를 이해하는 것입니다. 이 두 기사를 이해했다면 다음 세 가지 작업에 익숙할 것입니다.
FPS(farthest point sampling): 포인트 클라우드가 불규칙하기 때문에 이미지 컨볼루션만큼 편리하게 앵커 포인트를 정의할 수 없으므로 FPS를 사용하여 포인트 클라우드에 대한 계층적 작업을 수행해야 합니다.각 작업의 결과는 일련의 "센터 "포인트"는 실제로 앵커 포인트입니다. FPS 알고리즘은 자세히 설명하지 않고 포인트 클라우드를 샘플링하는 기능으로, 수집된 포인트 사이의 거리는 최대한 멀어야 하고 포인트 클라우드 전체가 최대한 포함되어야 한다.
Knearest Neighbors(k-NN)는 중심점과 주변 8픽셀에 작용하는 3*3 컨볼루션과 같은 컨볼루션 연산을 말하며 레이어 수가 증가하면 수용 필드도 증가합니다. 포인트 클라우드의 필드는 일반적으로 K-NN 또는 반지름 이웃으로 정의되며, 각각은 하이퍼 매개변수 K와 반지름 반지름을 포함합니다. 방법은 나중에 자세히 설명하겠습니다.
풀링 작업, 풀링은 pointnet에서 가장 중요한 작업이며 주로 포인트 클라우드 장애 문제를 해결합니다.각 포인트의 기능이 함께 연결된 후 풀링 후 결과는 순서에 관계없이 일관성이 있습니다.
다음으로 포인트 클라우드 기능을 추출하는 방법 항목을 입력합니다 .
먼저 공간의 한 점에 대한 임베딩을 수행해야 하는데 너프의 위치 부호화, 푸리에 특성, 변환기의 위치 부호화 등과 같이 이미 문헌에 이 분야에 대한 많은 작업이 있습니다. PointNN은 비슷한 인코딩 방법을 제안했는데, 약간의 시도가 필요할 수 있으며, 왜 이렇게 설계되었는지 이해하기 어렵습니다. 요컨대, 원래 좌표를 인코딩한 후 각각의 원래 지점은 고위도 특성을 가집니다.
, 구별의 편의를 위해 비 중심점 기능을 나타내는 데 사용합니다. 중앙 상점의 특성을 나타냅니다.
각 포인트의 특징을 파악한 후 특징을 더 모아야 합니다. 단일 연산자를 사용하여 구체적으로 표현합니다. 중심점과 가장 가까운 K개의 점에 대해 먼저 각 점의 특징과 중심점의 특징을 연결합니다.
지금까지 모든 코드는 절대적인 정보이며 이전 작업의 경험을 참조하면 상대적인 정보도 필요합니다. 간단히 말해서 전역 좌표계에서 두 점의 좌표는 전역 정보이고, 두 점 사이의 거리는 상대적인 정보이며, 지역 특징점을 추출할 때 중심점은 지역 좌표계가 필요하다. , 따라서 다음 작업을 사용할 수 있습니다.
여기
상대좌표이며 특정 동작시 정규화에 주의해야 하는데 PosE는 앞에서 언급한 위치코드이다. 지금까지 각 포인트의 피처가 센터 포인트와 상호 작용했지만 집계가 완료되지 않았습니다.
집계 작업은 실제로 풀링 작업이며 순열 불변이 보장되는 한 최대 풀링과 평균 풀링 모두 허용됩니다. pointnet은 효과가 좋아서 max pooing을 사용하고, pointNN은 효과가 좋다고 해서 둘다 사용하기 때문에 여기서는 설명하지 않겠습니다.
이러한 과정을 여러 번 거친 후 점군 특징을 계층적으로 추출할 수 있고 최종적으로 전역 점군 특징을 얻을 수 있습니다. 대부분의 포인트 클라우드 특징 추출 네트워크와 일치하여 다양한 작업에 적용할 수 있습니다.차이점은 구조가 비교적 간단하고 유연하기 때문에 매개 변수 없이 좋은 결과를 얻을 수 있으며 위 작업 중 일부를 사용할 수도 있습니다. 선형 연산자의 경우 매우 적은 수의 매개 변수를 도입하면 SOTA 효과를 얻을 수 있습니다. ㅡ
논문에서 언급한 Point-Memory Bank 및 앙상블과 같은 동작은 비교적 이해하기 쉽기 때문에 여기서는 자세히 설명하지 않겠습니다.
비매개변수화의 장점은 훈련이 필요없다는 것입니다. 네트워크가 구축된 후 훈련 세트와 테스트 세트를 한 번만 거치면 됩니다. 실험 비용이 매우 저렴합니다. 개인적으로 생각하는 후속 작업에서 pointnet과 유사한 일부 증명 및 설명은 괜찮을 것입니다.
에 대한
회사 소개
Deep Blue Academy는 인공 지능에 중점을 둔 온라인 교육 플랫폼으로 이미 수만 명의 파트너가 Deep Blue Academy 플랫폼에서 공부하고 있으며 그 중 상당수는 Tsinghua University 및 Peking University와 같은 국내외 유명 대학 출신입니다. .