AI 프로젝트를 할 때 우리는 종종 알고리즘과 데이터라는 두 가지 주제에 직면해야 합니다. 어느 것이 더 중요합니까? 당연히 모두 중요하지만 비교해야하므로 데이터를 선택합니다.
AI를 채용할 때 일반적으로 알고리즘 엔지니어, 특히 알고리즘의 혁신에 큰 중요성을 부여하는 많은 대형 공장을 채용하여 이것이 수준을 입증하고 모델의 효과를 향상시킬 수 있다고 생각합니다. 하지만 현실은 만족스럽지 못한 경우가 많습니다.구조가 다른 수백 개의 모델을 비교했지만 최종 훈련 효과는 거의 동일하고 그 차이는 일부 중요한 하이퍼 매개 변수만큼 크지 않습니다.
물론 데이터가 매우 일반적이라는 것이 모든 종류의 데이터를 수집하는 것이 완전하다고 간주되는 것은 아닙니다. 또한, 데이터 수집의 성공 여부도 과소 평가해서는 안 되며, 예를 들어 ASR 모델을 만들고 기록하고 수동으로 기록하는 등 시간당 비용을 상상할 수 있습니다. 이때 모델의 특성과 결합된 다양한 데이터 처리, 데이터 향상, 파라미터 조정이 좋은 결과를 얻기 위한 핵심입니다.
Wu Enda 인터뷰: AI의 다음 발전 방향은 빅 데이터에서 스몰 데이터로 가는 것입니다. 이는 두 가지 의미를 내포하고 있는데 첫째, 빅데이터는 얻기 어려운 경우가 많고 소수의 대기업만이 가질 수 있는 특권일 수 있다는 점과 둘째, 미세 조정을 위해 미리 학습된 모델을 사용하는 데 현재 너무 많은 데이터가 필요하지 않다는 점입니다. , 모델이 더 잘 학습하려면 소량의 고품질 데이터가 필요합니다. 사전 훈련 모델은 이미 좋은 기본 기술을 가지고 있기 때문에 현재로서는 특정 문제에 대해서만 승화하면 됩니다.
또한 Wu Enda는 기계 학습 팀 작업의 80%가 데이터 준비에 있어야 하며 데이터 품질을 보장하는 것이 가장 중요한 작업이라고 말했습니다. 위의 그림은 AI 문제 반복의 흐름도이며, 문제가 설정된 후 가장 중요한 첫 번째 단계는 데이터를 얻고 준비하는 것입니다.
알고리즘과 데이터 중 어느 것이 더 중요하다고 생각하십니까?
AI 인공지능과 빅데이터
