저자 : 딩 차오
머리말
점점 더 많은 기업이 AI 관련 기술을 사용, 인공 지능 모델의 대부분은 클라우드에 배포하는 데 사용됩니다, 결국, 서버 컴퓨팅 빠르고 쉽게 관리합니다. 단말 장치의 성능으로, 단말기 모델에서 AI의 사용은 더 나은 비즈니스 실시간 응답, 데이터 개인 정보 보호 요구 사항을 충족 할 수 있습니다 더 큰 가치가있다. 방울 은행 카드 인식 기능은 또한 클라이언트를 배포 할 계획 여행뿐만 아니라 많은 문제 :
- 모델 어려움을 업그레이드 모델은 일반적으로 소프트웨어 지원에 적용되는 터미널에 존재하는 사용자는 소프트웨어 업데이트를 적용할지 여부를 선택할 수 있습니다, 모델의 버전은 분열로 이어질 것입니다.
- 하드웨어 적응 문제, 다른 터미널 장비 공급 업체는 사용자 정의 요소의 깊이는, 일부 호환성 문제가있을 수 있기 때문에
- 충분한 친화적 인 클라이언트 엔지니어에 대해 서로 다른 프레임 워크를 실행하는 다른 모델.
터미널의 조각 스마트 팀 출범 이러한 문제를 해결하기 위해 광역를 솔루션으로를, 그것은 설계의 시작이 될 것이다 업그레이드 할 수 다중 모델 관리 지원, 멀티 프레임 지원, 암호화 모델 과 같은 인프라 등의 기능을 제공합니다.
광역 어떻게 관리의 좋은 모델입니다
우리는 작품의 주요 부분은 3 일을 발생하는 문제에 초점을 맞추고 :
- 모델을 검증하는 테스트를 충당하기 위해 모델의 수를 해보려고
- 운영 환경의 준비의 사용은 부하 모델을 달성하기 위해
- 동적으로 업데이트하여 모델을 업그레이드하려면
다음 세 가지에 대해 개별적으로 도입된다.
운영 환경의 구성
광역 SDK 다섯 추론 프레임 워크 프로세스를 요약 한 것입니다, 그들은 사전 처리, 실행 추론, 후 처리, 릴리스 자원의 시작 부분에 있습니다. 광역 통합 운영 환경의 경우, 기본 동작은 반전 설계를 의존하여 비즈니스 구현에 대한 액세스를 특정 추론 프레임 워크에 대해 우려하지 않고, 단지 추상화 광역의 상위 계층에 따라, 추상적 추론이다. 이 디자인의 가장 큰 장점은 비즈니스 개발 및 광역 SDK가 완전히 분리 개발할 수 있도록 개발자는 항상 달성하기 위해 프레임 워크를 수정하지 않고, 추론을위한 새로운 프레임 워크를 추가 할 수 있다는 것입니다.
사용자는 사용자의 프로세스를보다 간단하고 효율적으로 간소화 운영 환경의 구성을 완료하는 데 간단한 설명 JSON 파일이 필요합니다.
다음과 같이 간단한 구성은 다음과 같습니다
{
"version": "1.0.0", // 版本号
"tag": "tag_mnist", // 区分业务场景
"runtime": "tensorflow", // runtime类型
"source": "installed", // 安装源
"modelDir": "mnist", // 所在文件夹
"modelName": "mnist_cnn_keras", // 模型文件名
"updateURL": "https://www.didiglobal.com" // 升级配置链接
}
모델 적용 시험
하드웨어 차이의 문제, 우리는 모델 검증은 다중 모델 테스트를 충당하기 위해 노력하는 동안, 다른 모델에서 모델의 성능은 일정한 업그레이드 복구를 모델링하기 위해 모델 생산 팀에 피드백을 기록 할.
시험의 촬영 부분을 다음과 같이 처리 될 때 생성 비교 데이터 :
동일 모델하지 않지만, 상기 명령을 사용하는 것이 상이 할 수 있지만, 시스템의 전반적인 성능을 알 수 있고, 값은 참조 용. 이 과정에서 다중 범위 시험 모델을 확인할 수 있도록하는 벤치 마크 도구를 정착이 도구는 오픈 소스 모델의 일부가 될 것입니다 미래는 당신의 가용성을 확인할 수 있도록하고, 효과적인 모델의 설립 비교.
동적 업데이트
모델 유통 관리 모듈에 의한 광역 모델은 두 가지 유형으로 구분됩니다
- 현지 모델, 모델과 함께 제공 의미 응용 소프트웨어
- 원격 모델은이 정책 구성을 통해 로컬 모델에 서버에서 다운로드 일치하는 모델입니다
로컬 및 원격 모델의 가장 큰 차이점은 모델 지역 모델은 애플리케이션 소프트웨어 업데이트 따라 변경 될 수 있으며, 모델의 원격 버전이 지역에 대한 업데이트 된 모델을 비교하여 새로운 모델, 모델과 모델 사이의 비교를 통해입니다. 로컬 및 원격 모델 모델은 공존 할 수 있고, 또한 패키지의 크기를 줄이기 위해 여행 방울의 최신 버전에 혼자 존재하는 모든 모델은 원격 다운로드 출신, 심지어 로컬 모델이 아니다.
모델이 모델이 가능하고 신뢰할 수 있는지 확인하기 위해 두 종류로 구분하는 이유, 왜 말합니까? 지역 모델 만 해당 APP가 온라인으로 수행 할 수있는 안정 버전으로 테스트 후 오랜 시간이 지나면 보통, 중 최신 버전으로, 또한 안정된 버전 이상과 같이, 심지어 원격 모델은 나중에 업그레이드가 화산재에 의해도 만족하지 다운로드 찾기 시험의 원격 사용 가용성 모델을 보장 원격 모델의 사용을 중지한다.
비즈니스 모델의 원격 모델은 동적으로 반복 제품 출시주기가 더 이상 클라이언트에 의존 용이하지으로 업데이트 할 수있는 기능을 가지고있다. 지원 동적 스위치를 쓰기에서, 심지어 모델 지정된 부하의 정확한 버전이 될 수 있습니다.
모델 관리 아래 그림과 같이 전체 구조 :
로드 모델은 어떻게 사용 하는가?
모델 관리자가 아이폰 OS에 광역의 기본 구성 요소, 예를 들어, 구성 요소에 달성하기 위해 다음 로더 디렉토리 . 기본 구성 파일은 모델 JSON 형식을 지원하는 의 런타임 구성 mnist 데모 구성을 설명 할 코드 섹션을.
구성 형식 모델과 모델 프로필 이름과 원격 스토리지 주소의 버전이 상속을 통해 사용할 수있는 AoEModelConfig클래스를 수정해야 할 특정 사용은 참조 할 수 squeezenet의 인스턴스
오픈 소스 버전에서는 또한, 하나의 다기능 모델을 지원하는 최초의 카드와 디지털 카드의 영역을 찾을 수 있습니다, 예를 들어, 은행 카드 식별, 전체 두 단계를 취할 제공하는 광역를 가지고, 두 번째는 디지털 사진 영역을 기반으로 카드를 식별, 그래서 프로세스는 두 모델이 필요합니다. 태그 필드 모델 구성은 특정 모델을 대상으로 할 수있다 DIR 필드 주로 기능과 관련된 모델을 정의하는 데 사용되는 오픈 소스 프로젝트를 사용했다.
최근에 작성된
원격 로딩을위한 모델이되지 않음 오픈 소스 버전 온라인,하지만 라인에있을 것입니다, 낮은 9 월에 예상되는 의제에 예정되어 있지만 원격 장전 및 다차원 회색 테스트 구성에 의해 보장은 모델 안정적이고 안전한 작동을 돕는 것입니다. 당신은, 당신은 AI 터미널 운영 환경에 대한 생각이 있다면, 당신은이 프로젝트를 사용에 관심이 있다면, 우리는 여러분을 초대합니다, 질문이 있습니다.
Github의 주소 :
에 오신 것을 환영합니다 스타 ~
QQ 채팅 그룹 (QQ 그룹 번호 : 815 254 379)
~ 그룹 채팅을 추가하세요