자동화 및 스케일 파이썬 데이터 처리 (구)

프론티어 1

자동화 된 작업에 대한 1.1

새로운 분석의 일부 매주 화요일 출력은 이해 관계자에게보고하여 전송을 준비하는

다른 부서 나 동료 도구를보고하고지도와 지원없이 도구를 청소를 실행 할 수 있어야합니다

주, 청소 및 송신 한 번 데이터 다운로드

보고서가 생성 될 때 사용자가 새 보고서를 요청할 때마다, 스크립트는 사용자를 실행해야하고, 통지

당신은 다른 곳으로 일주일에 잘못된 데이터베이스 내부의 데이터를 백업 한 번 청소해야

1.2 자동화 된 작업에 적합하지 않다

작업이 드문, 매우 복잡하고, 더 나은 그것을 스스로 할

미션 성공의 출력을 결정하기가 어렵다

작업을 완료하는 데 적절한 방법을 결정하는 사람들과 상호 작용이 필요

긴급 작업 성공

이 자동화 된 단계

다음 설명서 문제

가. 작업 시작 시간

나. 시간 제한 또는 작업의 최대 길이가 있습니까? 그렇다면, 때 중지

다. 작업에 필요한 입력 무엇인가

라. 작업에 무슨 일이 성공은 부분적으로 성공한 것입니다

전자. 작업은 어떻게해야하는지, 실패

바. 작업 생산하거나 무엇을 제공 하는가? 누구를위한? 어떤 방법으로

g. 작업의 종료 후 어떤 일이 발생한다

자동화 기본 단계

가. 작업의 작은 덩어리로 휴식, 질문 세트를 정의

나. 정확하게 전체에 입력 유효성 검사 작업에 필요한 사항을 각 하위 작업, 무엇을해야하고 무엇을 설명 입력

다. 때 작업을 실행하는 입력을받을 위치를 결정하고,

라. 당신의 작업, 데이터 또는 실제 테스트 샘플을 코딩 시작

전자. 당신의 작업 및 스크립트, 추가 서류를 정리

바. 기록 성공의 작업에 대한 로그, 디버그 오류 및 초점 추가

필요에 따라 g. 변경, 테스트 수동으로 저장소에 코드를 제출

시간. 작업을 자동화하기위한 수동 작업을 대체함으로써, 자동화 스크립트 준비

리터. 처음 작업 자동화, 로그 및 경고에 초점을 맞 춥니 다. 모든 오류 및 버그를 수정. 당신의 테스트 및 문서 업데이트

m은. 검사 주파수 오류 로그에 대한 장기 계획을 수립하기

자동화 된 작업의 잘 작동 세트를 완료하는 데 시간이 걸리지 만 결과는 일반적으로 요구되는 것보다 우려되고, 수정과 더 나은 한 번 스크립트의 모니터링

3 점 오류

가능한 오류

가. 데이터 손실 또는 손상의 결과로 데이터베이스 연결 오류

나. 스크립팅 취약점과 오류, 작업이 제대로 완료되지 않은

웹 사이트 또는 API 오류 또는 너무 많은 요청에서 다. 시간 초과 오류

라. 국경 문제는,보고 또는 보증의 일부 데이터는 스크립트 오류로 주도하지 않은

전자. 서버 부하 문제 또는 기타 하드웨어 문제

바. 태클, 경쟁 조건

자동화 시스템 탄성 방법을 구축

특정 시간 간격으로 실패 사명을 반복

당신이 블록을 제외하고, 당신은 오류를 처리 할 수있는 ... 시도하는 코드를 많이 가지고 있는지 확인하십시오

기계 코드 주위에 특별한 예외 블록을 구성, 처리, 데이터베이스, 또는 API에 연결

당신이 자동화를 사용하는 기계의 정기적 인 유지 보수 및 모니터링

자동화 작업 및 절차를 테스트하기 위해 정기적으로 테스트 데이터가 제대로 실행되도록하려면

스크립트에 의존, 경쟁 조건 API 규칙에서 발생 참고, 코드를 작성 지식을 기반으로

비슷한 요청을 사용하여 라이브러리를 멀티 프로세싱

4. 자동화

특별한 도구의 자동화

5.1 로컬 파일, 매개 변수 및 구성 파일을 사용하여

5.2 구름

5.3 병렬 처리

5.4 사용을 분산 처리

 

추천

출처www.cnblogs.com/qiu-hua/p/12629470.html