OCR-Form-herramientas del proyecto de demostración de grabación (dos) Revisión de productos

Este es un blog del curso de ingeniería de software

[TODO forma PLACEHOLDER]

En un blog anterior , que introdujo brevemente herramientas de forma OCR y su despliegue local, este blog será además evaluar el software.

El primero en salir a correr de nuevo los procesos de software completos, comprensión intuitiva de su función

Este servicio de almacenamiento de Azure de almacenamiento de datos basado en herramientas son utilizadas por los maestros para desarrollar la prueba proporcionada a continuación almacén, que contiene 5 partes de archivo de formulario formación pdf. Al mismo tiempo, hay una forma local de un archivo PDF del mismo formato que los datos de prueba.

Crear un proyecto

Después de ejecutar para ver la pantalla inicial.

Se puede ver el diseño general de la interfaz de Microsoft está tomando el viento siempre ha sido plana en 10 años, de color oscuro tema de repente, la gente piensa en su producto estrella y VSC vs. Haga clic en Nuevo proyecto para tratar de crear un nuevo proyecto de identificación de formulario:

Varios verificar esta forma se ha completado, marcador de posición y escriba un indicio es muy clara.

Cabe señalar que la adición de una nueva conexión a asociarse con servicios de almacenamiento de Azure. Interfaz proporciona el botón "Agregar conexión" muy cerca, también puede hacer clic en los pequeños tapones de interfaz de icono en la parte izquierda de la página y completar la Gestión Agregar conexión.

Después de la terminación del nuevo proyecto de vuelta a la forma que acaba de hacer. Continuar con el resto de la información para completar y crear un nuevo proyecto de identificación de forma

En el editor, consulte la página PDF vista previa para ser marcado.

etiquetas añadir

Con el fin de identificar el modelo de formación, tenemos que estar marcada forma, estamos interesados ​​en la información (como nombre, dirección, e-mail) marcado, utilizando como modelo para preparar las diferentes características. Para distinguir esta información, queremos señalar que en una etiqueta diferente

Nombre Añadir el nombre de la etiqueta y su tipo de cadena

Haga clic en el documento pdf campo de nombre de John Singer, ver la prensa después de que el cuadro de mensaje tecla marcada decoloración "1", el nombre fue elegido para ver el cuadro rojo y aparecerá a la derecha del lado Tag Nombre, el éxito de la etiqueta.

añadieron secuencialmente correo electrónico, código postal, EXPDATE, Monto varias etiqueta, y la cadena de asignación, número entero, fecha, tipo de número, etiquetas para etiquetar diferentes tipos de pruebas; tags de anotaciones completas sobre todos los anteriores cinco pdf

Se puede ver el archivo habrá un pequeño icono con la etiqueta anotada.

Marcado con un lector de PDF zoom rueda de soporte y arrastre para mover, al igual que el texto pre-ocr clic de manera muy conveniente, rápida, tipo de prensa digital de etiquetas, tipo de eliminación de eliminación se puede hacer con el ratón y el teclado marcada abajo rápidamente. Cinco tipos de etiquetas me marcaron cinco documentos completos en minutos, diez eficacia muy alta.

modelo de formación

Haga clic en la izquierda marcó la finalización del botón de tren para entrar en la página de entrenamiento

Haga clic en el lado derecho del tren para entrenar a un nuevo modelo, después de la finalización de la devolución de la información y la precisión de la predicción del modelo de cada etiqueta

modelo de prueba

Haga clic en el lado izquierdo de la página después de que el modelo predice el modelo entrenado, intente utilizar simplemente entrenado para predecir un nuevo pdf. Examinar para seleccionar el archivo de la izquierda después de la vista previa, a continuación, empezar a hacer clic predecir predicción

Después de la terminación de los retornos de confianza, y

Se puede ver las etiquetas individuales son adecuadamente la marquesina. Desde este pdf no aparece en el conjunto de entrenamiento, la formación descripción del modelo tuvo mucho éxito. Observando resultado predicción también puede descargar el formato JSON (el texto es demasiado largo, algunos de los cuales toma aquí):

"fields":{"Email":{"type":"string","valueString":"[email protected]","text":"[email protected]","page":1,"boundingBox":[2.045,6.0200000000000005,3.345,6.0200000000000005,3.345,6.15,2.045,6.15],"confidence":0.99,"elements":["#/analyzeResult/readResults/0/lines/25/words/0"],"fieldName":"Email","displayOrder":1},"Zipcode":{"type":"integer","valueInteger":5001,"text":"05001","page":1,"boundingBox":[7.2250000000000005,6.55,7.58,6.55,7.58,6.655,7.2250000000000005,6.655],"confidence":0.999,"elements":["#/analyzeResult/readResults/0/lines/33/words/0"],"fieldName":"Zipcode","displayOrder":2},"Amount":{"type":"number","text":"45.00","page":1,"boundingBox":[6.54,7.84,6.875,7.84,6.875,7.95,6.54,7.95],"confidence":1,"elements":["#/analyzeResult/readResults/0/lines/42/words/0"],"fieldName":"Amount","displayOrder":4},"ExpDate":{"type":"date","text":"10 / 21","page":1,"boundingBox":[4.49,7.88,4.92,7.88,4.92,8.01,4.49,8.01],"confidence":1,"elements":["#/analyzeResult/readResults/0/lines/38/words/0","#/analyzeResult/readResults/0/lines/39/words/0","#/analyzeResult/readResults/0/lines/40/words/0"],"fieldName":"ExpDate","displayOrder":3},"Name":{"type":"string","valueString":"Jaime Gonzales","text":"Jaime Gonzales","page":1,"boundingBox":[2.365,5.74,3.35,5.74,3.35,5.845,2.365,5.845],"confidence":0.97,"elements":["#/analyzeResult/readResults/0/lines/15/words/0","#/analyzeResult/readResults/0/lines/15/words/1"],"fieldName":"Name","displayOrder":0}}}],"errors":[]}}

Dado que la función principal de este proyecto es que la colusión: el conjunto de entrenamiento pdf primero será subido a azul burbuja almacenamiento, conectarse y crear un proyecto con el que marcan sus herramientas, y luego entrenar el modelo, se puede obtener un modelo para identificar el formato del formulario . Desde entonces, la necesidad de identificar un nuevo modelo entrenado formulario de entrada, puede exportar los datos del formulario después de formatear.

Experiencia personal

En general me gusta mucho esta herramienta, creo que puede mejorar significativamente la corriente de procesamiento de formularios situación requiere mucha mano de obra. En concreto, creo que las ventajas son:

1. Con la pre-marcada OCR rápida consecución de selección de campo y método abreviado basado en este diseño es muy fácil de usar, el etiquetado de eficiencia es muy alta
2. entrenamiento del modelo de ventanilla única, inmediatamente etiquetada modelo de transferencia de datos de buena utilizarse inmediatamente después del entrenamiento, ahorrar un montón de llamadas a la API tediosas, la formación de aprendizaje automático escondido - una gran cantidad de flujo de trabajo detalle inferir, incluso si no hay antecedentes técnicos relevantes puede ser fácilmente empezar
3. En base a reaccionar de spa, proporcionado en forma de una aplicación web, sin tener que instalar paso de implementación, una bolsa lista
4. Modelo dispuesto en el extremo posterior de la misma sólo tendrá que proporcionar url base, lo que significa que cualquier modelo pueden acceder fácilmente a la misma API de interfaz de backend, tiene una fuerte capacidad de ampliación
5. atractiva interfaz

A pesar que todo el proceso es una herramienta experiencia muy suave, pero aún así creo que hay algunos pequeños problemas:

1. Interfaz de anotación incluye consejos demasiado vagas, difíciles de entender para los nuevos usuarios de icono digital que representa las nuevas etiquetas correspondientes al botón marcado; ni sugiere el uso de la tecla de borrar para eliminar el campo de marquesina
2. A pesar de que está proporcionando el tipo de etiqueta, pero no apunte a abrir las etiquetas de menú configuración no puede ver el tipo de etiqueta y, por tanto, una revisión de la configuración del tipo de etiqueta es demasiado problema, cuando más propensas omisiones conjunto de etiquetas. En el modelo general para diferentes tipos de entidad elegirá diferente proceso de precodificación, y tipos de etiquetas, por lo tanto inexactas pueden causar modelo errónea o subóptima el uso de características que codifican influyen en la precisión del modelo. (Se recomienda que, en la parte inferior de las tablas de la interfaz y de formación de etiquetado resultados están llenando la categoría etiqueta)
3. Ahora el modelo sólo es compatible con los servicios de almacenamiento de Azure para los usuarios que ya tienen su propia forma de soluciones de almacenamiento de algo desagradable
4. El modelo no puede predecir carga masiva, la inferencia mayor
5. formato de descarga Json contiene grandes cantidades de datos en bruto del usuario no son de interés (por ejemplo, el bloque de detección de posición, etc.); y similares formato Excel no proporciona los resultados derivados, de manera que los no profesionales difícil integrar la herramienta directamente en el flujo de trabajo.

Pruebas y de informe de errores

Dado que el trabajo del curso necesario para encontrar error de software, tengo un negro-caja de pruebas del software en un entorno operativo diferente con el navegador y encontró los siguientes problemas:

Por primera vez en la caja de herramientas acoplable entorno de ejecución virtual para estibador, conectarse a un almacén remoto fallará. mensaje de error es difícil de entender al usuario, por lo que este debe ser el desarrollador inesperada excepción no controlada:

A medida que la imagen oficial se ha construido como una versión de lanzamiento estibador, no proporciona suficiente información de depuración, teniendo en cuenta la simulación del estibador Herramientas entorno de red para reproducir las ventanas es más compleja, y por lo tanto no hay más intentos de localizar la causa del error, por lo que sólo se informe de errores.

Otro problema asociado con el etiquetado. Al etiquetar archivo de prueba de datos decimales, un solo caso de datos post-clic se marca en repetidas ocasiones ocurrir:

Haga clic en los archivos de prueba de la FIG, respectivamente, CCAuth-1.pdfy los CCAuth-2.pdfresultados observados en el campo de cantidad y decimales se seleccionan dos veces erróneamente se pueden encontrar. Análisis probablemente porque los elementos de procesamiento pdf documento divide Sons dos decimales, mientras que los dos están identificados por separado como una palabra ocr bloque, tanto de la coinciden bloque de colisión - de ahí el cheque. Para abordar este problema, se podría considerar, cuando el rango de la seleccionó dos palabras cuando los coincide bloque con o dispone, algún juicio y procesamiento.

Debe tenerse en cuenta, no se trata de lo que es un problema serio - el primero es el error aparece esporádicamente en el entorno de funcionamiento extrema, el grupo objetivo es relativamente escenarios de uso de software y en términos de por completo dentro de los límites aceptables; cuando este último está marcado la disfunción de alguna pequeña probabilidad, no hay una reducción significativa en el uso de la experiencia.

De hecho, hay que reconocer que la calidad de esta herramienta de software es muy alta. Tenía un montón de pruebas de recuadro negro en Chrome, Firefox, Edge y otra variedad de navegadores convencionales no son una función obvia o error de visualización.

Para entender las necesidades y análisis funcional

Después funcionamiento completo de nuevo, ya tengo una comprensión general de las características de este proyecto. Mi opinión es que se trata de un algoritmo de reconocimiento de forma de fondo de diseño de herramienta de anotación forma , proporciona un muy eficiente y fácil de capacidades de archivo de formulario de anotación de formato de uso, con el que puede crear rápidamente un conjunto de entrenamiento , al mismo tiempo, sino que también simplifica el seguimiento, puede ser entrenado de inmediato, utilizando el conjunto de entrenamiento dado en la formación modelo de reconocimiento .

Creo que esta herramienta para resolver el dolor puntos son:

1. Los datos del formulario es difícil de cuestiones de etiquetado. condiciones normales, los algoritmos de aprendizaje se centran en la mayoría de los datos son: La ubicación del campo de destino en el documento, el tipo de datos del valor real del campo de destino del campo de destino. Dado que la mayoría Document Format (PDF, DOCX, etc.) o de la clase XML de un documento XML en forma de tejido, así como un gran número de formatos de imagen forma pura requiere el procesamiento de los campos del documento (por lo general las coordenadas de la esquina) es difícil intuitiva se da a modo de , por lo marcó una característica a menudo necesaria basándose en diversos herramienta gráfica para medir las coordenadas del elemento de texto, y el tipo con el fin de completar su verdadero valor después de que el manual - este es un trabajo muy molesto, los costos tan altos de mano de obra. Y, como el análisis anterior, esto marcó una buena herramienta simplifica este proceso.

Tengo entendido que en la actualidad el proyecto está tentativamente grupos de usuarios:

1. Los usuarios de Microsoft OCR-Form. Esta herramienta se describe como README, es una serie de herramientas para conducir el pliego de cargos, que tiene por objeto (y de hecho puede) optimizar significativamente la experiencia de OCR-Form. Con esta herramienta puede datos de forma rápida anotar, modelo de formación, la validación del modelo

Y creo que esta herramienta tiene el potencial para resolver los puntos de dolor:

1. el personal no técnico es difícil aprender a usar la máquina de aprendizaje problemas modelo de procesamiento de datos del formulario. Considere el ser humano, los departamentos financieros y de otro, un gran número de artículo hace un recuento de un día, el informe debe ser digitalizado con el fin de facilitar las estadísticas, este proceso es simple duplicación muy tedioso esfuerzo - y el modelo de identificación de forma es el arma puede liberar a éstos de la productividad. Sin embargo, estos informes frecuentes cambios en los formatos, el modelo de reconocimiento correspondiente en consecuencia necesidad de re-tren - pero la mano de obra del personal, finanzas y otros departamentos a menudo no tienen el modelo de formación necesaria experiencia API de recuperación, y por lo tanto difícil de lograr esta visión. Esta herramienta simplifica el flujo de trabajo se concentra, el algoritmo oculta, llamadas a la API y otros detalles técnicos, por lo que también se espera que la nueva tecnología para dar energía a estas personas.

Por lo tanto, creo que los usuarios potenciales futuras de este proyecto son:

1. El antes mencionado practicante no especializada. Hay una gran cantidad de compañías de informes de trabajo, este proyecto puede llegar a desarrollar front-end (o derivados de) una herramienta más útil, proporciona un arma muy fuerte para su negocio, para resolver realmente existen puntos de dolor urgentes de negocio.

Con el fin de atender a los usuarios potenciales, creo que esta herramienta también tiene que llevar a cabo abarcan:

1. inferencia lote se mencionó anteriormente, se destacan las capacidades de descarga. Creo que es un flujo de trabajo basado en el ideal es que los usuarios de subida y marcado algún tipo de formatos de informes, formación de modelo completo, y luego subir una gran cantidad de datos de informes no tratados, la inferencia puede descargar un filtro lotes información innecesaria ya sobresalir Resumen tablas: cada fila de la tabla corresponde a un archivo de informe, cada columna correspondiente a la (nombre de archivo de la información o un informe básico, etc.) una etiqueta
2. Además interfaz pulida, con ayuda consejos incorporado para reducir aún más el umbral