1. El reconocimiento de fórmulas matemáticas en imágenes tiene los siguientes escenarios de aplicación principales:
1. Educación electrónica : la plataforma de educación en línea puede identificar automáticamente fórmulas matemáticas en cursos, ejercicios y exámenes a través de la tecnología de reconocimiento de fórmulas, realizar la edición, el cálculo y la comprensión de fórmulas y ayudar a la enseñanza y el aprendizaje.
2. Procesamiento de artículos de investigación científica: al identificar las fórmulas matemáticas en los artículos, se puede realizar la edición, composición tipográfica y vinculación de fórmulas , se puede mejorar la legibilidad y operatividad de los artículos, y los lectores pueden comprender fácilmente el contenido de los artículos.
3. Búsqueda de fórmulas matemáticas: mediante la identificación de fórmulas matemáticas en una gran cantidad de documentos y páginas web, se pueden construir índices y bases de datos de fórmulas para realizar búsquedas y recuperaciones basadas en el contenido de la fórmula. Esto tiene un alto valor de aplicación para la investigación en los campos de las matemáticas y la ingeniería.
4. Sistema de respuesta a preguntas visuales: en el sistema de respuesta a preguntas visuales, reconocer la fórmula matemática en la imagen puede ayudar al sistema a comprender el contenido de la imagen, y la información de la fórmula también se tiene en cuenta en el proceso de responder a la pregunta, haciendo la respuesta más precisa y completa.
5. Cálculo auxiliar: al reconocer fórmulas matemáticas escritas a mano o impresas , combinadas con reconocimiento de escritura a mano y tecnología de cálculo de fórmulas, puede realizar el cálculo automático y la solución de fórmulas escritas a mano, y ayudar a las personas a completar el trabajo relacionado o las tareas de aprendizaje de manera eficiente.
6. Razonamiento visual: en muchas tareas de razonamiento visual y derivación de fórmulas, reconocer fórmulas matemáticas en imágenes o videos es un paso clave para comprender el proceso de razonamiento y los resultados. Solo identificando con precisión las fórmulas en cada paso se puede simular y reproducir todo el proceso de razonamiento.
7. Otros: también hay aplicaciones como la organización de notas, el método de entrada de fórmulas y el reconocimiento visual de ecuaciones químicas .
En resumen, como una de las herramientas más importantes de la ciencia y la ingeniería, las fórmulas matemáticas tienen amplias perspectivas de aplicación en su reconocimiento y comprensión. Esto también proporciona una amplia gama de escenarios prácticos y soporte de datos para el reconocimiento de fórmulas matemáticas y la investigación relacionada.
Dos, instalación CeleryMath
2.1 Dirección de descarga
Después de pegar el resultado del reconocimiento de la versión CeleryMath v0.1.4.1, debe agregar "$" al principio y al final: "$pegar contenido $", y pegar la salida de látex de la versión 0.1.2 en vscode y usarlo directamente .
https://github.com/MODCT/CeleryMath/releases/download/v0.1.4.1/celeryMath-v0.1.4-Windows_X64.7z
2.2 Descargar apioMah-weights-v0.1.0.zip
URL: https://github.com/MODCT/CeleryMath/releases/tag/v0.1.0
Después de la descompresión, se obtienen celeryMathEncoder.onnx y celeryMathDecoder.onnx.
2.3 Descargar código fuente
clon de git https://github.com/MODCT/CeleryMath.git
Copie tokenizer.json en el código fuente junto con celeryMathEncoder.onnx y celeryMathDecoder.onnx en celeryMath.dist/conf.
2.4 Modifique conf/conf.json de la siguiente manera:
{
"tokenizer_path": "conf/tokenizer.json",
"encoder_path": "conf/celeryMathEncoder.onnx",
"decoder_path": "conf/celeryMathDecoder.onnx",
"snip_hotkey": "Ctrl+Alt+S",
"search_method": "greedy",
"sampling": "nucleus",
"temperature": 0.2,
"beam_width": 5,
"device": "cpu",
"pad_token": 0,
"bos_token": 1,
"eos_token": 2,
"max_seq": 512,
"min_img_size": [
32,
32
],
"max_img_size": [
192,
896
]
}(opcional) 2.5 Descarga la versión gpu de onnxruntime
La versión 0.1.4 agregó compatibilidad con GPU. (solo CUDA)
Para usar la gpu, debe descargar la biblioteca gpu onnxruntime de onnxruntime y poner
lib/onnxruntime_providers_cuda.dll y onnxruntime/capi/
https://github.com/microsoft/onnxruntime/releases
Finalmente, haga doble clic en celeryMath.exe para abrir la interfaz principal.
Tres, usa
Ejemplo 1.
reconocimiento de captura de pantalla
Copiar para obtener:
\mathbf { j } = { \frac { \hbar } { 2 m i } } ( \psi ^ { * } \nabla \psi - \psi \nabla \psi ^ { * } )
Haga clic derecho en la fórmula, copie el látex al portapapeles
$Pegar contenido$: el primero y el último "$" deben agregarse manualmente
Ejemplo 2.
El fin