Desventajas del aprendizaje puramente supervisado
¿Qué es un modelo pre-entrenado?
El proceso de evolución del modelo de pre-entrenamiento es el siguiente
Primer artículo académico escrito por el modelo GPT
Todo el mundo debe haber oído hablar del modelo de chatgpt que se hizo popular en todo el mundo a finales del año pasado y está basado en este modelo.
Generación de palabras clave Herramienta de pintura Disco Difusión
EasyNLP: tecnología de aterrizaje de modelos grandes y muestras pequeñas
Por supuesto, esto inevitablemente afectará la precisión del modelo, pero es una compensación entre costo y precisión.
Tendencia de desarrollo de escala de parámetros
A juzgar por el efecto actual de chatgpt, el efecto de aumentar los parámetros sigue siendo bueno, pero el beneficio marginal de aumentar los parámetros también es serio cuando los parámetros son lo suficientemente grandes hasta cierto punto. En este momento, puede ser necesario buscar un gran avance en el algoritmo o la arquitectura
Modelo extendido basado en BERTology
Primero, ajuste segundo, compresión tercero, mejora del conocimiento cuarto, percepción semántica quinto, idioma específico sexto, multilingüe y multilingüe séptimo, multimodal y multimodal octavo, tarea específica noveno, el décimo en el campo específico, el undécimo en robustez, el duodécimo en seguridad, y el modelo de fusión
Kit de herramientas de capacitación en paralelo distribuidas masivamente
Los aspectos de la comparación son los siguientes
Solución de integración a gran escala: OneEmbedding
Los estudiantes que han estudiado los principios de composición de computadoras y los sistemas operativos deben estar muy familiarizados con esta imagen. La capa superior se ejecuta rápidamente, pero es costosa y tiene una capacidad pequeña, por lo que introdujimos estrategias como la memoria caché.
Correlación entre el sentimiento y los altibajos en los mercados financieros
Índice de sentimiento de los inversores de China de enero de 2020
Al igual que el famoso dicho: la información es más importante que el oro, y el sentimiento de los inversores tiene una gran influencia en las tendencias del mercado.
ciclo de sentimiento de los inversores
Método de construcción del índice de sentimiento de los inversores chinos
Toda la red recopila grandes datos textuales relacionados con el sentimiento de los inversores de todas las empresas que cotizan en bolsa. Desde julio de 2008 hasta mayo de 2018, se recopilaron alrededor de 150 millones de piezas de información de texto. Utilice la tecnología de segmentación de palabras chinas para realizar el procesamiento de segmentación de palabras en el texto. Utilizando la tecnología Word2Vec, las palabras del texto se vectorizan. Para los diccionarios LM extranjeros (Loughran y McDonald, 2011), se utilizan herramientas de traducción para la traducción e inspección, y se construye una versión china del diccionario LM.
Entre las acciones constituyentes de Shanghai y Shenzhen 300, seleccione 200 acciones y seleccione 200 publicaciones de discusión para cada acción. Un equipo de etiquetado manual compuesto por profesores de la Escuela Nacional de Desarrollo de la Universidad de Pekín, destacados estudiantes de doctorado y maestría e inversores del mercado etiquetó manualmente estas 40 000 publicaciones. Los dos marcaron de forma independiente un fragmento de información de texto, lo dividieron en categorías positivas, negativas e inciertas según su contenido, y enumeraron las palabras clave positivas y negativas contenidas en cada publicación al mismo tiempo. Después de completar el etiquetado, mantenga las publicaciones con un etiquetado y una clasificación consistentes, construya el diccionario chino de sentimientos financieros (GB) de acuerdo con los resultados del etiquetado y obtenga el conjunto de etiquetado de sentimientos de los inversores del mercado financiero chino. ... aplicar el modelo mejor entrenado a todos los datos de texto y calcular la puntuación de opinión de cada publicación. Sume las puntuaciones de sentimiento de diferentes publicaciones bursátiles de acuerdo con los estándares correspondientes para construir índices de sentimiento de los inversores de diferentes sistemas de índices.
FinBERT: modelo de representación de lenguaje financiero preentrenado
Modelo Jane Entropy Technology FinBERT 1.0
El primer modelo de pre-entrenamiento BERT chino de código abierto entrenado en un corpus a gran escala en el campo financiero en China. En comparación con el BERT chino nativo publicado por Google, los modelos de código abierto BERT-wwm y RoBERTa-wwm-ext del Instituto de Tecnología de Harbin Xunfei Lab, el modelo de preentrenamiento FinBERT 1.0 de código abierto ha logrado resultados notables en tareas posteriores en múltiples campos financieros Mejora del rendimiento, sin ningún ajuste adicional, la puntuación F1 aumentó directamente en al menos 2 ~ 5.7 puntos porcentuales
Lanzhou Technology Edición financiera Modelo Mencius
El 12 de julio de 2021, el modelo de idioma chino desarrollado conjuntamente por el equipo Lanzhou Technology-Innovation Works, la Universidad Jiao Tong de Shanghai, el Instituto de Tecnología de Beijing y otras unidades: el modelo liviano de Mencius contiene solo mil millones de parámetros, el punto de referencia para la comprensión del idioma chino. (Evaluación de comprensión del idioma chino, CLUE) ocupó el primer lugar en la tabla de clasificación general, la tabla de clasificación de tareas de clasificación y la clasificación de comprensión de lectura
Baidu Wenxin·Modelo financiero a gran escala de la PNL
ERNIE-Finance está capacitado en una gran cantidad de textos de campo financiero y textos generales, lo que permite que el modelo aprenda una gran cantidad de conocimientos de campo financiero y mejore significativamente en una serie de tareas de campo financiero, como la respuesta a preguntas financieras y la extracción de temas de eventos financieros. El modelo de dominio financiero de ERNIE-Finance ha adquirido experiencia en el dominio financiero a partir de datos financieros masivos y es significativamente mejor que los modelos generales en múltiples tareas de dominio financiero. Con el fin de mejorar el efecto de ERNIE en el campo de los textos financieros, ERNIE-Finance propone una estrategia de ramificación del modelo de varias fuentes de datos y tareas múltiples, de modo que la estructura de nivel superior del modelo pueda aprender el conocimiento del dominio financiero durante la capacitación. proceso, y la estructura de nivel inferior puede obtener información de textos financieros y textos generales al mismo tiempo.
El índice de sentimiento de los inversores predice la tendencia de rendimiento del índice compuesto de Shanghái
En primer lugar, cree un índice de sentimiento de los inversores basado en el modelo BERT y el texto de comentario de la barra de acciones, y en el índice de sentimiento de volumen de búsqueda del índice Baidu. Luego, utilizando LSTM-CNN en forma de dos índices de sentimiento y rendimiento de entrada de información múltiple para predecir y analizar las tendencias positivas y negativas del rendimiento del índice bursátil de Shanghái, dentro de los 381 días de negociación, se puede obtener el 20,15% del exceso de rendimiento basado en en la estrategia, pero su retroceso máximo es tan alto como 5.64%
Predicción del índice bursátil BERT Sentiment Extractor
El autor usa BERT para el aprendizaje de tareas múltiples (aprendizaje de tareas múltiples, MTL), extrae el sentimiento y el valor de los informes de noticias y usa el método de medición de la polaridad emocional a lo largo del tiempo (Polarity-Over-Time, POT) para comparar las noticias. a la acción Las opiniones sobre la dirección de la tendencia del índice se dividen en cinco categorías: muy positiva (muy positiva), positiva (positiva), neutral (neutral), negativa (negativa) y muy negativa (muy negativa), utilizando el BERT +POT+Modelo MTL para predecir la tendencia del índice bursátil de la próxima semana
No es fácil de crear y lo encuentra útil, por favor, siga y recopile ~~~