Enlace del artículo: https://arxiv.org/pdf/2011.05367.pdf
Resumen
Las redes sociales se utilizan deliberadamente con fines maliciosos, incluida la manipulación política y la desinformación. La mayoría de las investigaciones se han centrado en lenguas de altos recursos. Sin embargo, los actores maliciosos comparten contenido entre países e idiomas, incluidos los idiomas de bajos recursos.
Aquí investigamos si se pueden detectar actores maliciosos y en qué medida en entornos de idiomas de bajos recursos . Descubrimos que después de las elecciones presidenciales de EE. UU. de 2016, como parte de las medidas enérgicas de Twitter contra la interferencia, se suspendieron una gran cantidad de cuentas que publicaban en tagalo.
Al combinar incrustaciones de texto y transferencia de aprendizaje, nuestro marco puede detectar con precisión usuarios malintencionados que publican en tagalo sin conocimiento previo ni capacitación sobre contenido malicioso en el idioma .
Primero aprendemos a incorporar modelos para cada idioma de forma independiente, es decir, el idioma de altos recursos (inglés) y el idioma de bajos recursos (tagalo).
Luego, aprendemos un mapeo entre los dos espacios latentes para transferir el modelo de detección .
Demostramos que el método propuesto supera significativamente a los modelos de última generación, incluido BERT, y genera ventajas significativas en entornos con datos de entrenamiento muy limitados, una norma cuando se trata de detectar actividad maliciosa en plataformas en línea.
introducción
La desinformación y la manipulación política tienen una larga historia: por ejemplo, en 1984, mucho antes de la era de las redes sociales, una historia que afirmaba que el gobierno de Estados Unidos había creado el VIH como arma biológica se volvió viral en todo el mundo. Hoy en día, las redes sociales amplifican y aceleran el flujo de información como nunca antes. Las redes sociales en línea (OSN), como Twitter y Facebook, se han enfrentado a un aumento masivo de contenido malicioso, lo que socava la autenticidad y la autenticidad del discurso en línea [1, 21, 24, 32, 74, 77].
Diversos estudios han demostrado que las OSN se han utilizado con fines maliciosos, comprometiendo múltiples componentes de nuestra sociedad [42, 75], que van desde eventos geopolíticos [22, 27, 44, 58, 63] hasta la salud pública [14, 25, 28, 52, 78]. Los bots y los trolls son actores importantes en la manipulación de las redes sociales y las campañas de desinformación [3, 11, 26, 45, 62], a menudo de forma coordinada [29, 51, 53, 64, 67, 76].
Se ha prestado especial atención al riesgo de manipulación a gran escala de la opinión pública en contextos políticos, cuyo mejor ejemplo fue la interferencia cibernética en las elecciones presidenciales de Estados Unidos de 2016 [4, 6]. Desde entonces, OSN ha trabajado arduamente para combatir el abuso y mantener la confianza y un diálogo saludable en su plataforma. A pesar de los esfuerzos, la actividad de trolls y bots parece persistir [36,43,72]. Por ejemplo, Twitter identificó y suspendió cuentas maliciosas de varios países, incluidos Rusia, Irán, Bangladesh y Venezuela [71], lo que sugiere un esfuerzo concertado para manipular el discurso en línea en todos los países e idiomas. Más recientemente, Pieri y otros [58] documentaron pruebas de abuso de plataforma y posterior intromisión de Twitter en el contexto del conflicto en curso entre Ucrania y Rusia [57]. Mientras que otros han explorado varias estrategias para que usuarios maliciosos en lenguajes de altos recursos [41, 43, 69, 70] logren su detección [12, 13, 33, 49], aquí proponemos un método que utiliza la transferencia. Un nuevo enfoque aprendido para detectar usuarios malintencionados identifica automáticamente cuentas con mal comportamiento en idiomas de bajos recursos.
Contribución de este trabajo.
Nuestro objetivo es investigar si, y en qué medida, el contenido textual se puede utilizar como proxy para detectar actividad maliciosa en las redes sociales, prestando especial atención a las cuentas que comparten mensajes en idiomas de bajos recursos. En general, nuestro objetivo es responder dos preguntas principales de investigación:
Pregunta 1: ¿Podemos clasificar cuentas como maliciosas basándonos únicamente en lo que comparten? Exploramos la efectividad de aprender representaciones de palabras de tweets para identificar cuentas suspendidas.
Pregunta 2: ¿Podemos aprender un modelo de un idioma de altos recursos (inglés) y transferir conocimientos a un idioma de bajos recursos (tagalo) para detectar cuentas suspendidas? Investigamos si aprender un mapeo entre dos incrustaciones de palabras entrenadas de forma independiente es beneficioso para identificar cuentas que se portan mal.
En números: elecciones presidenciales de EE. UU. de 2016
En este estudio, utilizamos Twitter como plataforma de prueba para detectar la actividad de cuentas maliciosas centradas en las elecciones presidenciales estadounidenses de 2016. El conjunto de datos consta de aproximadamente 42 millones de tweets de casi 6 millones de usuarios distintos y fue publicado por primera vez por [6]. Tweets recopilados a través de Twitter Streaming API utilizando 23 palabras clave electorales (5 para Donald Trump, 4 para Hillary Clinton, 3 para candidatos de terceros partidos, 11 para períodos de elecciones generales). La recolección se realizó entre el 16 de septiembre de 2016 y el 21 de octubre de 2016. Del conjunto de tweets recopilados, se eliminaron los tweets duplicados, que podrían haber sido detectados mediante consultas redundantes inesperadas a la API de Twitter. La Tabla 1 enumera las palabras clave más populares y la cantidad de tweets relacionados. Si bien todas las palabras clave están en inglés, también se recopilaron tweets en otros idiomas.
Identificamos más de 60 idiomas diferentes, siendo el mayor número de tweets escritos en idiomas europeos. Entre ellos, casi 5 millones de usuarios publicaron más de 37,6 millones de tweets en inglés. Encontramos una gran cantidad de tweets en tagalo, un idioma austronesio que es el primer idioma de una cuarta parte de la población filipina y el segundo idioma de más de la mitad de la población filipina. El tagalo es el cuarto idioma más utilizado en los EE. UU. por número de hablantes[73], detrás del inglés, español y chino, y el recurso número uno según nuestros datos por número de tweets. Estados Unidos también tiene una de las poblaciones de inmigrantes filipinos más grandes fuera de Filipinas. Además, la falta de recursos del tagalo se confirmó aún más mediante un análisis del tamaño de su Wikipedia, una métrica común para estimar la cantidad de recursos digitales en un idioma. Wikipedia en tagalo ocupa actualmente el puesto 101 por número de artículos, en marcado contraste con su popularidad en nuestro conjunto de datos. Por lo tanto, centramos nuestra atención en el tagalo como lengua de destino de este trabajo.
4 Metodología
4.1 Representación de palabras
Para aprender incrustaciones de palabras y entrenar modelos de clasificación, utilizamos el marco FastText. En lugar de tratar las palabras como unidades atómicas de texto, FastText representa las palabras como una bolsa de n-gramas de caracteres [8], donde cada n-grama tiene su propia representación vectorial y las palabras se representan como la suma de n-gramas de sus caracteres constituyentes. Esto permite que el modelo se adapte a lenguajes morfológicamente ricos y con un amplio vocabulario, y generalice mejor a partir de corpus de entrenamiento más pequeños.
Aunque los modelos basados en redes neuronales han logrado un éxito considerable en tareas de clasificación de texto, todavía son bastante costosos de entrenar e implementar. FastText utiliza softmax jerárquico para servir como una aproximación rápida a un clasificador softmax para calcular la distribución de probabilidad de una clase determinada [38]. Al utilizar la poda de características, la cuantificación, el hashing y el reentrenamiento para reducir significativamente el tamaño del modelo sin sacrificar la precisión o la velocidad, este enfoque permite entrenar modelos en grandes corpus de texto mucho más rápido que los enfoques basados en redes neuronales [37].
4.2 Transferir el aprendizaje
Los métodos tradicionales de aprendizaje automático para el procesamiento del lenguaje natural se centran en entrenar modelos especializados para tareas específicas. Sin embargo, esto requiere una gran cantidad de datos, que son difíciles de obtener en idiomas de bajos recursos. Históricamente, esto ha impulsado el ciclo al desencadenar más investigaciones sobre lenguas de altos recursos (principalmente lenguas europeas), lo que a su vez creó más recursos para esas lenguas. El aprendizaje por transferencia ha surgido recientemente como un método para tomar el conocimiento aprendido en una lengua de origen (o tarea de origen) y utilizarlo para mejorar el rendimiento en la lengua de destino (o tarea de destino).
Para abordar la escasez de datos del idioma de destino analizados en este trabajo, utilizamos MUSE, un marco para alinear incrustaciones de palabras monolingües de diferentes idiomas en el mismo espacio y permitir la transferencia de conocimiento entre ellos. MUSE utiliza la alineación de Procrustes para aprender un mapeo desde el espacio de origen al espacio de destino para minimizar la distancia entre palabras similares en dos idiomas [40]. Toma como entrada dos conjuntos de incrustaciones de palabras monolingües previamente entrenadas (como las aprendidas por FastText), un conjunto para cada idioma, y puede aprender el mapeo entre ellas de manera supervisada o no supervisada. Los métodos supervisados requieren el uso de diccionarios bilingües para ayudar a alinear dos incrustaciones mediante la identificación de pares de palabras similares que deben estar juntas en un espacio compartido. En ausencia de dicho diccionario, las alternativas no supervisadas aprovechan el entrenamiento inverso para inicializar un mapeo lineal entre los espacios de origen y de destino y generar un diccionario paralelo sintético. [15] muestran que este método se puede utilizar para realizar traducción de palabras no supervisada sin utilizar datos paralelos, y los resultados incluso superan a los métodos supervisados anteriores en algunos casos.
4.3 Tareas de aprendizaje
Clasificación de textos monolingües. En el primer enfoque, entrenamos modelos de clasificación de texto separados desde cero utilizando el conjunto de datos propio de cada idioma. Para fines de clasificación, utilizamos el marco FastText, que representa el texto como una bolsa de palabras (BoW) y promedia sus representaciones individuales en una representación de texto combinada. Luego, esta representación de texto se utiliza como entrada para un clasificador lineal con una función softmax que calcula la distribución de probabilidad de las clases de etiquetas para la predicción.