Au cours des dernières années, notamment dû au changement climatique, une augmentation de la fréquence et de l'intensité des crises naturelles a été observée. De plus, les moyens traditionnels de communication entre la population et les services de sauvetage (par exemple, les appels téléphoniques) sont clairement sous-optimaux. En effet, 20 millions de tweets ont été publiés pendant la tempête Sandy dans les Caraïbes en 2012 et environ 17 000 lors de l’incendie de Notre Dame qui s’est produit en France en 2019.
Lors de l’analyse des tweets postés par les particuliers et les médias pendant les situations de crise, on peut observer des informations précieuses pouvant aider les services de secours à mieux appréhender la situation. Cependant, les messages provenant de réseaux sociaux sont trop nombreuses pour pouvoir être évaluées à la main. En effet, uniquement en 2017, lors de l’ouragan Irma, les messages postés sur Twitter à ce sujet atteignaient une fréquence de 72 000 tweets par minute. Ainsi, pour aider les services à collecter et traiter ces données, des outils de classification automatique ont été développés pour classifier les messages selon différentes catégories. Bien que la classification de messages provenant de réseaux sociaux soit un sujet important en recherche, de nombreux défis rendent cette tâche particulièrement
difficile, comme notamment le traitement de crises non observées lors de l'entraînement.
Dans le cadre de cette thèse, nous proposons d'utiliser des méthodes efficaces afin d'améliorer les performances des modèles actuels. Les méthodes efficaces sont toutes les méthodes permettant d’améliorer les paramètres suivants : la consommation énergétique d’un modèle, le nombre de données nécessaires pour
avoir une bonne performance, le nombre de tests à effectuer pour trouver les meilleurs hyper-paramètres. Les méthodes efficaces sont variées et vastes, pouvant intervenir sur l’architecture, la collecte des données ou bien l’inférence.
Dans cette thèse nous nous intéressons particulièrement aux méthodes efficaces pouvant intervenir durant la phase de fine-tuning et d'inférence d'un modèle. Pour cela, nous étudions tout d'abord la méthode d'apprentissage multi-tâche dans le cadre d'une analyse de la portabilité des crises non soudaines, comme un ouragan sur des crises soudaines, comme un tremblement de terre.
Ensuite, nous avons utilisé les méthodes d'augmentation de données utilisées en traitement de l'image et les adaptons au traitement automatique des langues afin de créer SRL4NLP, une méthode d'augmentation de données permettant l'ajout de données de meilleure qualité. Cette méthode sera évaluée à côté de différentes méthodes d'augmentation de l'état de l'art et mettra en valeur l'importance de la qualité et de la variété des données d’entraînement afin de pouvoir traiter au mieux des crises non vues lors de l’entraînement.
A la suite de ces expériences, nous utilisons la multi-modalité entre texte et séries temporelles pour proposer CrisisTS, le premier jeu de données multi-modal texte et séries temporelles pour la gestion de crises. Afin d'aligner les données textuelles aux données météorologiques, nous avons développé une méthode d'alignement ne reposant pas sur les mentions de localisation présentes dans le texte. Nous avons ensuite effectué un ensemble d'expériences sur le jeu de données. Les résultats montrent que la multi-modalité permet de particulièrement mieux identifier l'urgence d'un message pour les services de secours.
Enfin, nous évaluons l'ensemble des méthodes efficaces développées au cours de cette thèse dans un cadre de situation réelle en prenant en compte l'inférence, mais également la vitesse de traitement et la consommation d'énergie. Les résultats montrent que les méthodes efficaces utilisées sont plus pertinentes qu'utiliser un modèle avec plus de paramètres, en permettant une amélioration des performances du modèle à moindre coût énergétique. |
In recent years, mainly due to climate change, an increase in the frequency and intensity of natural crises has been observed. Moreover, traditional means of communication between the population and rescue services (e.g. telephone calls) are clearly suboptimal. Indeed, 20 million tweets were published during storm Sandy in the Caribbean in 2012 and about 17,000 during the fire of Notre Dame which occurred in France in 2019.
When analyzing tweets posted by individuals and the media during crisis situations, we can observe valuable information that can help emergency services to better understand the situation. However, informations contained in messages from social media are too numerous to be evaluated by hand. Indeed, only in 2017, during Hurricane Irma, the messages posted on Twitter on this subject reached a frequency of 72,000 tweets per minute. In order to help the emergency services to collect and gain information from theses data, artificial intelligence has been used to classify the message accodring severaly category. Although the classification of messages from social networks is a subject important in research, many challenges make this task particularly difficult, such as treating unseen crisis during training.
In this thesis, we propose to use efficient methods to improve the performance of current models. Efficient methods are all methods that make it possible to improve the following parameters: a model’s energy consumption, the number of data required, the number of tests to be carried out to find the best hyper-parameters. Effective methods are varied and extensive, and can involve architecture, data collection, or inference.
In this thesis, we are particularly interested in efficient methods that can be used during the fine-tuning and inference phase of a model. For this, we first study the multi-task learning method in the context of an analysis of the portability of non-sudden crises, such as a hurricane on sudden crises, such as an earthquake.
Next, we will use the data augmentation methods used in image processing and adapt them to natural language processing in order to create SRL4NLP, a data augmentation method that use higher quality data. This method will be evaluated alongside different state-of-the-art augmentation methods and will highlight the importance of quality and variety of training data in order to best address unseen crises during training.
Following these experiments, we use the multi-modality between text and time series to propose CrisisTS, the first multi-modal text and time series dataset for crisis management. In order to align textual data with meteorological data, we have developed an alignment method that does not rely on localization mentions present in the text. We then performed a set of experiments on the dataset. The results show that multi-modality makes it possible to identify particularly better the urgency of a message for the rescue services.
Finally, we evaluate all the efficient methods developed during this thesis in a real-world setting by taking into account inference, but also processing speed and energy consumption. The results show that the efficient methods used are more relevant than using a model with more parameters, allowing an improvement in the performance of the model at lower energy cost. |