Named Entity Recognition (NER) von Warndienstmeldungen im Gartenbau: Eine empirische Studie zu Design, Entwicklung und Bewertung der statistischen und Deep-Learning benutzerdefinierten NER-Modelle
Anhand gesammelter Pflanzenschutzhinweise und Warnmeldungen wurden Named Entity Recognition (NER) Modelle zur automatischen Erkennung und Klassifizierung von relevanten Begriffen des Gartenbaus (Kulturen, Schaderreger, Pflanzenschutzmittel, BBCH Stadium) erstellt. NER ist eine Teilaufgabe der Informationsextraktion, die darauf abzielt, benannte Entitäten, die in unstrukturiertem Text erwähnt werden, zu finden und in vordefinierte Kategorien einzuordnen. 114 Dateien mit 105737 Wörtern, davon 12295 verschiedene Wörter, wurden verwendet. Mit dem Annotationswerkzeug Prodigy wurden insgesamt 9019 Entitäten annotiert. Es wurden drei verschiedene Modelle trainiert, basierend auf spaCy, Flair und CRF. Alle drei Modelle erzielten ähnlich gute Genauigkeiten (gemittelte F-Werte), spaCy erreichte mit F1=0.8997 die höchste Genauigkeit über alle vier Klassen. Mit dem hier vorgestellten Projekt werden die Voraussetzungen geschaffen, die Inhalte der Vielzahl von Warndienstmeldungen automatisiert zu erschließen und über gezielte Abfragen und Suchvorgänge zugänglich zu machen. Der Beitrag stellt das methodische Vorgehen und einige Analyseergebnisse beispielhaft dar.
We collected a relative small dataset in German language from the warning service of different federal states for Named Entity Recognition (NER) in the Horticulture domain. NER is a subtask of information extraction aimed at finding named entities mentioned in unstructured text and classifying them into predefined categories. It consists 114 pdf files which include 105737 tokens in total and 12295 unique tokens. We used the annotation tool Prodigy to label a total of 9019 entities associated with the 4 semantic classes: Horticulture, Pests, Pesticides, BBCH stage. We built the custom NER models with conditional random field (CRF) statistical model, spaCy model and Flair model which are deep learning neural networks frameworks. All three models have similar performances regarding micro-averaged F1 score, among which spaCy model stands out with F1=0.8997 across all four classes. The project presented here creates the prerequisites for automatically extracting the information of the large number of warning service messages and making them accessible via targeted queries and searches. The article presents the methodical procedure and some analysis results as examples.
Vorschau
Zitieren
Zugriffsstatistik
Rechte
Nutzung und Vervielfältigung:
