KI erstelltes Bild mithilfe von https://snipki.de/flux-ki-bilder-generator/
In diesem Beitrag werden die verschiedenen Begriffe zum Thema Machine Learning eingeführt, welche im weiteren Verlauf dieses Projektes verwendet werden. Zunächst gehen wir auf die verschiedene Machine Learning Modelle ein.
„Rekurrent Neuronale Netze“ (kurz: RNN) ist eine Form des Deep Learning, dabei beschreibt Rekurrent, dass die einzelnen Neuronen auch mit hinter liegenden Neuronen verschaltet werden können. (Sherstinsky, 2020)
RNN haben das Problem, dass Langzeit Informationen nicht berücksichtigt werden, daher sind LSTM eine Weiterentwicklung von RNN. LSTM steht für „Long Short Term Memory“. Ein LSTM besteht aus einem Set aus mehreren rekurrent
verbundenen Blöcken, welche als Memory Blöcke bezeichnet werden. (Graves et al., 2005)
„Gated Recurrent Unit“ (kurz: GRU), versucht wie beim LSTM das Problem der Langzeit Informationen zu lösen. Da LSTMs zu komplex werden können, werden GRUs als möglicher neuer Ansatz noch erprobt. (Ravanelli et al., 2018)
Die ROUGE-L-Metrik dient zur automatischen Messung von Qualität eines maschinell generierten Satzes mit einem idealen Satz den ein Mensch zuvor festgelegt hat. Die Metrik schaut sich die längste ähnliche Wörter Sequenz der Sätze an, zum Beispiel, der ideale Satz wäre: „Wie viele Äpfel liegen auf dem Boden?“ und der maschinell generierte Satz wäre: „20 Äpfel liegen auf dem Boden“, dann wäre die längste Gemeinsamkeit „Äpfel liegen auf dem Boden“ und aus dieser Gemeinsamkeit wird ein Messwert ermittelt. (Lin, 2004)
Die BLEU-4-Metrik basiert auf ein ähnliches System wie die ROUGE-L-Metrik jedoch mit dem Unterschied, dass zur Messung nicht die Längste auftretende Sequenz betrachtet wird, sondern der Vergleich sich auf bis zu 4 aufeinander folgenden Wörtern beruht. (Papineni et al., 2002)
Literatur
Sherstinsky, A. (2020). Fundamentals of Recurrent Neural Network (RNN) and Long ShortTerm Memory (LSTM) Network. Physica D: Nonlinear Phenomena, 404, 132306. https://doi.org/10.1016/j.physd.2019.132306
Graves, A., Fernández, S., & Schmidhuber, J. (2005). Bidirectional LSTM Networks for Improved Phoneme Classification and Recognition. In W. Duch, J. Kacprzyk, E. Oja, & S. Zadrożny (Hrsg.), Artificial Neural Networks: Formal Models and Their
Applications – ICANN 2005 (Bd. 3697, S. 799–804). Springer Berlin Heidelberg. https://doi.org/10.1007/11550907_126
Ravanelli, M., Brakel, P., Omologo, M., & Bengio, Y. (2018). Light Gated Recurrent Units for Speech Recognition. IEEE Transactions on Emerging Topics in Computational Intelligence, 2(2), 92–102. https://doi.org/10.1109/TETCI.2017.2762739
Lin, C.-Y. (2004). ROUGE: A Package for Automatic Evaluation of Summaries. Text Summarization Branches Out, 74–81. https://aclanthology.org/W04-1013
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: A method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, 311–318.
https://doi.org/10.3115/1073083.1073135