Luonnollinen kieli (NLP)

TODO! Tähän tulee ainakin seuraavat asiat:

• Mikä on luonnollinen kieli?
• Kurkataan hieman myös historiaan. Ainakin ELIZA ja Expert Systems.
  • Genesis ja tarinaa ymmärtävä malli (MIT: 3. Reasoning: Goal Trees and Rule-Based Expert Systems)
  • Käytäntöä varten PyKE-kirjasto: (Pennsylvania University: Lecture 13: Building an Expert System and PyKE)
  • Ehkä otetaan kunnon meta-tason harjoitus ja vibe-koodataan nykyisellä LLM:llä yksinkertainen expert system? Kenties uv add experta jne.
• Luonnollisen kielen käsittelyn perusteet (NLP, Natural Language Processing)
• Haasteita (eli miksei FC/MLP toimi hyvin)
  • BPTT (Backpropagation Through Time)
• Esimerkkejä NLP-malleista
  • RNN (Geronin luku 13)
  • Transformers (Geronin luku 14)
• Sanavektorit (word embeddings)
• Kenties transfer learning siten että fine tunataan Gemma 3 270M tai vastaava pieni malli? BERT?

Työkaluna tutustutaan kirjastoon SpaCy.