Skaitmeninė natūralios kalbos analizė

2020 m. rudens semestras
Gilieji mokymosi metodai pradžioje padėjo pamatus vaizdų analizėje, tačiau ilgai netruks sėkmingi taikymai atkeliavo į teksto analizės uždavinius. 2014 pasirodė veikiantys modeliai teksto generavimo uždaviniams grįsti rekurentiniais neuroniais tinklais, 2017 buvo suformuluoti transformerių modeliai gebantys apdoroti didelius duomenų kiekius išskiriant ir sutelkiant dėmesio mechanizmą į semantinę informaciją, 2020 startavo su Meena (Google research) ir Turing-NLG (Microsoft) kalbos modeliais demonstruojančius teksto ir jo semantikos kodavimo galimybes artimas žmogui.

Kurso esmė supažindinti su naujausiomis technologijomis teksto modelių kūrimo technologijomis, kurios naudoja gilųjį mokymąsi (angl. Deep learning). Kurso eigoje pristatomos esminės technologijos išvystytos per paskutinį penkmetį, kurios davė reikšmingą postūmį teksto kodavimo, semantikos išskyrimo ir supratimo uždaviniuose.


Paskaitos:

Kurso temos:
  1. Įvadas, kurso apžvalga, naudojami karkasai
  2. Žodžių vektoriai, teksto kodavimo principai
  3. Šablonų vektorių panaudojimas, atstumas tarp žodžių.
  4. Rekurentiniai neuroniniai tinklai, taikymai teksto analizėje.
  5. Teksto generavimas
  6. Sekų modeliavimo uždaviniai
  7. Transformerių tinklai, konvoliuciniai neuroniniai tinklai.
  8. Daugiatiksliai uždaviniai teksto analizėje
  9. Pokalbių robotai
  10. Pokalbių robotai, loginių taisyklių taikymas
  11. Pokalbių robotai, gilieji modeliai
  12. Neprižiūrimasis mokymas teksto analizei
  13. Naujausi modeliai teksto analizei
  14. Projektų pristatymas.



Puslapis sukurtas naudojantis Distill.pub šablonu.