Zpracování přirozeného jazyka II (CZ)

Popis kurzu

V tomto kurzu navážeme na základní kurz Zpracování přirozeného jazyka pokročilejšími tématy. 

Zaměříme se především na předzpracování dat a nejnovější aplikace hlubokého učení ve zpracování textu. Bude se jednat především architektury neuronových sítí postavených na takzvaných Transformerech. S využitím metody transfer learningu ukážeme, jak lze využít velké předtrénované neuronové sítě pro nejrůznější praktické aplikace.

Obsah kurzu

• Kódování znaků a unicode normalizace
• Tradiční tokenizace (jednoduché metody, Spacy, Moses)
• Subword tokenizace (byte-pair kódování, wordpiece, sentencepiece)
• Šištění dat (deduplikace, odstranění textového balastu)

• Obecné principy
• Implementace skip-gram modelu

• Paměťové buňky LSTM a GRU
• Implementace strojového překladu pomocí rekurentních sítí

• Attention is all you need
• Architektura transformeru
• GPT2
• BERT
• XLNET

• Klasifikace textů
• Rozpoznání jmenných entit
• Question answering

Předpoklady

• Základní znalost programování v Pythonu
• Středoškolská matematika
• Znalosti strojového učení na úrovni kurzu Úvod do strojového učení
• Znalosti na úrovni kurzu Zpracování přirozeného jazyka