Advanced Deep Learning Techniques

Štruktúra kurzu

• Architektury neuronových sítí (feed-forward, rekurentní, konvoluční, generativní, autoenkodéry, Unet, GAN, attention layer)
• Optimalizátory a jejich evoluce (Steepest Gradient Descent, Stochastic Gradient Descent, Mini-Batch Gradient Descent, Nesterov Accelerated Gradient, Adagrad, AdaDelta, Adam, hledání učicích koeficientů)
• Chybové funkce a jejich vlastnosti (Mean squared error, Mean absolute error, Negative Log Likelihood)
• Regularizace neuronových sítí (Dropout, Early stopping, Data augmentation, Batch and layer normalization)
• Inicializace neuronových sítí (Gradient vanishing problem, Zero initialization, He initialization, Xavier initialization)
• Semi-supervised learning (Pseudo Labeling, Mean-Teacher, PI-Model)
• Odhad spolehlivosti predikcí (Logit analysis, Confidence networks)
• AutoML (automatické hledání hyperparametrů, grid search, Bayesian optimization, meta-learning, automatické hledání architektur neuronových sítí)
• Praktické příklady s knihovnou AutoKeras
• Interpretovatelnost modelů strojového učení (přímo interpretovatelné modely, Partial Dependence Plot, Permutation feature importance, Surrogate models, Activation Maximization, Grad-CAM)