توسعه یادگیری عمیق (پیشرفته)

محتوای دوره:

این کورس ادامه‌ای بر کورس یادگیری ماشین است و با همان رویکرد عملیاتی و توسعه‌محور همراه با پیاده سازی پروژه ها در سیستم عامل لینوکس و کار با ابزارهای Git و Data Version Control (DVC) ارائه می‌شود. این دوره با تمرکز بر توسعه مدل‌های یادگیری عمیق، از اصول پایه تا مباحث پیشرفته، شامل کار با ابزارهای محبوب TensorFlow و PyTorch طراحی شده است. هدف این کورس آموزش معماری‌های متنوع یادگیری عمیق و چگونگی پیاده‌سازی آن‌ها برای حل مسائل پیچیده داده است.

یادگیری بازنمایی

• مقدمه‌ای بر استخراج ویژگی‌ها و یادگیری بازنمایی
• کار عملی با TensorFlow و PyTorch: آموزش اتوانکودرها برای یادگیری ویژگی‌ها و تشخیص ناهنجاری‌ها.

شبکه‌های عصبی پایه

• پرسبترون، شبکه‌های چندلایه (MLP)، و توابع فعال‌سازی
• کار عملی با TensorFlow و PyTorch:
  • ساخت MLP از صفر با پیاده‌سازی لایه‌ها، توابع هزینه، و بهینه‌سازها.
  • مقایسه بین API ترتیبی TensorFlow و nn.Module در PyTorch.

مدل‌سازی داده‌های ترتیبی

• مدل‌های فضای حالت: مبانی ریاضی و کاربردهای عملی در مدل‌سازی داده‌های سری زمانی.
• شبکه‌های بازگشتی و انواع آن (RNN, LSTM, GRU):
  • کار عملی با TensorFlow و PyTorch:
    • آموزش RNNها برای پیش‌بینی سری‌های زمانی (مثلاً پیش‌بینی قیمت سهام).
    • بررسی تفاوت گراف‌های محاسباتی پویا و ایستا.
• ترنسفورمرها برای داده‌های ترتیبی:
  • مکانیزم توجه و ساختارهای رمزگذار-رمزگشا.
  • کار عملی با PyTorch:
    • پیاده‌سازی ترنسفورمر برای ترجمه ماشینی با استفاده از torchtext.
    • تنظیم دقیق مدل‌های ترنسفورمر Hugging Face برای دسته‌بندی متون.
  • گزینه جایگزین TensorFlow: استفاده از پکیج transformers در TensorFlow برای وظایف مشابه.

مدل‌سازی داده‌های بصری

• مقدمه‌ای بر بینایی ماشین: چالش‌ها و کاربردها.
• شبکه‌های عصبی کانولوشنی (CNN):
  • لایه‌های کانولوشنی، pooling، و استخراج ویژگی‌ها.
  • کار عملی با TensorFlow و PyTorch:
    • آموزش CNN بر روی مجموعه داده MNIST.
    • بررسی ساخت مدل و افزایش داده‌ها با استفاده از torchvision و tf.keras.
• ترنسفورمرهای بصری (Vision Transformers):
  • ترکیب مکانیزم توجه با وظایف بصری.
  • کار عملی با PyTorch:
    • پیاده‌سازی Vision Transformer برای دسته‌بندی تصاویر.
    • تنظیم دقیق مدل از پیش‌آموزش‌یافته ViT با استفاده از keras.applications در TensorFlow.

شبکه‌های عصبی گراف (GNN)

• ساختارهای گراف و کاربردها:
  • GCNها، GraphSAGE، و تکنیک‌های تعبیه گراف.
  • کار عملی با PyTorch Geometric:
    • حل یک مسئله دسته‌بندی گره با استفاده از GCNها.
    • آموزش مدل GraphSAGE برای وظایف پیش‌بینی لینک.

انتقال یادگیری

• تئوری و پیاده‌سازی عملی:
  • مرور مدل‌های از پیش‌آموزش‌یافته و استراتژی‌های انتقال یادگیری.
  • کار عملی با TensorFlow و PyTorch:
    • تنظیم دقیق ResNet برای یک وظیفه دسته‌بندی تصاویر.
    • استفاده از BERT برای دسته‌بندی متن. (با استفاده از کتابخانه Transformers در  PyTorch)