Доступно

Разработка LLM с нуля [Stepik] [Вячеслав Колосков]

Тема в разделе "Курсы по программированию", создана пользователем Топикстартер, 4 окт 2025.

Цена: 4900р.-92%
Взнос: 370р.
100%

Основной список: 34 участников

Резервный список: 4 участников

Статус обсуждения:
Комментирование ограничено.
  1. 4 окт 2025
    #1
    Топикстартер
    Топикстартер ЧКЧлен клуба

    Складчина: Разработка LLM с нуля [Stepik] [Вячеслав Колосков]

    2025-10-04_040442.png

    Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры. Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста. Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки.

    Чему вы научитесь
    • Научитесь читать схемы архитектур основанных на Трансформерах.
    • Изучите принципы проектирования современных LLM.
    • Понимать алгоритм токенизации текста.
    • Реализовывать ключевые компоненты GPT.
    • Управлять креативностью модели.
    • Собирать и подготавливать данные для обучения.
    • Настраивать Pre-train цикл обучения LLM.
    Для кого этот курс
    Курс предназначен для разработчиков, инженеров машинного обучения и исследователей, желающих глубоко разобраться в архитектуре современных языковых моделей (LLM).

    Начальные требования
    Базовые знания Python, минимальный ООП (классы, функции).
    Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.).
    Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.
    Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации.

    Преподаватель: Вячеслав Колосков
    Machine Learning Engineer (в телекоме)
    В IT работаю более 15 лет. Последние 5 лет работаю Machine Learning Engineer (в телекоме). Много занимался большими табличками (Spark, Hadoop и пр.). В последнее время в основном работаю с NLP и в частности разрабатываю RAG-систему на работе.

    Программа курса

    Введение
    • Инструкция
    • Что такое LLM?
    • Архитектура LLM
    Токены и эмбединги
    • Byte-Pair Encoding
    • Эмбединги
    Transformer
    • «‎Внимание»‎
    • Feed-Forward Network
    • Decoder
    LLM
    • Собираем GPT
    • Сэмплирование
    Обучение
    • Датасет
    • Train/Eval
    • Применение
    Другие модели
    • GPT-2
    • LLama
    • Mistral
    • Mixtral
    • Gemma
    Цена: 4900 руб.
    Скрытая ссылка
     
    1 человеку нравится это.
  2. Последние события

    1. Petr_G
      Petr_G оставил отзыв "Ужасно".
      13 окт 2025
    2. skladchik.com
      Складчина доступна.
      13 окт 2025
    3. Yadguru
      Yadguru участвует.
      12 окт 2025
    4. Рыбак
      Рыбак участвует.
      12 окт 2025

    Последние важные события

    1. skladchik.com
      Складчина доступна.
      13 окт 2025
    2. skladchik.com
      Взнос составляет 185р.
      10 окт 2025
    3. skladchik.com
      Складчина активна.
      10 окт 2025
    4. skladchik.com
      Сбор взносов начинается 10.10.2025.
      8 окт 2025
  3. Отзывы участников

    1/5,
    • 1/5,
      Редкостная дрянь! 107 pdf файлов в которых по 2 предложения каких то обрывочных данных и больше рекламы складчика! ChatGPT больше информации даст!
      13 окт 2025
      5 пользователям это понравилось.
Статус обсуждения:
Комментирование ограничено.