ОбразованиеАрхив студенческих работ
Козгунов Никита Владимирович

Архитектура динамической децентрализованной большой языковой модели на основе блокчейна

  • Бакалавриат, практика 3 курс
  • Весна 2024
  • МКН

В рамках учебной практики моя задача заключалась в создании архитектуры децентрализованной динамической большой языковых моделей (LLM) с использованием технологий блокчейна, которая может стать решением таких текущих проблем LLM как значительные вычислительные затраты для тренировки и инференса моделей, масштабируемость моделей, также проблемы централизованных LLM и конфиденциальности, предлагая подход для частичного улучшения существующих моделей, а также для моделирования новых в основе которых лежат механизмы консенсусов и блокчейн.

Результат:

Мой вклад включал в себя реализацию эффективно использующей вычислительные мощности узлов системы, выполняющей тренировку и обновление модели. Были проанализированы современные подходы в сфере интеграции данных технологий, позволяющие реализовать задуманную архитектуру с учетом недостатков и преимуществ предыдущих работ с использованием эффективных методов сохранения приватности данных и выполнено дообучение базовой модели динамическим образом децентрализованным федеративным обучением при стимулировании пользователей, предоставляющих актуальные данные и вычислительные мощности начальной транзакцией из блокчейна для динамического дообучения модели в соответствующем их вкладу порядке, ускоряя процессы интеграции технологий. После чего было проведено симулирование архитектуры большой языковой модели для проверки теоретических гипотез и работоспособности нового подхода в ограниченных локальных условиях.

Студенты в проектах

У нас можно пройти практику или написать курсовую работу на основе реальных проектов

Получение практического опыта, участие в исследовательских и продуктовых проектах, публикация результатов исследований в высокорейтинговых изданиях.

Темы проектов охватывают междисциплинарные области, что позволит вам расширить кругозор и заняться исследованием интересующих тем