Новости
GigaChat Max и GPT-4o-mini

Сравнение GigaChat Max и GPT-4o-mini в анализе финансовой отчетности: технический разбор

  • Блог
  • События
  • ААВ

В рамках Enterprise RAG Challenge Артём Вяткин разработал и протестировал RAG-решения для анализа 100 финансовых отчётов компаний.

В фокусе исследования было сравнение эффективности GigaChat Max 26.20 и GPT-4o-mini при работе с корпоративной отчётностью. Результаты и описания всех решений можно посмотреть здесь.

Что получилось?

GigaChat Max 26.20:

  • Извлечение данных ®: 60.7/100
  • Генерация ответов (G): 62.8/100
  • Общий счёт: 93.1/133

GPT-4o-mini:

  • Извлечение данных ®: 62.9/100
  • Генерация ответов (G): 62.5/100
  • Общий счёт: 93.9/133

Модели показали схожие результаты, разница заметна лишь в подходах к RAG. В общем рейтинге среди 43 команд лучшее решение заняло 32 место с 93.9 из 133 очков.

Методология

  • Обработка документов. Для извлечения данных из PDF-отчётов применялась библиотека PyMuPDF.
  • Эмбеддинги. Преобразование текста в векторные представления осуществлялось с использованием эмбеддингов text-embedding-3-small от OpenAI.
  • Поиск документов. Реализован механизм семантического поиска по косиносному расстоянию. В ходе тестирования рассматривался гибридный подход с добавлением TF-IDF, однако значимого улучшения метрик достичь не удалось.
  • Работа языковой модели. LLM выбирала компании из запроса и по ним извлекались документы. Модель анализировала полноту полученных данных, формировала уточняющие запросы при необходимости и генерировала финальный ответ на основе собранного контекста.
Основной целью исследования было не победить в соревновании, а сравнить работу GigaChat Max и GPT-4o-mini в базовом RAG-решении. В будущем возможно тестирование альтернативных подходов и оптимизаций

— отметил Артём Андреевич

Новости

Вам также может быть интересно:

Контакты

Мы открыты к новому сотрудничеству и на связи по всем вашим вопросам

написать нам:mail@dscs.proВсе контакты