Предпринимателей научили вайб-кодингу за 20 минут на «Мой Бизнес Форум 2026»
09.09.2026
Читать подробнее
Исследователи Лаборатории прикладного искусственного интеллекта Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) совместно с коллегами из Университета ИТМО разработали подход к автоматизированному созданию бенчмарков для оценки GraphRAG-систем — технологий, которые объединяют возможности больших языковых моделей и графов знаний. Результаты исследования представил стажер-исследователь СПб ФИЦ РАН Георгий Басиев на 35-й Международной объединенной конференции по искусственному интеллекту IJCAI-ECAI 2026, которая прошла с 15 по 21 августа в Бремене (Германия).
17 августа 2026
35-я Международная объединенная конференция по искусственному интеллекту IJCAI-ECAI 2026
Работа ученых посвящена одной из актуальных задач в области генеративного искусственного интеллекта, а именно проверке качества систем GraphRAG. Такие системы дополняют возможности больших языковых моделей информацией из графов знаний, в которых данные представлены не изолированно, а вместе со связями между объектами. Это позволяет технологии искусственного интеллекта учитывать взаимосвязи между фактами и формировать более точные и проверяемые ответы на сложные вопросы.
Для оценки подобных систем используются специальные наборы тестовых заданий «бенчмарки». Однако существующие подходы имеют ряд ограничений, в частности, они могут основываться на статичных данных, которые большая языковая модель уже встречала во время обучения. Кроме того, автоматически сгенерированные вопросы не всегда соответствуют реальным фактам, что затрудняет объективную оценку качества GraphRAG-систем.
Инновационный подход российских ученых
Исследователи СПб ФИЦ РАН и ИТМО предложили подход, позволяющий автоматически создавать сложные многошаговые вопросы на основе актуальных и проверяемых данных. Для этого система формирует динамический граф знаний о компаниях, входящих в индекс S&P 500. Он объединяет информацию о руководителях компаний, инвестиционных фондах, продуктах, ресурсах и географических связях, а также актуальный новостной поток.
На основе связей внутри этого графа автоматически формируются вопросы, для ответа на которые системе необходимо последовательно сопоставить несколько фактов. Корректность полученных ответов при этом может быть проверена непосредственно по данным, содержащимся в графе знаний. Такой подход, по мнению авторов, решает две проблемы существующих бенчмарков GraphRAG-систем: использование статичных данных, которые современные языковые модели могли «запомнить» при обучении, и вопросов, сгенерированных искусственно и не всегда подкрепленных реальными фактами. Доклад вошел в блок, посвященный knowledge representation, одной из главных тем IJCAI в этом году, и вызвал большой интерес участников воркшопа.
При оценке GraphRAG-систем важно понимать не только то, способен ли искусственный интеллект найти правильный ответ, но и насколько сложную цепочку взаимосвязанных фактов он может корректно обработать. Использование динамических данных и автоматически проверяемых вопросов позволяет приблизить тестирование таких систем к реальным сценариям их применения
Результаты исследования представлены в совместной статье «Towards Ontology-Driven Multi-Hop Benchmark for Corporate GraphRAG Systems». Ее авторами стали сотрудники Лаборатории прикладного искусственного интеллекта СПб ФИЦ РАН Максим Абрамов, Федор Бушмелев и Анастасия Корепанова, а также исследователи ИТМО Иван Кирпичев, Эльдар Курманалиев, Николай Никитин и Анна Калюжная.
Презентация доклада на воркшопе GenAIK-NORA
17 августа Георгий Басиев представил работу на объединенном воркшопе GenAIK-NORA в рамках IJCAI-ECAI 2026. Тематика доклада была связана с представлением знаний (knowledge representation) и использованием структурированных данных в современных системах искусственного интеллекта.
Участие в IJCAI-ECAI дало возможность не только представить результаты нашей работы международному научному сообществу, но и познакомиться с исследованиями коллег из разных стран. Большинство участников — PhD-студенты, постдоки и преподаватели, поэтому значительная часть обсуждений была посвящена новым исследованиям, экспериментам и перспективным направлениям развития искусственного интеллекта. Для молодого исследователя это особенно ценный опыт
В рамках конференции исследователь СПб ФИЦ РАН также посетил пленарные доклады ученых из Оксфордского и Гарвардского университетов и Университета Лафборо, а также тематические секции, посвященные актуальным направлениям развития искусственного интеллекта.
Отдельным событием стало интервью Георгия Басиева китайскому телеканалу CCTV. В беседе исследователь рассказал о своем видении развития искусственного интеллекта в Китае, а также о работе Санкт-Петербургского Федерального исследовательского центра РАН и Лаборатории прикладного искусственного интеллекта.
Полный текст статьи «Towards Ontology-Driven Multi-Hop Benchmark for Corporate GraphRAG Systems» опубликован на платформе OpenReview: https://openreview.net/forum?id=1vQ04i1XGC