Alibaba Marco-o1: Улучшение аналитических возможностей LLM

Alibaba представила Marco-o1 — новый крупный языковой модель (LLM), предназначенный для решения как стандартных, так и открытых задач.

Разработанный командой MarcoPolo, Marco-o1 является значительным шагом вперед в способность ИИ справляться с комплексными логическими задачами, особенно в таких областях, как математика, физика, программирование, а также в ситуациях, где четкие стандарты отсутствуют.

Marco-o1 основывается на достижениях OpenAI в области логического рассуждения с использованием их модели o1, однако обращает на себя внимание благодаря внедрению нескольких инновационных техник. К ним относятся тонкая настройка по методу Chain-of-Thought (CoT), поиск в дереве Монте-Карло (MCTS) и оригинальные механизмы рефлексии. Эти компоненты работают в унисон, улучшая способности модели решать задачи в самых разных областях.

Команда разработчиков внедрила обширную стратегию тонкой настройки, использовав несколько наборов данных, включая отфильтрованную версию Open-O1 CoT Dataset, синтетический Marco-o1 CoT Dataset и специализированный Marco Instruction Dataset. В сумме тренировочный корпус насчитывает более **60,000 тщательно подобранных примеров**.

Marco-o1 продемонстрировала особенно впечатляющие результаты в многиязычных приложениях. В ходе тестирования модель достигла значительных улучшений точности: 6.17% на английском MGSM наборе данных и 5.60% на китайском аналогичном наборе. Модель проявила особую силу в задачах перевода, эффективно справляясь с разговорными выражениями и культурными нюансами.

Одной из самых инновационных особенностей модели является применение различных уровней детализации действий в рамках MCTS. Этот подход позволяет модели исследовать логические пути на разных уровнях, от широких шагов до более точных «мини-шагов» по **32 или 64 токена**. Также команда внедрила механизм рефлексии, который побуждает модель самооценивать и пересматривать свои рассуждения, что способствует повышению точности в сложных задачах.

Интеграция MCTS оказалась особенно эффективной — все версии модели, улучшенные с помощью MCTS, показали заметные улучшения по сравнению с базовой версией Marco-o1-CoT. Эксперименты команды с различными градациями действий выявили интересные закономерности, хотя они подчеркивают, что определение оптимальной стратегии требует дальнейших исследований и более точных моделей награды.

Разработчики открыто признали текущие ограничения модели, отметив, что хотя Marco-o1 демонстрирует сильные логические характеристики, она всё ещё не достигает полного потенциала модели «o1». Они подчеркивают, что этот релиз — это часть продолжающегося стремления к улучшению, а не конечный продукт.

В будущем команда Alibaba планирует внедрить модели вознаграждения, включая **Outcome Reward Modeling (ORM)** и **Process Reward Modeling (PRM)**, чтобы усовершенствовать принятие решений Marco-o1. Также они исследуют методы глубокого обучения для дальнейшего совершенствования способностей модели в решении задач.

Модель Marco-o1 и сопутствующие наборы данных были опубликованы для исследовательского сообщества на репозитории Alibaba на GitHub, с полным набором документации и руководствами по реализации. В релиз вошли инструкции по установке и примеры скриптов как для непосредственного использования модели, так и для развертывания через FastAPI

Создание такой модели, как Marco-o1, значительно усиливает возможности крупных языковых моделей в решении разнообразных задач, открывая перспективы для будущих достижений в области технологий ИИ.