Model benchmarks

Эталонные тесты моделей

Модели	MMAE 2024	GPQA	SWE Bench	MATH 500	BFCL	Aide Peugeot
GPT-4o	51.4%	66.1%	31%	60.3%	72.09%	27%
Claude 3.5 Sonnet	18%	65%	49%	76%	65.46%	55.6%
Claude 3.7 Sonnet	23.3%	68%	62.3%	82.2%	68.3	60.4%
GPT-4.5	36.7%	74.1%	39%	n/a	69.94%	44.6%
DeepSeek V3 G324	58.4%	64.9%	38.6%	81%	68.05%	58.1%
Claude 3.7 Sonnet [P]	61.3%	78.2%	73.3%	86.5%	83.3%	64.9%
OpenAI o1-mini	63.6%	60%	n/a	90%	62.2%	52.8%
OpenAI o1	79.2%	79.7%	46.6%	95.4%	67.8%	67%
OpenAI o1-mini-2	87.3%	79.7%	61%	97.6%	65.12%	60.4%
Gemini 2.0 Pro	52%	84%	63.6%	n/a	n/a	72.5%
Gemini 3 (Beta)	93.3%	84.8%	n/a	n/a	n/a	n/a
Llama 4 Behemoth	n/a	73.7%	n/a	95%	n/a	n/a
Llama 4 Scout	n/a	87.2%	n/a	n/a	n/a	n/a
Llama 4 Maverick	n/a	88.8%	n/a	n/a	n/a	58.6%
Gemini 3 Pro	n/a	42.4%	52.2%	69%	n/a	4.8%
Qwen 2.5-VL-32B	n/a	46%	18.8%	82.2%	n/a	69.84%
Gemini 2.0 Flash	n/a	62.1%	51.8%	83.7%	60.42	22.2%
Llama 3.1 70b	n/a	50.5%	n/a	77%	77.5	61.45%
Nous Pro	n/a	46.8%	n/a	76.6%	68.4%	61.38%
Claude 3.5 Haiku	n/a	49.8%	40.5%	68.4%	64.31%	28%
Llama 3.1 405b	n/a	49%	n/a	73.8%	81.1%	n/a
GPT-4o-mini	n/a	40.2%	n/a	70.2%	64.1	3.6%

Детали моделей

GPT-4o (OpenAI)

Мультимодальная модель, превосходящая в академических оценках и математических рассуждениях. Показывает высокую производительность в логических рассуждениях (BFCL 72.09%), но относительно слабее в задачах автомобильной отрасли.

Claude 3.5 Sonnet (Anthropic)

Сбалансированная модель с сильными возможностями кодирования (SWE Bench 49%) и математической грамотностью (MATH 500 76%). Улучшенное понимание автомобильной отрасли по сравнению с предыдущими версиями.

Claude 3.7 Sonnet [P] (Anthropic)

Улучшенная версия, демонстрирующая значительные улучшения по всем тестам, особенно в программной инженерии (SWE Bench 73.3%) и фундаментальной логике (BFCL 83.3%). Потенциально проприетарный вариант.

DeepSeek V3 G324

Сильная универсальная модель с высокой производительностью в MMAE 2024 (58.4%) и отличными математическими способностями (MATH 500 81%). Поддерживает стабильную производительность во всех областях.

OpenAI o1 Series

Модели нового поколения, демонстрирующие прорывную производительность в математике (o1-mini-2: MATH 500 97.6%). Вариант o1-mini-2 лидирует в академических оценках (MMAE 87.3%), сохраняя при этом сильные способности к кодированию.

Gemini 3 Series (Google)

Бета-версия показывает рекордную производительность MMAE 2024 (93.3%), но неполное тестирование. Вариант Pro, по-видимому, специализирован для различных задач со смешанными результатами.

Llama 4 Series (Meta)

Специализированные варианты, где версия Maverick лидирует в GPQA (88.8%). Модель Behemoth демонстрирует сильные математические рассуждения (MATH 500 95%), в то время как вариант Scout превосходит в академических вопросах.

Qwen 2.5-VL-32B

Модель, ориентированная на компьютерное зрение, с удивительной производительностью в автомобильной сфере (Aide Peugeot 69.84%). Демонстрирует достойные математические способности, несмотря на более слабые показатели в программировании.

Nous Pro

Модель общего назначения с стабильной производительностью среднего уровня по всем тестам. Показывает особую силу в автомобильных приложениях (61.38%) по сравнению с моделями аналогичного размера.

Llama 3.1 Series

Крупномасштабные модели, демонстрирующие сильные базовые логические способности (405b: BFCL 81.1%). Вариант 70b сохраняет сбалансированную производительность в нескольких областях.