Claude демонстрирует надежные многоязычные возможности с особенно сильной производительностью в нулевых попыток задач на разных языках. Модель сохраняет последовательную относительную производительность как на широко распространенных, так и на языках с меньшим количеством ресурсов, что делает ее надежным выбором для многоязычных приложений.
Обратите внимание, что Claude способен работать со многими языками, выходящими за рамки приведенных ниже тестов. Мы рекомендуем тестировать любые языки, релевантные для вашего конкретного использования.
Ниже приведены оценки нулевых попыток цепочки мышления для Claude 4, Claude 3.7 Sonnet и Claude 3.5 моделей на разных языках, показанные в процентах относительно производительности на английском языке (100%):
| Язык | Claude Opus 41 | Claude Sonnet 41 | Claude Sonnet 3.7 (deprecated)1 | Claude Haiku 3.5 |
|---|---|---|---|---|
| Английский (базовый, зафиксирован на 100%) | 100% | 100% | 100% | 100% |
| Испанский | 98.0% | 97.5% | 97.6% | 94.6% |
| Португальский (Бразилия) | 97.3% | 97.2% | 97.3% | 94.6% |
| Итальянский | 97.5% | 97.3% | 97.2% | 95.0% |
| Французский | 97.7% | 97.1% | 96.9% | 95.3% |
| Индонезийский | 97.2% | 96.2% | 96.3% | 91.2% |
| Немецкий | 97.1% | 94.7% | 96.2% | 92.5% |
| Арабский | 96.9% | 96.1% | 95.4% | 84.7% |
| Китайский (упрощенный) | 96.7% | 95.9% | 95.3% | 90.9% |
| Корейский | 96.4% | 95.9% | 95.2% | 89.1% |
| Японский | 96.2% | 95.6% | 95.0% | 90.8% |
| Хинди | 96.7% | 95.8% | 94.2% | 80.1% |
| Бенгальский | 95.2% | 94.4% | 92.4% | 72.9% |
| Суахили | 89.5% | 87.1% | 89.2% | 64.7% |
| Йоруба | 78.9% | 76.4% | 76.7% | 46.1% |
1 С extended thinking.
Эти метрики основаны на наборах тестов MMLU (Massive Multitask Language Understanding) на английском языке, которые были переведены на 14 дополнительных языков профессиональными переводчиками-людьми, как задокументировано в репозитории OpenAI simple-evals. Использование переводчиков-людей для этой оценки обеспечивает высокое качество переводов, что особенно важно для языков с меньшим количеством цифровых ресурсов.
При работе с многоязычным контентом:
Мы также рекомендуем следовать нашим общим рекомендациям по инженерии подсказок для лучшего улучшения производительности Claude.