Claude демонстрирует надежные многоязычные возможности с особенно сильной производительностью в нулевых попыток задач на разных языках. Модель сохраняет последовательную относительную производительность как на широко распространенных, так и на языках с меньшим количеством ресурсов, что делает его надежным выбором для многоязычных приложений.
Обратите внимание, что Claude способен работать на многих языках, выходящих за рамки приведенных ниже тестов. Рассмотрите возможность тестирования на любых языках, релевантных для ваших конкретных случаев использования.
Ниже приведены оценки нулевых попыток цепочки мышления для моделей Claude на разных языках, показанные в процентах относительно производительности на английском языке (100%):
| Язык | Claude Opus 4.11 | Claude Opus 4 (deprecated)1 | Claude Sonnet 4.51 | Claude Sonnet 4 (deprecated)1 | Claude Haiku 4.51 |
|---|---|---|---|---|---|
| Английский (базовый, зафиксирован на 100%) | 100% | 100% | 100% | 100% | 100% |
| Испанский | 98.1% | 98.0% | 98.2% | 97.5% | 96.4% |
| Португальский (Бразилия) | 97.8% | 97.3% | 97.8% | 97.2% | 96.1% |
| Итальянский | 97.7% | 97.5% | 97.9% | 97.3% | 96.0% |
| Французский | 97.9% | 97.7% | 97.5% | 97.1% | 95.7% |
| Индонезийский | 97.3% | 97.2% | 97.3% | 96.2% | 94.2% |
| Немецкий | 97.7% | 97.1% | 97.0% | 94.7% | 94.3% |
| Арабский | 97.1% | 96.9% | 97.2% | 96.1% | 92.5% |
| Китайский (упрощенный) | 97.1% | 96.7% | 96.9% | 95.9% | 94.2% |
| Корейский | 96.6% | 96.4% | 96.7% | 95.9% | 93.3% |
| Японский | 96.9% | 96.2% | 96.8% | 95.6% | 93.5% |
| Хинди | 96.8% | 96.7% | 96.7% | 95.8% | 92.4% |
| Бенгальский | 95.7% | 95.2% | 95.4% | 94.4% | 90.4% |
| Суахили | 89.8% | 89.5% | 91.1% | 87.1% | 78.3% |
| Йоруба | 80.3% | 78.9% | 79.7% | 76.4% | 52.7% |
Эти метрики основаны на наборах тестов MMLU (Massive Multitask Language Understanding) на английском языке, которые были переведены на 14 дополнительных языков профессиональными переводчиками-людьми, как задокументировано в репозитории simple-evals OpenAI. Использование переводчиков-людей для этой оценки обеспечивает высокое качество переводов, что особенно важно для языков с меньшим количеством цифровых ресурсов.
При работе с многоязычным контентом:
Также следуйте общим рекомендациям по инженерии подсказок, чтобы лучше улучшить производительность Claude.
Was this page helpful?