Современные большие языковые модели демонстрируют низкую точность при выполнении финансовых задач, допуская ошибки более чем в половине случаев. Согласно данным исследования, опубликованного Financial Times (FT), популярные нейросети часто не справляются с базовым анализом данных, а при усложнении условий их эффективность стремительно падает. Это ставит под сомнение возможность использования чат-ботов в качестве надежных финансовых консультантов без жесткого контроля со стороны человека.

Статистика точности популярных моделей

В ходе тестирования анализировались такие известные инструменты, как ChatGPT (OpenAI), Claude (Anthropic), Copilot (Microsoft), Grok (xAI) и Gemini (Google). Исследование показало, что при обработке стандартных финансовых запросов нейросети дают неверные ответы в среднем в 57% случаев. Ошибки возникают не только в логических выводах, но и в простых арифметических операциях, что критично для банковского сектора и личного инвестирования.

  • Средний процент ошибок при базовых запросах: 57%;
  • Ошибки при многоэтапных расчетах: до 88%;
  • Максимальный уровень отказов в сложных сценариях: до 99%.

Проблемы со сложными вычислениями

Наибольшие трудности у алгоритмов возникают при необходимости выполнить последовательную цепочку действий. Когда задача требует проведения нескольких промежуточных расчетов, средний показатель некорректных ответов возрастает до 88%. В наиболее специфических и глубоких финансовых сценариях вероятность получения ложных данных достигает 99%. Эксперты связывают это с особенностями архитектуры ИИ, которые склонны к «галлюцинациям» и не обладают встроенным механизмом верификации математической логики.

Модели ИИ часто выглядят убедительно, но их склонность к ошибкам в точных науках делает их использование в финансовом планировании рискованным без дополнительной проверки.

На фоне этих данных финансовые регуляторы в США и Европе продолжают обсуждать введение стандартов для использования генеративного ИИ в бизнесе. Несмотря на стремительный рост популярности технологий в 2024–2026 годах, вопрос их надежности остается открытым. Пользователям рекомендуется проверять все результаты, полученные с помощью нейросетей, особенно если речь идет о налоговых отчетах, кредитных ставках или управлении капиталом.