Практический обзор Meta AI Llama 3.1: лучше ли она, чем ChatGPT и Claude?

8

Вчера Meta выпустила свою последнюю модель ИИ, Llama 3.1. На первый взгляд, она выглядит как итеративное обновление модели Llama 3. Однако Meta утверждает, что эта новая модель превзойдет все текущие модели, включая GPT-4 и даже Claude 3.5 Sonnet, когда дело дойдет до бенчмарков. Чтобы опробовать ее, мы глубоко погрузились в Llama 3.1 от Meta AI, чтобы проверить, как она справляется с ChatGPT и Claude.

Что такое Llama 3.1 от Meta AI

ChatGPT использовал модель искусственного интеллекта третьего поколения, называемую GPT или Generative Pre-trained Transformers, которые являются языковыми моделями и фреймворками, предназначенными для выполнения широкого спектра задач. Аналогично, модель ИИ, лежащая в основе Meta AI, — это Llama. Для каждой новой версии Llama Meta обычно выпускает три варианта для разных целей. С Llama 3.1 вы можете выбирать из моделей с параметрами 8B, 70B и 405B.

• Параметр 8B: Легкая, сверхбыстрая модель, на которой можно бегать где угодно.
• Параметр 70B: Сбалансированная модель, предлагающая как скорость, так и производительность.
• Параметр 405B: Высокопроизводительная модель, полезная для сложных задач.

Модель Llama 3.1 405B находится на одном уровне с GPT 4o и Claude 3.5 Sonnet и даже превосходит такие категории, как математика и длинный контекст.

А их версии 8B и 70B превосходят Gemma 2 9B и GPT 3.5 Turbo соответственно.

Поскольку Llama — это модель с открытым исходным кодом, она полностью бесплатна для всех. Вы можете загрузить модель и использовать ее офлайн без каких-либо ограничений. Разработчики также могут интегрировать Llama 3.1 в свои приложения бесплатно, если их приложения имеют менее 70 миллионов пользователей. Для сравнения, создание модели ИИ с такими же возможностями может обойтись более чем в 100 миллионов долларов.

Основные характеристики Llama 3.1

• Превосходные показатели в тестах: Особенно в математике, рассуждениях и длинном контексте.
• Открытый источник: Llama 3.1 бесплатна и имеет открытый исходный код, в отличие от других моделей, которые имеют лимит сообщений в день.
• Удобно для разработчиков: Позволяет выполнять тонкую настройку, что делает его лучшим выбором для разработчиков, желающих интегрировать ИИ в свои приложения или веб-сайты.
• Безопасность и конфиденциальность: Поскольку Llama 3.1 может работать локально, она обеспечивает повышенную конфиденциальность и безопасность по сравнению с облачными моделями ИИ. Конфиденциальные данные никогда не должны покидать ваше устройство, но это применимо только тогда, когда вы загружаете модель на свое устройство и запускаете ее локально.

Сравнение Llama 3.1 с Claude и ChatGPT

Я сравнил Meta AI (вариант параметров Llama 3.1 405B) с моделями ChatGPT (GPT4o) и Claude (3.5 Sonnet) по различным аспектам, таким как генерация кода, скорость, навыки рассуждения и т. д. Для версии 405B я использовал Обнимающее лицо приложение, так как сайт Meta AI использует модель параметров 70B. Вот результаты:

1. Генерация кода

Я попросил Meta AI (вариант Llama 3.1 405B), ChatGPT 4 и Claude 3.5 Sonnet создать игру «Змейка» с использованием Python, включая систему подсчета очков.

Используйте библиотеку Pygame и напишите код для игры «Змейка» на Python, включая систему подсчета очков.

В этом первом тесте производительность Meta была разочаровывающей по сравнению с ChatGPT и Claude. Модель Meta создала код с 3–4 ошибками в наименованиях, которые мне пришлось исправить вручную. Даже после исправления этих ошибок я не мог управлять змеей с помощью клавиатуры. После нескольких попыток сгенерировать и исправить код мне, наконец, удалось запустить игру. Но в ней все еще не хватало системы подсчета очков.

С другой стороны, ChatGPT и Клод создали код, который работал без проблем и включал запрошенную систему подсчета очков. Игра Клода была лучшей в целом, с более плавным управлением по сравнению с версией ChatGPT, которая имела немного привередливое управление. В целом, Клод является лучшей моделью ИИ для кодирования, поскольку ее сгенерированный пользовательский интерфейс часто чист, а также предоставляет возможность предоставить больше инструкций и улучшить код с помощью функции артефактов.

Мы повторили тесты кодирования с JavaScript и другими языками. Хотя вывод Meta иногда соответствовал другим моделям, его генерация кода была либо удачной, либо неудачной. Я также протестировал генерацию кода с меньшими вариантами 8B и 70B Llama 3.1, и опыт оказался хуже, чем ожидалось. Модель 8B, в частности, часто производила вывод, который застревал в циклах, независимо от того, сколько раз я пытался.

2. Написание историй и электронных писем

С выпуском Claude 3.5 Sonnet, Claude стал лучшей моделью для создания человекоподобных текстов и историй. Он по-прежнему выделяется как лучший выбор для таких работ.

С другой стороны, ChatGPT хорош в создании статей, тем и подобного контента. Стиль письма Meta часто кажется странным и его трудно настроить с помощью подсказок.

Однако эти предпочтения могут быть субъективными, поэтому я рекомендую вам попробовать все три модели самостоятельно, поскольку вы можете протестировать их бесплатно. Одной из примечательных возможностей Meta AI является его способность писать 10 предложений, заканчивающихся определенным словом. Хотя это может показаться простым, другие языковые модели, такие как Claude и ChatGPT, испытывают трудности в достижении этого последовательно.

3. Проверка навыков рассуждения

Meta AI превзошел Claude и ChatGPT в тестах на рассуждения и длинный контекст. Это говорит о том, что он должен быть намного лучше в решении загадок или понимании сложных вопросов. Чтобы проверить это, я предоставил несколько загадок и провел тесты на моделях. Вот один пример загадки, которую я дал в качестве подсказки:

Вам завязывают глаза и кладут перед вами 10 монет. Вы можете потрогать, но не можете определить, какая сторона вверху. Есть 5 орлов и 5 решек. Можете ли вы сделать две кучки с одинаковым количеством орлов? Вы можете переворачивать монеты любое количество раз.

В ходе нашего тестирования все три сервиса показали схожие результаты.

Однако мы заметили, что Meta AI давал точные ответы чаще при решении сложных математических задач по сравнению с другими вариантами. Вот один пример вопроса о функциях и графиках, который я задал всем трем моделям:

Дана функция f(x)=2×3−3×2+x−5f(x) = 2x^3 – 3x^2 + x – 5f(x)=2×3−3×2+x−5. Найдите точки пересечения графика с осью x.

В то время как другие чат-боты успешно решали даже сложные функциональные проблемы, Meta AI оказалась единственной моделью, которая точно ответила на вопрос, а также предоставила подробные шаги.

4. Разговорные навыки

Самый большой недостаток Meta AI — это отсутствие достаточных разговорных способностей. Meta больше фокусируется на создании языковой модели с открытым исходным кодом для разработчиков, а не на чат-боте AI, ориентированном на потребителя. В результате его тон часто бывает пресным и роботизированным. С другой стороны, Claude использует более человеческий подход, а ChatGPT находится где-то посередине.

Однако, когда дело доходит до запоминания контекста темы, Meta AI и Claude превосходят ChatGPT. Это становится очевидным при предоставлении серии команд AI. В то время как и Claude, и Meta AI могут следовать всем инструкциям, ChatGPT часто забывает старые инструкции или испытывает трудности с правильным включением новых.

5. Создание скорости

Когда дело доходит до скорости, Meta AI, несомненно, берет корону. Его вариант с параметрами 8B является самой быстрой моделью ИИ, генерирующей результаты за доли секунды, будь то создание таблиц, поиск информации или генерация шаблона электронной почты. Эта модель с параметрами 8B может быть менее эффективной при решении математических или кодовых задач, но она так же эффективна, как и другие модели, такие как ChatGPT 3.5 Turbo или Gemini 1.5 Flash, во многих задачах.

Я рекомендую использовать вариант Llama 3.1 8B на сайт Groq, который фокусируется на предоставлении результатов как можно быстрее. Хотя официальных данных о скорости вывода нет, но Groq утверждает, что скорость составляет около 450 токенов в секунду.

6. Локальный запуск без ограничений

Поскольку Llama — это модель с открытым исходным кодом, вы можете настроить или сделать джейлбрейк, чтобы генерировать результаты без цензуры. Больше, чем варианты параметров 405B и 70B, я взволнован вариантом 8B, потому что он настолько легкий, что я могу запустить его даже на моем MacBook. Однако генерация результатов может замедлиться, если на вашем ноутбуке недостаточно оперативной и видеопамяти.

Вы можете загрузить модели AI напрямую с сайта Meta AI. Они предоставляют вам модель AI, с которой вы можете взаимодействовать либо из Терминала с помощью команд, либо интегрируя ее в свое приложение. В качестве альтернативы вы можете загрузить модели Llama 3.1 с Приложение LM Studio. Это приложение позволяет вам загружать модели ИИ с открытым исходным кодом, включая Llama 3.1 от Meta, и предоставляет интерфейс чат-бота для взаимодействия с ним. Эта настройка полностью локальна, и вы можете отключить интернет, если хотите. По умолчанию модель не взломана и может не предоставлять все ответы без цензуры. Вы можете настроить модель, если необходимо, но процесс может быть немного техническим.

Лучше ли Llama 3.1 других моделей?

Его модель 8B довольно удивляет своей скоростью, но в остальном Llama 3.1 не лучше GPT-4 или Claude 3.5 Sonnet по большинству аспектов. Однако Meta AI бесплатен и имеет открытый исходный код, в отличие от других моделей, которые имеют лимит сообщений в день. Если вы разработчик, желающий внедрить ИИ в свое приложение или веб-сайт, Llama 3.1 — лучший выбор, поскольку он позволяет вам точно настроить модель, что на данный момент недоступно для других моделей.