Статья обновлена: 25 апреля 2024
В основе ChatGPT лежат большие языковые модели (Large Language Model — LLM) семейства GPT, те самые искусственные нейронные сети или Искусственный Интеллект (ИИ). В настоящий момент нейросеть GPT-3,5 используется в бесплатной версии чата, а GPT-4 в платной. По сути, Chat GPT представляет из себя удобный интерфейс (средство) для взаимодействия пользователей с этими LL Моделями. Модели GPT-3,5 и GPT-4, как и сам ChatGPT, созданы компанией OpenAI. Но не только OpenAI разрабатывает Искусственный Интеллект и чат-ботов.
В этой статье познакомимся с ведущими компаниями-разработчиками ИИ. С их самыми передовыми и умными языковыми моделями. Рассмотрим топ лучших нейросетей, конкурентов чат GPT, созданных в России и мире. Узнаем какое место в рейтинге мировых лидеров занимают русские аналоги ChatGPT, и способны ли они стать альтернативой популярному сервису.
СОДЕРЖАНИЕ:
Какие бывают аналоги ChatGPT
Аналоги Чат GPT условно можно разделить на 3 категории:
- Дающие доступ к языковым моделям GPT от OpenAI через API (API — посредник между приложением и моделью). На деле, они представляют из себя просто различные интерфейсы для доступа к нейросетям OpenAI. К ним относятся бесчисленные Телеграм-боты, неофициальные мобильные приложения и сторонние веб-сайты, использующие модели GPT-… от OpenAI.
Примечание: Здесь надо понимать и не путать названия моделей (GPT-3, GPT-4) компании OpenAI, с термин GPT, обозначающим архитектуру нейросети — Generative Pre-trained Transforme. Архитектуру GPT используют многие разработчики ИИ (тот же Яндекс в YandexGPT).
Сторонние сервисы, работающие через API OpenAI, часто обходятся конечным пользователям дороже, чем оригинальный чат. Так как использование бесплатной в чате модели GPT-3.5, через API требует оплату за каждое вводимое и сгенерированное слово (а нужно еще заработать и создателю сервиса). Или имеют урезанный функционал по количеству и объему бесплатных генераций (чтобы не разорить владельца Телеграм бота, компенсирующего расходы на API, доходами от рекламы и платных тарифов). Не имеют доступа к расширениям, плагинам и т.д.
К плюсам таких альтернатив Chat GPT можно отнести работу без VPN в странах, находящихся под санкциями (Россия, Белоруссия…). Также интерес представляют сервисы, которые используют нейросети OpenAI для решения каких-то специфических задач, например поиск в интернете (Copilot от Майкрософт или Copilot в Perplexity AI), обработки информации, различные нейро-сотрудники и агенты. - Сервисы, использующие языковые модели собственной разработки. Собственные нейронные сети создают крупнейшие IT-компании мира, и конкурентная борьба здесь развернулась серьезная. Сегодня расскажем об одной интересной площадке (виртуальной арене), на которой тестируются лучшие языковые модели, чтобы определить сильнейших.
- Сторонние сервисы использующие языковые модели от разработчиков из п.2.
Рейтинги лучших языковых нейросетей
Языковые модели проверяют в различных синтетических тестах и бенчмарках. Периодически появляются новости, что какой-нибудь разработчик, протестировал свою новую нейросеть в популярных бенчмарках и «с удивлением» обнаружил, что она по всем параметрам превосходит лидеров отрасли. О чем разработчик немедленно спешит сообщить «изумленной» публике. На деле, когда реальные люди начинают использовать эту новую модель, результаты оказываются не столь впечатляющие. Вероятней всего, такие модели обучались с прицелом на прохождение синтетических тестов, что не всегда дает качество ответов, которые хотел бы получать от ИИ обычный живой человек.
Поэтому наибольший интерес на наш взгляд представляют тесты, в которых ответы нейронных сетей оценивают реальные люди. Сейчас в интернете набирает популярность сервис — Чатбот Арена.
Рейтинг ИИ от LMSYS Chatbot Arena
LMSYS Chatbot Arena — это краудсорсинговая открытая платформа для оценки LLM. На середину марта 2024 года, они собрали более 400 000 человеческих голосов для ранжирования нейронных сетей по системе Elo.
Система оценок основана на том, что на один и тот же вопрос пользователя, ответ дают одновременно две случайные модели. Пользователь выбирает, какой ответ ему больше нравится, и модели получают соответствующие балы.
На сайте LMSYS каждый может бесплатно поучаствовать в тестировании. Помимо режима ⚔️ Arena (battle) – когда ответы дают 2 случайные модели, на сайте есть режимы ⚔️ Arena (side-by-side), где можно самому выбрать 2 любые модели. А также 💬 Direct Chat – прямое общение с любой конкретной нейронкой, и 👀 Vision Direct Chat – прямое общение с моделями, способными обрабатывать изображения.
По сути, можно бесплатно и без VPN получить доступ и пользоваться даже платными нейросетями, таким как GPT-4, бесплатно. Правда компенсацией за это будет отсутствие конфиденциальности. Владельцы сайта предупреждают:
Пожалуйста, не загружайте личную информацию. Служба собирает данные диалогов пользователей, включая текст и изображения, и оставляет за собой право распространять их по лицензии Creative Commons Attribution (CC-BY) или аналогичной лицензии.
Также на сайте есть таблица лидеров (см. скриншот выше), которая продублирована на huggingface. На скриншоте видим топ 15 нейросетей из 73, которые участвуют в голосовании Chatbot Arena. Что нам показывает топ:
- Первые два места удерживают различные версии модели GPT-4 от OpenAI (к слову, GPT-3,5-Turbo-0613 на 17 позиции). Далее различные модификации GPT-4 расположились на 5 и 7 местах.
- В спину им дышит Claude 3 от Anthropic. Anthropic – американская компания (стартап), основанная бывшими сотрудниками OpenAI. Занимается безопасностью и исследованиями в области Искусственного Интеллекта. Различные версии модели Claude заняли также 6, 11, 12 и 15 места.
- На 4 месте Bard (Gemini Pro) от Google. Думаю, компания Google в представлении не нуждается.
- На 8 месте Mistral-Large от французской Mistral AI. Также за Mistral 9 и 13 позиции рейтинга.
- На 10-м Owen1.5-72B-Chat – нейросеть от китайской компании Alibaba.
Итак, первенство в языковых моделях ИИ сейчас удерживают американские компании OpenAI, Anthropic и Google, французская Mistral и китайская Alibaba. На Веб-сайтах компаний (кроме пока китайской) есть чаты, аналогичные Chat GPT, с доступом к их нейросетевым моделям. Таблица лидеров кликабельна, и нажав на название любой модели, вы попадете на сайт компании-разработчика. Из-за санкций в отношении РФ и Белоруссии, для открытия некоторых сайтов может понадобиться иностранный ip или VPN.
Российские компании-разработчики LLM в рейтинге LMSYS не представлены. Чтобы определить, где бы они могли быть в этом списке, обратимся к исследованию компании Университет ИИ.
Рейтинг моделей от российского Университета ИИ
В России лидерами в разработке ИИ являются компании Сбер и Яндекс. Их российские аналоги Чат GPT – это GigaChat (от Сбера) и ЯндексGPT.
Специалисты Университета ИИ создают нейро-сотрудников на базе различных языковых моделей, как российских, так и зарубежных. Оценивая качество их ответов, инженеры построили рейтинг для решения своих практических задач. Поэтому в рейтинге учитывались ответы только на русском языке, и только моделей с которыми работали сотрудники. Результат получился следующим:
Примечание: «Open» в 1-м столбце таблицы обозначает open-source (c открытым исходным кодом). Открытые нейросети можно скачать на ПК и запустить на локальном сервере. «API» – доступность модели через интернет по API, на серверах компании-разработчика.
Как видим, качество ответов у GigaChat Pro получилось на уровне GPT-3,5-Turbo-0125. Совместив это с таблицей Chatbot Arena можно предположить, что в рейтинге LMSYS, GigaChat Pro получил бы 25-е место. У ЯндексGPT дела пока обстоят похуже, он был бы на 57-м. Хотя здесь не совсем корректно, так как второе исследование проводилось на русском языке, а например для английского результат был бы другой. Но нас в первую очередь интересует работа нейросетей на русском языке.
Заключение
Подводя итоги, можно сказать, что для русскоязычных пользователей, GigaChat наиболее качественная альтернатива на замену ChatGPT от российского производителя. Возможно, в будущем и YandexGPT подтянет свои результаты (и когда-нибудь наша любимая Алиса от Яндекс станет мисс мира среди AGI). Из опенсорс нейросетей на русском языке, пока лучшая — открытая модель Beluga. А для тех же, кто ищет зарубежные аналоги Чат GPT, стоит присмотреться к Claude от Anthropic и Gemini от Google. Или возможно даже к французской Mistral или китайский открытой нейросети Owen. Отслеживать актуальный рейтинг лучших нейросетей (и даже поучаствовать в оценке топ моделей) поможет сервис LMSYS Chatbot Arena.