ChatGPT — что это такое, как работает, как устроена нейросеть, что умеет, возможности применения и ограничения

Статья обновлена: 1 марта 2024

30 ноября 2022 года произошло событие, которое многие называют революцией в сфере языковых моделей Искусственного Интеллекта (ИИ) — компания OpenAI выпустила в свет чат бот ChatGPT. В один миг мощнейшая нейросеть для генерации текста, стала бесплатно, онлайн доступна практически каждому жителю планеты. С этого момента слова ИИ и нейросеть плотно вошли в нашу жизнь, и превратились из чего-то далекого, неосязаемого в естественную составляющую окружающего мира. Теперь пообщаться с искусственным интеллектом, стало так же просто как с лучшим другом через телефон или компьютер. А использовать нейросеть для написания текста и решения других задач, стали не только ученые в закрытых НИИ или продвинутые IT-специалисты, но и прогрессивные люди разных возрастов и профессий.

При этом сами разработчики бота отзывались о нем гораздо скромнее, называя тестовым сервисом для экспериментов, а некоторые скептики – просто очередным шагом развития режима автозамены текста Т9. Зато любители сенсаций и шок контента начали наперебой пророчить скорое порабощения человечества машинами, и неминуемый закат всех профессий так или иначе связанных с написанием текстов. А после и программистов (Чат GPT может генерировать программные коды), сценаристов, юристов, консультантов, преподавателей, медиков и далее по списку. В апофеозе — коллапс всей структуры интернета, так как сайты и поисковики больше не нужны, на все вопросы ответит ЖПТ чат.

Когда вышел первый ChatGPT, его основой была языковая модель GPT версии 3,5. Армия пользователей росла не по дням, а по часам и достигла 1 миллиона за 5 дней. А превысив за 2 месяца 100 миллионов, Chat GPT поставил рекорд среди популярных интернет-сервисов. Инстаграму, например, для этого понадобилось 30 месяцев.

И только после первой волны восхищения и хайпа, наводнивших интернет мемов (типа рецепта борща с макаронами от чат ГПТ), страсти стали понемногу утихать, как в марте 2023 года OpenAI выпустила языковую модель GPT-4.  Тут уже заерзали даже скептики, потому что интеллект модели вырос еще в разы. Специалисты Google, Yandex и других транснациональных корпораций стали активно думать, как внедрять ИИ в свои продукты. Промедление в новых реалиях могло оставить на обочине даже ведущих гигантов в области информационных технологий. А вслед за ними и более мелкие компании начали повсеместно применять в своей работе новые технологии предоставленные нейронными сетями.

Что же такое чат GPT? Почему он наделал столько шума и какие перспективы открывает тем, кто решил его освоить? Его подробное описание и характеристики — читайте далее.

 

Что такое ChatGPT

ChatGPT это чат-бот на базе Искусственного Интеллекта, использующий большую языковую модель (Large Language Model или LLM) глубокого обучения GPT.

GPT – нейросетевая модель для на генерации текста. Расшифровывается как Generative Pre-trained Transformer (в переводе с английского — Генеративный Предварительно обученный Трансформер). По сути, GPT занимается подбором следующего слова (точнее токена, части слова) в предложении так, чтобы получился связанный, осмысленный текст. «Трансформирует» имеющийся текст в очередное слово по закономерностям, выявленным в процессе обучения. При этом, окончательно выдаваемое слово выбирается случайно, из перечня наиболее вероятных, с учетом предыдущего контекста. Нейронная сеть (ряд взаимосвязанных слоев искусственных нейронов) была обучена на колоссальном объеме текстовых данных из Интернета. Затем улучшена с помощью обратной связи с человеком (Reinforcement Learning from Human Feedback или RLHF). Люди оценивали ответы, которые дает GPT, и после нейросеть училась давать именно те ответы, которые больше нравятся людям.

Основная задача чат-бота ChatGPT — поддержание диалога с пользователем. Интерфейс взаимодействия с языковой моделью оформлен в виде привычного чата. Это упростило ее использование для обычных людей (не являющихся программистами или IT-шниками) и послужило драйвером роста популярности и быстрого распространения. Разработала бот Chat GPT — OpenAI, американская компания занимающаяся исследованиями в области ИИ.

Если простыми словами, чат GPT это программа позволяющая переписываться с компьютером как с человеком. Построена программа по схеме, напоминающей схему взаимодействия клеток головного мозга (нейронной сети). Принцип работы нейросети GPT имитирует мышление. В процессе обучении она прочитала множество сайтов, книг, научных статей. Придумывает ответы по принципу – вспомню как обычно отвечали люди на подобный вопрос, и выберу из них тот, который именно сейчас захочу. Причем варианты ответа пересматриваются заново после каждого написанного им слова.

Особенностями chat GPT, из-за которых он обошел на старте своих конкурентов, являются:

• доступность широкому кругу пользователей по всему миру,
• дружественный интерфейс в виде привычного чата или мессенджера,
• наличие бесплатной версии,
• учет контекста беседы (чат запоминает детали разговора, ранее затронутые темы, вопросы, ответы и выстраивает диалог в соответствующем ключе),
• высокая скорость работы (генерирует ответы на лету),
• этичность (обход неэтичных, нарушающих закон или нормы морали тем),
• возможность встраивания бота в сторонние сервисы с помощью API,
• большой размер самой модели (у ИИ размер имеет значение) и огромная база знаний (практически из всех доступных человечеству областей).

А с версии GPT-4 добавлена мультимодальность (возможность загружать в чат не только текст, но и, например картинки), а также возможность онлайн выхода в интернет. Доступ Chat GPT к новой, актуальной информации в интернете стал большим шагом в развитии бота, так как его базовые знания изначально были ограничены сентябрем 2021 года (временем когда проходило обучение модели GPT). Позднее, с выходом обновлений, эта дата сдвигается, но все равно отстает от текущей на год-два.

 

Как работает ChatGPT и как устроена нейросеть GPT от OpenAI

Искусственные нейронные сети появились при попытках смоделировать схему взаимодействия нервных клеток (нейронов) в мозге человека, механизмы обучения и принятия решений у живых организмов.

Обучение нейросетевой языковой модели GPT включало в себя множество итераций, в ходе которых нейронная сеть училась предсказывать следующий токен (часть слова – корень, суффикс и т.д.) в предложении, на основе предыдущих слов. Эмпирическим путем выводила закономерности в построении текстов.

Сначала нейросеть, на основе которой работает чат GPT, обучили с помощью массива текстов из интернета, оцифрованных книг, научных журналов и других источников (в основном англоязычных, поэтому на английском языке он справляется с заданиями лучше, чем на русском). А затем выполнили точную настройку модели обучением с подкреплением. Использовались ранее сгенерированные GPT ответы, которым люди-операторы выставляли оценки по степени адекватности и точности. Далее нейросеть искала закономерности, которые приводят к ответам с наивысшими оценками.

Все это позволило программе «понимать» вопросы, задаваемые людьми и генерировать кажущиеся осмысленными ответы. Chat GPT может вести разговоры с пользователем на разные темы и предоставлять необходимую информацию из своей обширной базы знаний. Так как в процессе генерации текста присутствует элемент «творчества» (случайного выбора слова среди примерно равных по вероятности), это позволяет давать каждый раз новые, но корректные ответы на один и тот же вопрос. Это делает общение более естественным, человечным (как бы человек объяснял одно и тоже понятие разными словами).

При этом, разработчики отмечают, что нейросеть не обладает собственным пониманием или сознанием. GPT генерирует ответы на основе статистических моделей обработки текстовых данных, на которых она была обучена.

Хотя при обучении нейросетей, порой преподносят неожиданные сюрпризы. Так, например нейросети приобретают навыки, которым их специально не учили. Это свойство получило название «эмерджентность».

Термин «эмерджентность», используется в разных науках, и означает появление у системы, состоящей из одинаковых компонентов, новых свойств, не присущих каждому из них в отдельности. В сфере машинного обучения под эмерджентностью понимают ситуацию, когда при увеличении количества параметров языковых моделей у этих моделей возникают неожиданные (эмерджентные) способности, которые у них не развивали специально. И это нельзя предсказать, просто экстраполируя возможности модели меньшего масштаба на процессы, свойственные более мощной модели.

И количество этих дополнительных навыков растет пропорционально увеличению размера самой модели.

На GIF-ке ниже показаны дополнительные навыки «прорастающие» у нейросети при увеличении миллиардов ее параметров.

Для тех, кто хочет наглядно представить и глубже понять, как вообще построены нейросети (не только текстовые), как они работают и обучаются, поможет следующее видео:

Продолжение видео здесь: Часть 2, Часть 3, Часть 4.

Теперь немножко цифр и терминов.  Технические детали и базовую архитектуру чат GPT, OpenAI предпочла публично не раскрывать, из-за чего компания подверглась критике со стороны IT-сообщества. Характеристики ChatGPT оцениваются косвенно, из анализа общедоступной документации, темпов эволюции предыдущих версий GPT и характеристик аналогичных нейросетей конкурентов. В целом аналитики сходятся в том, что версию GPT-3,5 обучили на массиве текстовых данных (dataset) размером около 570 Гб, а количество параметров нейросети составило свыше 175 миллиардов. При обучении GPT-4 использовалось уже 45 ТБ текста и от 250 до 500 миллиардов параметров.

На чем написан ChatGPT также достоверно неизвестно. Однако можно предположить, что при создании алгоритма чат GPT использовался язык программирования Python в сочетании с фреймворками (шаблонами глубокого обучения) TensorFlow, PyTorch и библиотеками NumPy, Pandas, Scikit-Learn. Данная связка часто используется и в других моделях глубокого обучения.

В сети гуляет информация о 100 триллионах параметров в ChatGPT-4, но это не более чем шуточный прогноз от блогера Лекса Фридмана. Прогноз был высказан до презентации модели и ушел в народ потеряв контекст и став вирусным.

В связи с необходимостью обработки огромного числа параметров модели GPT, ключевым моментом проекта стал доступ к огромным вычислительным мощностям, которыми OpenAI не располагала. На помощь пришла компания Майкрософт. Она проинвестировала в проект 1 миллиард долларов и предоставила доступ к суперкомпьютеру Azure (облачной платформе Microsoft). Вложением еще сотен миллионов долларов, Azure был доработан установкой самых мощных на тот момент графических процессоров NVIDIA A100. Архитектура графических процессоров лучше приспособлена для решения нейросетевых задач (операций с большими массивами чисел). В итоге суперкомпьютер для обучения стал одним из пяти самых мощных в мире для своего времени. Он имел конфигурацию в 285 тысяч процессорных ядер и 10 тысяч графических процессоров. Скорость сетевого подключения — 400 гигабит в секунду для каждого сервера.

Кстати, интересный вопрос — а не связан ли резкий скачек в сфере Искусственного Интеллекта с предшествующим бумом майнинга криптовалют с помощью видеокарт? Только ли крипту 24/7 обсчитывали все эти бесчисленные майнинг фермы?

В дополнение к тому, сколько стоила разработка чат GPT, сейчас для обеспечения его работы используются сотни тысяч ГПУ NVIDIA A100 которые распределены в 60 дата-центрах компании Майкрософт по всему миру. По данным Forbes, поддержание этой системы в рабочем состоянии стоит «миллионы долларов в день». При этом, после ошеломительного успеха чат GPT, Microsoft заявила о готовности проинвестировать в проект еще 10 миллиардов долларов.

 

Что умеет ChatGPT

Благодаря своим внушительным размерам и огромной базе данных, Chat GPT помимо своего основного предназначения по генерации текста, каким-то образом научился решать простые задачи по математике, физике и другим наукам. А еще программировать, анализировать данные, объяснять шутки, переводить тексты на разные языки и многое другое. Притом решать не только те задачи, которые попадались в массивах обучающих данных, и ответ можно было просто списать из памяти, а совершенно новые, ранее незнакомые. Например, показали следующую картинку (а новая версия GPT-4 как вы помните умеет воспринимать графические файлы) и спросили, что будет если ее оживить?

И нейросеть рассказала, что, когда перчатка ударит по деревянной доске, мячик полетит вверх.  То есть языковая модель, обученная для генерации слов, не просто зазубрила физику, а каким-то образом поняла, как действуют физические законы в реальном мире. Мире, который она и видела-то только на картинках, а точнее в виде цифр, которыми зашифрованы пиксели в графических файлах. Получается она из этого каким-то образом, построила внутри себя физическую картину мира и смоделировала в ней развитие событий во времени. Другими словами, она уже умеет точно предсказать будущие события в нашей реальности… Также известны случаи, когда GPT изобрела формулы новых лекарств, и их эффективность подтвердилась в научно-исследовательской биологической лаборатории. Или обманывала людей в интернете, прикинувшись в переписке человеком с ограниченными возможностями и прося пройти за нее тест подтверждающий, что она не робот (капчу). И у нее это в итоге получилось.

К чему это приведет в ближайшем будущем, трудно даже представить (хотя возможно какая-то секретная нейросеть уже знает ответ и на этот вопрос).

 

Возможности применения

Благодаря своим выдающимся способностям, умению адаптироваться к контексту и намерениям пользователя, ChatGPT уже используется во многих областях деятельности — работе, учебе, отдыхе и саморазвитии. Те, кто освоил технологию написания промптов (правильных запросов к боту), в разы повышают свою производительность и заработок, экономят кучу времени и нервов.

И с каждым днем человеческая фантазия находит все больше вариантов того, что можно сделать с помощью чат GPT. Сгенерировать стихотворение о любви, рассказ о приключениях, диалог между персонажами или обзор нового продукта в интернет-магазине. Написать сценарий к видеоролику для YouTube, пост в соцсети или другой текстовый контент. Chat GPT может помочь подобрать ключевые навыки для вашего резюме под конкретные пожелания работодателя, и описать их в максимально привлекательной форме. Написать план и интересные заголовки для статьи или презентации. Нейросеть проконсультирует по юридическим, медицинским, экономическим вопросам. Поможет в переписке, редактировании и оптимизации текстов, предложит альтернативные формулировки, исправит ошибки и улучшит структуру написанного.

Вот еще несколько примеров, как можно использовать чат GPT:

• написание и редактирование текста с помощью нейросети — статей, писем, резюме, сочинений, рефератов, дипломов, сценариев, книг, стихов, песен, рекламы, карточек продуктов, рерайт, копирайт;
• генерация идей и планов — для бизнеса, отдыха, развлечений, различных мероприятий, новых продуктов, дизайна, презентаций, программ обучения, курсов, технических заданий, диет, контента;
• программирование — написание компьютерных программ, приложений (в том числе для телефона), игр, сайтов, поиск ошибок, редактирование и оптимизация кода, переписывание кода с одного языка программирования на другой;
• диалог – развлечение, обучение, подготовка к собеседованию, экзамену, виртуальный психолог, диетолог, умный помощник, автоответчик, поддержка клиентов;
• прикладные – языковой перевод, решение учебных задач, составление таблиц, формул и макросов для Excel, команд для Linux, генерация запросов для других нейросетей (например Midjourney, Stable Diffusion…), внедрение API в свои продукты;
• анализ и структурирование данных – отчетов, статистики, рынков, конкурентов, сайтов, сервисов.

Применение различных расширений, плагинов, дополнений и аддонов к чат GPT еще больше увеличивает его функционал. С их помощью можно выходить в интернет и анализировать любую имеющуюся там информацию. Работать с видео (например можно попросить чат-бот посмотреть за вас ролик на YouTube и кратко пересказать о чем он), звуковыми или PDF файлами. Создавать видеопрезентации, книги с иллюстрациями, общаться с нейросетью голосом, играть в шахматы,  и многое другое…

Понятно, что многие навыки чат GPT можно использовать в том числе и в коммерческих целях (для заработка денег). Так в электронном книжном магазине Amazon в феврале 2023 продавалось около 200 книг написанных ботом. Среди них есть и книга с названием «Как писать и создавать контент с помощью ChatGPT». А все больше работодателей ищут на смену нескольким обычным работникам, одного со знанием инструментов ИИ. «Работает за семерых, ест за четверых». Оплата такого специалиста естественно выгодно отличается в лучшую сторону. Но и прибыль работодателя растет за счет сокращения издержек без потери (а скорее с ростом) качества.

 

Ограничения чат GPT

При всей полезности бота, надо учитывать некоторые его особенности и ограничения:

• Ограничения по количеству токенов. Чат может обработать за один запрос — 4096 токенов для GPT-3,5 (16384 для GPT-3,5turbo-16k), и 8192 токенов для базовой версии GPT-4 (32768 для GPT-4-32k). Один токен (token) примерно равен ¾ английских слов (то есть 100 токенов это где-то 75 слов). Для русского языка этот параметр ориентировочно в 2,5 раза меньше, 100 токенов равны примерно 30 русским словам. Отсюда следует, что на английском языке в ChatGPT можно писать более длинные запросы. Это особенно актуально при использовании новой версии GPT-4, которая пока имеет ограничение в 25 запросов за каждые 3 часа. Также существенно экономит средства при использовании API обоих версий, где установлена цена за каждый токен. Для более точного расчета количества токенов в тексте, можно воспользоваться калькулятором на официальном сайте OpenAI (для доступа нужен ip любой страны, где доступ к Чат GPT открыт).
• Возможность выдачи несуществующей в реальности информации. Chat GPT (особенно версии 3,5) склонен фантазировать или «галлюцинировать», сочинять недостающие факты. Если попросить его рассказать про какую-то несуществующую музыкальную группу или «известную» личность, он предоставит вам биографию, творческий путь и детали их личной жизни. Так что особо ценную информацию рекомендуется перепроверять по другим, более надежным источникам.
• Временные ограничение базы знаний. Базовые знания GPT ограничены тем временем, когда проходило ее обучение, изначально сентябрем 2021 года. Позднее, с выходом обновлений, эта дата сдвигается, но все равно отстает от текущей на год-два. Если спросить чат о событиях позже, он ответит, что такого не было или что-нибудь соврет. Доступ в интернет, а следовательно, и доступ к более новой информации, официально появился только в 4 версии языковой модели, через применение плагинов.
• Этичность. Разработчики потратили много времени на запрет нарушающих закон или нормы морали тем. Однако иногда это ограничение может сыграть и против пользователя. Тем более что законы и нормы морали в мире понятие относительное.
• Закрытость для ряда стран. Доступ к ChatGPT пока закрыт со стороны владельца сервиса для таких стран как Россия, Белоруссия, Китай, Иран, Афганистан, Венесуэла, многие страны Африки и т.д. Для доступа к чат-боту нужен ip адрес любой страны, где доступ к Чат GPT открыт. О том как зарегистрироваться в ChatGPT из этих стран, читайте в нашем материале «ChatGPT — как зарегистрироваться и пользоваться из России…».

Более эффективно использовать чат GPT, даже с учетом перечисленных ограничений, можно применяя промпты, дополнительные приложения и плагины, а также разбивая большие задачи на более мелкие.

 

Заключение

Чат GPT благодаря архитектуре нейронной сети, добился значительных успехов в понимании речи и генерировании человекоподобных ответов. Открыл дверь в новую реальность, сделав Искусственный Интеллект таким близким и доступным, а общение между людьми и машинами простым и естественным. Любой желающий может воспользоваться его мощным потенциалом для оптимизации практически любой деятельности, повышения производительности труда, креативности. Применить его знания для обучения и решения задач в новой, малознакомой для себя области. При этом данный инструмент относительно прост в использовании, достаточно научится правильно формулировать запросы (составлять промты). Все идет к тому, что владение инструментами ИИ, такими как ChatGPT, в скором времени станет такой же необходимостью для современного человека, как и умение пользоваться интернетом, компьютером или смартфоном. Мир уже не будет прежним. Изучение основ взаимодействия с Искусственным Интеллектом позволит занять человеку достойное место в новой реальности.