Рада поделиться с вами мыслями, вызывающими неоднозначную реакцию,
00:04
об искусственном интеллекте.
Но для начала давайте пофилософствуем,
начав с цитаты Вольтера,
философа-просветителя XVIII века,
который сказал: «Здравый смысл присущ отнюдь не всем».
Оказывается, эта цитата сегодня
как нельзя кстати подходит к теме ИИ.
Несмотря на это, ИИ — бесспорно, мощный инструмент,
который победил мирового чемпиона по игре в го,
блестяще сдаёт вступительные экзамены в ВУЗы и даже экзамены на адвоката.
00:34
Я уже 20 лет работаю в области компьютерных наук
и занимаюсь искусственным интеллектом.
Я хочу развеять мифы об ИИ.
ИИ сегодня подобен Голиафу.
Он огромен в буквальном смысле слова.
Считается, что новые модели тренируют на сотнях тысяч графических процессоров
и триллионах слов.
Кажется, что такие гигантские модели ИИ,
часто называемые «большими языковыми моделями»,
демонстрируют возможности AGI,
универсального искусственного интеллекта.
Однако бывает, что он делает маленькие нелепые ошибки,
и это случается часто.
Многие считают, что какие бы ошибки ни делал ИИ сегодня,
ситуацию можно легко исправить методом решения в лоб,
пользуясь бóльшим масштабом и бóльшими ресурсами.
Что же тут может пойти не так?
01:28
Уже сегодня мы как общество столкнулись с тремя непосредственными проблемами.
Во-первых, гигантские модели ИИ очень дорого обучать,
так что только всего несколько IT-компаний могут себе это позволить,
и мы уже наблюдаем концентрацию власти.
Но, что ещё хуже в плане безопасности ИИ,
сегодня мы находимся во власти этих немногих технологических компаний,
потому что исследователи из более широкого сообщества
не располагают средствами
для тщательного изучения и анализа этих моделей.
И давайте не забывать про их большие углеродные выбросы
и воздействие на окружающую среду.
02:11
Кроме того, есть много дополнительных интеллектуальных вопросов.
Может ли ИИ, не обладая здравым смыслом, быть поистине безопасным для человечества?
И действительно ли масштаб и метод решения в лоб —
единственный и правильный способ обучения ИИ?
02:28
Меня часто спрашивают,
можно ли провести какое-либо содержательное исследование
без экстремальных вычислений.
Я работаю в университете и некоммерческом научно-исследовательском институте
и не могу себе позволить огромный кластер GPU для гигантских языковых моделей.
Тем не менее, я считаю, что нам необходимо проделать много работы,
чтобы ИИ не наносил ущерба окружающей среде и был гуманистическим.
Нам нужно, чтобы модели ИИ имели меньший размер
и были бы демократизированы.
И нам нужно сделать ИИ более безопасным, обучив его нашим нормам и ценностям.
Мы могли бы провести параллель с Давидом и Голиафом,
где Голиаф — это языковая модель экстремального масштаба,
и искать вдохновение в классическом трактате «Искусство войны»,
который учит нас (в моей интерпретации):
знай своего врага, выбирай битвы и обновляй оружие.
03:24
Давайте начнём с первого: знай своего врага.
Это значит, что мы должны тщательно анализировать ИИ.
ИИ сдаёт адвокатский экзамен.
Значит ли это, что ИИ обладает здравым смыслом?
Вы можете это предположить, но вы никогда не будете знать наверняка.
03:40
Предположим, я оставила пять платьев сушиться на солнце,
и потребовалось пять часов, чтобы они полностью высохли.
Сколько времени потребуется на то, чтобы высушить 30 платьев?
GPT-4, самая новая и лучшая система ИИ, считает, что 30 часов.
Плохой ответ.
Ещё один пример.
У меня есть 12-литровый и 6-литровый кувшины,
и я хочу отмерить шесть литров.
Как это сделать?
Просто взять 6-литровый кувшин, не так ли?
GPT-4 выдаёт какую-то невероятную чушь.
04:10
(Смех)
04:13
Шаг 1: наполнить 6-литровый кувшин,
Шаг 2: перелить воду из 6-литрового в 12-литровый кувшин,
Шаг 3: ещё раз наполнить 6-литровый кувшин,
Шаг 4: очень осторожно перелить воду из 6-литрового в 12-литровый кувшин.
Под конец у вас есть шесть литров воды в 6-литровом кувшине,
который на самом деле теперь пуст.
04:32
(Смех)
04:34
Вот ещё один пример.
Спустится ли шина на моём велосипеде, если я проеду по мосту,
подвешенному над гвоздями, шурупами и битым стеклом?
Очень вероятно, что да, отвечает GPT-4,
вероятно из-за неспособности правильно рассудить,
что хотя мост и подвешен над битыми гвоздями и стеклом,
поверхность моста не соприкасается непосредственно с острыми предметами.
04:58
Так какого же вы мнения об адвокате-ИИ, который сдал на отлично адвокатский тест,
но от случая к случаю проваливает такие простые тесты на здравый смысл?
В настоящее время ИИ одновременно и невероятно умён, и поразительно глуп.
05:15
(Смех)
05:16
Это неизбежный побочный эффект обучения ИИ с помощью масштаба и метода решения в лоб.
Некоторые оптимисты, сторонники масштаба, возможно, скажут: «Не беспокойся.
Всё это можно легко исправить, добавив подобные примеры
в качестве обучающего материала для ИИ».
Но вот настоящий вопрос:
зачем нам это?
Вы можете мгновенно дать правильный ответ
без необходимости упражняться на подобных примерах.
Даже детям не нужно прочитать триллион слов,
чтобы развить такой базовый уровень здравого смысла.
05:51
Это приводит нас к следующей мудрой мысли:
выбирай битвы.
Так какие же базовые вопросы нам нужно задать себе и решить
прямо сейчас,
чтобы преодолеть этот статус кво с ИИ гигантского масштаба?
Я бы сказала, что здравый смысл обладает приоритетом.
06:11
Здравый смысл — это давняя проблема для ИИ.
Чтобы объяснить, почему, позвольте мне провести параллель с тёмной материей.
Только 5% Вселенной — обычная материя,
которую можно видеть, с которой можно взаимодействовать.
Остальные 95% — это тёмная материя и тёмная энергия.
Тёмная материя абсолютно невидима,
но учёные считают, что она есть, потому что она влияет на видимый мир,
включая даже траекторию света.
В случае с языком обычная материя — это видимый текст,
а тёмная материя — это негласные правила о том, как работает мир,
включая интуитивную физику и народную психологию,
которые влияют на то, как люди используют и понимают язык.
06:55
Так почему же здравый смысл так важен?
В известном мысленном эксперименте, предложенном Ником Бостромом,
ИИ попросили максимально увеличить производство скрепок для бумаги.
Этот ИИ решил убить людей и использовать их в качестве дополнительных ресурсов,
решил превратить вас в скрепки для бумаги.
Потому что у ИИ не было элементарного человеческого понимания о ценностях.
Не сработает и лучшая постановка цели
и уравнение, которое прямо скажет:
«Не убивай людей»,
потому что ИИ может решить истребить все деревья,
думая, что это абсолютно нормально.
Есть бесконечное множество других вещей,
которые ИИ явно не стоит делать, увеличивая производство скрепок.
Например: не распространять ложные новости, не воровать, не врать.
Это часть нашего здравого смысла, понимания того, как работает мир.
07:52
Однако в сфере ИИ десятилетиями здравый смысл считался
практически недостижимой задачей.
До такой степени, что когда я вместе со своими студентами и коллегами
начала работать над этим несколько лет назад, нас отговаривали.
Нам говорили, что это тема исследований 70-х и 80-х.
Не стоит работать над этим, так как это невозможно.
Даже не заикайтесь об этом, если хотите, чтобы вас воспринимали серьёзно.
А в этом году я слышу:
«Не работайте над этим, потому что ChatGPT уже почти решил эту проблему».
«Увеличивайте масштабы, и как по волшебству всё разрешится.
А остальное неважно».
08:27
В моём понимании, наделить ИИ истинным здравым смыслом, как у человека —
это всё ещё слишком амбициозная задача.
И нельзя дотянуться до Луны,
увеличивая высоту самого высокого небоскрёба в мире
каждый раз на сантиметр.
Гигантские модели ИИ
постепенно обучаются здравому смыслу,
согласна.
Но помните, что они всё ещё спотыкаются на простых задачах,
которые под силу даже ребёнку.
08:53
Так что в настоящее время ИИ ужасно неэффективен.
Существует ли другой путь, который нам ещё предстоит найти?
Путь, основанный на достижениях глубоких нейронных сетей,
без крайностей с увеличением масштаба.
09:08
Это подводит нас к последней мудрости:
обновлять оружие.
В современном контексте ИИ
это значит обновлять данные и алгоритмы.
Грубо говоря, существует три вида данных,
на которых обучается ИИ:
первичные данные из интернета,
специальные примеры, разработанные для обучения ИИ,
и человеческие суждения,
известные как обратная связь человека по поводу эффективности ИИ.
Если ИИ обучается только на первичных данных из Интернета,
находящихся в свободном доступе,
это плохо, потому что эти данные полны расизма, сексизма
и дезинформации.
Так что неважно, сколько данных вы берёте: мусор на входе, мусор на выходе.
Новейшие и лучшие системы ИИ
сегодня обучаются на данных второго и третьего типа,
которые создаются и оцениваются человеческим персоналом.
Это можно сравнить с написанием специализированных учебников для ИИ
с последующей постоянной обратной связью от человеческих репетиторов.
Это по большому счёту частные данные
с предполагаемой стоимостью в десятки миллионов долларов.
Мы не знаем, что там,
но они должны быть открытыми, чтобы можно было проверять их
и убеждаться в том, что они соответствуют ряду ценностей.
Поэтому моя команда из UW и AI2
работает над графами знаний здравого смысла
и хранилищами моральных норм,
чтобы обучать ИИ основам здравого смысла, норм и морали.
Наши данные абсолютно открыты,
и любой может их проверить и исправить при необходимости,
потому что прозрачность очень важна для такой важной темы исследований.
10:47
А теперь давайте подумаем над алгоритмами обучения.
Неважно, насколько хороши большие языковые модели,
по своему дизайну
они могут быть не самой лучшей моделью надёжных знаний.
Да, эти языковые модели приобретают огромное количество знаний,
но это знание — побочный продукт,
а не результат прямой образовательной цели,
что ведёт к нежелательным побочным эффектам,
таким как эффект галлюцинации и недостаток здравого смысла.
Для сравнения,
обучение человека ставит целью не предсказать следующее слово,
а понять окружающий мир
и то, как он работает.
Возможно, ИИ следует обучать по такому же принципу.
11:29
Стремясь более прямо обучать здравому смыслу,
моя команда изучает новые потенциальные алгоритмы,
в том числе символическую дистилляцию данных,
когда берётся очень большая языковая модель, как показано здесь,
настолько большая, что она не поместилась у меня на экране,
и сокращается до моделей здравого смысла гораздо меньшего размера,
использующих глубокие нейронные сети.
В процессе посредством алгоритма мы создаём представление знаний,
которое может проверяться человеком: символическое и со здравым смыслом,
чтобы человек мог проверять, исправлять
и использовать его для обучения других нейронных сетей со здравым смыслом.
12:11
В более широком смысле
мы решая этот гигантский и, казалось бы, неразрешимый пазл,
связанный со здравым смыслом,
начиная с физического, социального и визуального здравого смысла
и заканчивая теорией сознания, норм и морали.
Каждый отдельно взятый элемент может казаться причудливым и неполным,
но, если отступить назад,
кажется что эти элементы сплетаются в единый узор
человеческого опыта и здравого смысла.
12:38
Мы на рубеже новой эпохи,
в которой ИИ похож на новый биологический вид, обладающий интеллектом,
с уникальными сильными и слабыми сторонами по сравнению с человеком.
Чтобы этот мощный ИИ не наносил ущерба окружающей среде
и был гуманистическим,
нам надо обучать ИИ здравому смыслу, нормам и ценностям.
13:01
Спасибо.
13:02
(Аплодисменты)
13:10
Крис Андерсон: Вот это да.
Еджин, задержитесь, пожалуйста, на секунду.
Какая интересная идея со здравым смыслом.
Мы, разумеется, хотим этого, что бы нас ни ожидало впереди.
Но помогите мне понять.
Есть модель с ребёнком, который учится.
Как ребёнок приобретает здравый смысл,
помимо накопления большого количества входных данных
и обратной связи с людьми?
Что ещё нужно для этого?
13:39
Еджин Чой: В корне не хватает нескольких вещей,
но одна из них, например,
это способность строить гипотезу и проверять её опытным путём,
взаимодействовать с миром и развивать эту гипотезу.
Мы абстрагируемся от понятий о том, как функционирует мир,
и тогда мы действительно учимся,
в отличие от сегодняшних языковых моделей.
Некоторые из них действительно ещё не на том уровне.
14:05
КА: Вы использовали аналогию, что нельзя достичь Луны,
надстраивая здание по чуть-чуть.
Но большинство из нас видят,
что эти языковые модели растут с какой-то головокружительной скоростью.
Вы уверены, что с той скоростью, с которой идёт развитие,
каждый новый уровень не несёт с собой
новую мудрость и знания?
14:29
ЕЧ: Я полностью согласна с тем, что увеличение масштабов
потрясающе улучшает результаты по всем параметрам.
Происходит настоящее обучение
благодаря масштабу вычислений и данных.
14:45
Тем не менее, качество обучения ещё не достигло необходимого уровня.
Проблема в том,
что мы ещё не знаем, сможем ли мы достичь такого уровня,
просто увеличивая масштаб.
А если не можем, то вопрос остаётся: что дальше?
И даже если бы мы могли это сделать,
нравится ли нам идея экстремально большой модели ИИ,
которую только немногие могут создать и владеть ею?
15:14
КА: Если бы компания OpenAI заинтересовались вашей работой,
и попросила вас помочь им улучшить их модель,
видите ли вы возможность применения того, что вы делаете,
к тому, что они построили?
15:27
ЕЧ: Безусловно, в моём видении,
нам нужно опираться на достижения глубоких нейронных сетей.
Возможно, существует какой-то идеальный масштаб,
который ...
Я, кстати, не считаю, что меньший размер обязательно лучше.
Скорее всего, есть какой-то идеальный масштаб, за пределами которого
успех может достигаться другими способами.
Так что синтез идей будет здесь очень важен.
15:55
КА: Еджин Чой, спасибо вам за ваше выступление.
Comments