
Кто задаёт ценности искусственному интеллекту?
AiСодержание
Когда я спрашиваю ИИ, как настроить межсетевой экран, ответ можно проверить. Можно прочитать документацию, испытать настройку и убедиться, что результат верен.
У других вопросов нет столь ясного критерия. Стоит ли дать сотруднику второй шанс? Оправдана ли определённая слежка? Какой долей личной свободы допустимо пожертвовать ради безопасности?
ИИ может ответить спокойно, понятно и убедительно. Именно поэтому я хочу знать, какими мерками он пользуется. Чьи интересы учитывает? Где проводит границы? И кто решил, что эти границы правильные?
Поэтому в Anthropic и OpenAI меня интересуют не только возможности моделей, но и убеждения и структуры, стоящие за ними. Обе компании создают системы, которым люди должны доверять решения. Их понимание ответственности заслуживает тщательного рассмотрения.
Интересный подход к этой теме предлагает эффективный альтруизм. Сама идея мне близка. Однако некоторые её выводы заставляют меня быть осторожным.
Делать как можно больше добра звучит убедительно
Эффективный альтруизм задаётся вопросом, как с помощью ограниченных денег, времени и навыков принести другим максимальную пользу. Выбирать между возможностями должны помогать исследования и обоснованные аргументы. Движение охватывает разные направления: от глобального здравоохранения и благополучия животных до рисков развитого ИИ.
Мне кажется разумным оценивать помощь по её результату. Добрые намерения сами по себе мало говорят о том, помогли ли кому-то на деле. Тот, кто жертвует деньги или вкладывает годы труда, вправе спросить, не принесло бы другое применение больше пользы.
Сложнее становится при сравнении последствий совершенно разного рода.
Лонгтермизм придаёт особый моральный вес отдалённому будущему. Людей, которые могут жить в нём, следует учитывать в сегодняшних решениях. Отсюда, в частности, возникает довод, что нужно серьёзно относиться к рискам, способным навсегда уничтожить это будущее.
Поначалу и здесь у меня мало возражений. Мы ведь требуем учитывать будущие поколения, когда речь идёт о загрязнении среды или ядерных отходах.
Мой скепсис начинается с достоверности прогнозов. Насколько надёжно мы можем определить, какое сегодняшнее решение улучшит жизнь через несколько веков? Как сравнить доказуемую пользу сегодня с возможностью предотвратить катастрофу в далёком будущем?
Расчёт может быть математически верным и при этом опираться на крайне неопределённые предположения. Если предполагаемая будущая польза достаточно велика, она способна перевесить почти любой нынешний приоритет. Именно здесь я хочу видеть допущения, неопределённости и пределы того, что предлагается оправдывать ожидаемой пользой.
Как идеи превращаются во влияние
Связь с разработкой ИИ можно показать хотя бы на конкретных решениях о финансировании. Open Philanthropy, ныне Coefficient Giving, указала грант OpenAI в размере 30 миллионов долларов за 2017 год. Философские размышления о будущем явно не ограничились книгами и дискуссиями. Они повлияли на то, какие исследования получили поддержку.
Но это не доказывает единую идеологию всех вовлечённых компаний. Грант не объясняет ни каждое последующее деловое решение, ни убеждения всех сотрудников.
Поэтому я разделял бы эффективный альтруизм, лонгтермизм и исследования безопасности ИИ. Можно предупреждать об опасных возможностях ИИ, не разделяя определённой философии будущего. Можно также считать эффективную помощь полезной и критиковать приоритеты отдельных организаций.
Оценивая Anthropic и OpenAI, я прежде всего смотрю на то, что они решают сегодня, какую власть этим осуществляют и как эта власть ограничена.
Anthropic: открыто сформулированные ценности
Anthropic необычайно подробно раскрывает свои намерения относительно Claude. Опубликованная «Конституция» описывает желательные ценности и поведение и, по словам компании, используется при обучении. Она затрагивает, среди прочего, честность, предотвращение вреда и человеческий надзор. Anthropic также признаёт, что реальное поведение Claude может отклоняться от этих целей.
Я ставлю это компании в заслугу. Открытый документ даёт основу для критики. Можно сопоставить с ним ответ и спросить, соблюдает ли Claude собственные правила. Можно оспорить и сами правила.
Однако со словом «конституция» я остаюсь осторожным. Оно подразумевает общественное согласие и совместно легитимированные нормы. Здесь же компания описывает намерения относительно продукта. Это важное раскрытие информации, но оно не даёт общественности обязательного права участвовать в решениях.
Объяснение Anthropic своей роли тоже заслуживает внимания. Компания описывает разработку мощного ИИ как сознательную ставку: если такие системы всё равно появятся, на переднем крае должны работать лаборатории, ориентированные на безопасность.
Я понимаю этот аргумент. Но в нём есть конфликт интересов, который, на мой взгляд, добрые намерения не устраняют. Тот, кто уверен, что действует ответственнее конкурентов, может также решить, что ему необходимо быстрее расти и усиливать влияние.
Поэтому меня интересуют проверяемые условия, ограничивающие эту ставку. Когда Anthropic должна была бы задержать разработку? Какие результаты заставили бы компанию усомниться в собственной стратегии?
Для корпоративного надзора Anthropic создала Long-Term Benefit Trust. Его участники должны быть ограждены от финансовой заинтересованности в компании и с помощью особых прав влиять на состав совета директоров. При представлении этой структуры сама компания назвала её экспериментом.
Я серьёзно отношусь к этой попытке. Но само её существование ещё не доказывает эффективность контроля при конфликте интересов. Опубликованные биржевые документы описывают права Trust, ограничения и процедуры изменения этих прав. Подробности заслуживают большего внимания, чем успокаивающее слово «независимый».
Моя предварительная оценка: Anthropic делает свои ценности конкретными и открытыми для возражений. Это сильная сторона. Для доверия мне нужны также доказательства того, что предусмотренный контроль работает, когда решение о безопасности обходится потерей роста или выручки.
OpenAI: общественная миссия и экономические интересы
В случае OpenAI тоже было бы упрощением смотреть только на коммерческие интересы. Согласно опубликованной структуре, некоммерческая OpenAI Foundation контролирует OpenAI Group, организованную как Public Benefit Corporation. Foundation может назначать и заменять членов совета Group. Кроме того, ей принадлежит доля в капитале Group.
Это значимая структура контроля. Общее утверждение о том, что некоммерческая миссия просто полностью исчезла, не отдаёт ей должного.
При этом я вижу напряжение: если финансовые возможности Foundation выигрывают от коммерческого успеха Group, защитная миссия и интерес к росту могут тесно переплестись. Это не обязательно приводит к плохим решениям. Но становится важно, насколько независимо можно оценить отказ от роста.
OpenAI также публикует правила поведения моделей. Model Spec описывает, в частности, человеческий контроль, честность и предотвращение вреда. Ещё одной целью названа защита компании от правового и репутационного ущерба. OpenAI признаёт, что используемые модели пока не полностью соответствуют спецификации.
Я считаю полезным, что эти разные интересы названы прямо. Компания должна сохранять экономическую и правовую жизнеспособность. Но как пользователь я всё равно хочу понимать, как принимаются решения, когда мой запрос, общественный интерес и интерес поставщика расходятся.
Мой критерий тот же, что и для Anthropic: опубликованные правила ценны. Их практическое выполнение и возможность эффективно оспаривать решения нужно оценивать отдельно.
По одним документам я поэтому не могу составить добросовестный рейтинг «альтруистичности» компаний. Они показывают намерения и структуры. Чтобы судить о последствиях, нужны ещё конкретные решения и проверяемые результаты.
По каким критериям я оценивал бы обе компании
Больше всего меня интересуют ситуации, когда ответственность становится неудобной.
Отложить выпуск модели, хотя конкуренты догоняют. Описать ошибку так, чтобы внешние наблюдатели поняли её масштаб. Дать затронутым людям действенный способ подать жалобу. Предоставить независимым проверяющим достаточно доступа для собственных выводов.
Обеим компаниям я задал бы одинаковые вопросы:
- Какое влияние на общество действительно доказано?
- Какие границы обязательны и кто вправе их менять?
- Кто может остановить рискованное решение?
- Как раскрываются ошибки, контраргументы и конфликты интересов?
- Какие возможности есть у людей, затронутых системой, но не являющихся её клиентами?
Последний вопрос волнует меня особенно. Компания может хорошо относиться к клиентам и при этом принимать решения, последствия которых несут другие. Договор покупки отражает такие интересы лишь частично.
Вопрос ценностей становится практическим
Если помощник лишь предлагает текст, его можно отвергнуть. Как только система с нужными разрешениями отправляет письма, предварительно отбирает заявки или обращается к данным компании, её правила имеют непосредственные последствия.
Философская дискуссия становится вопросом полномочий и ответственности. Вправе ли помощник отказаться от прямого указания? Когда он должен уточнять? Какую информацию может передавать? И кто отвечает, если он неверно понял разрешённую задачу?
Для таких систем я требовал бы технических ограничений: ясных разрешений, отслеживаемых действий и способов остановить или отменить процесс. Хорошо сформулированный свод ценностей может дополнить такой контроль. Доказать его эффективность он не может.
Похожим образом я смотрю и на общественный уровень. Разработчикам нужна свобода создания продуктов. Пользователям нужен выбор. Когда затрагиваются основные права или серьёзный вред третьим лицам, нужны также обязательные правила и независимый надзор. Их устройство должно быть открыто для общественного обсуждения.
Что укрепило бы моё доверие
Я хочу признать, что в Anthropic и OpenAI люди серьёзно работают над полезным и безопасным ИИ. Их опубликованные принципы заслуживают внимательного рассмотрения. Считаю несправедливым объявлять любую заботу о безопасности маркетингом или видеть моральное лицемерие в каждом деловом решении.
Но я также не хочу давать компании кредит доверия только за особенно убедительное описание целей.
В эффективном альтруизме мне нравится требование спрашивать о реальном результате. Этот критерий я применил бы и к самим компаниям ИИ. Какую пользу создают их системы? Какой вред возникает? Какие собственные допущения они исправили? И какую власть готовы подчинить действенному контролю?
Поэтому моя позиция остаётся открытой, но требовательной. Мне не нужна уверенность, что люди за моделью всегда морально правы. Я хочу понимать, как принимаются их решения, иметь возможность возражать и знать, что ошибки имеют последствия для ответственных.
Чем больше решений мы передаём ИИ, тем важнее становятся эти возможности.
До следующего раза,
Джо


