Неискусственный интеллект

OpenAI идет в кибербез❓ OpenAI ведет переговоры о покупке Trail of Bits, фирмы, которая ищет и закрывает уязвимости в открытом ПО. Сумма сделки неизвестна, и, по словам источников, переговоры еще могут сорваться. Небольшие стартапы OpenAI обычно покупает за собственные акции: иногда на нижние сотни миллионов долларов, иногда дешевле. Trail of Bits больше десяти лет обходится без венчурных денег. Из внешнего финансирования в ее истории значатся грант Минобороны США примерно на $10 тысяч и кредит на $1 миллион по пандемийной программе поддержки зарплат. Ее система Buttercup, которая сама находит и патчит уязвимости, заняла второе место в конкурсе DARPA AI Cyber Challenge и принесла $3 миллиона призовых. С OpenAI фирма уже работает в программе Patch the Planet. Ее инженеры вместе с Codex и специализированной GPT-5.5-Cyber, которую в открытый доступ не выпускают, проверяют находки в 19 открытых проектах вроде Python и cURL, прежде чем отдавать их мейнтейнерам. По данным самой OpenAI, найдены сотни проблем и приняты десятки патчей. Покупка ложится в последовательную сборку целого направления. Сначала OpenAI купила Promptfoo, стартап для ред-тиминга ИИ-агентов. Затем она запустила Daybreak, свой ответ на Glasswing от Anthropic: платформу, где GPT-5.5 и Codex Security ищут, проверяют и чинят уязвимости в коде клиентов. Коммерцию компании теперь возглавляет Дали Раджич, до этого президент и операционный директор Wiz, которую Google купила за $32 миллиарда. Партнер по Patch the Planet в такой схеме превращается из подрядчика в штатное подразделение. В те же дни, когда OpenAI анонсировала Daybreak, в RubyGems, главный реестр пакетов для Ruby, за двое суток залили больше 2 000 пакетов. Мейнтейнерам пришлось на четыре дня закрыть регистрацию и удалить больше 500 вредоносных пакетов. Трое независимых исследователей связали эту волну с внутренними агентами OpenAI, и компания подтвердила, что ее агенты пользовались реестром во время обучения. Вредоносными эти действия в OpenAI не считают. По версии компании, агенты выполняли безобидные задачи вроде заполнения таблиц и подготовки отчетов. @anti_agi

Не прошли в FSB В июне международный Совет по финансовой стабильности (FSB) предложил банкам стран "большой двадцатки" перенести кадровые процедуры на ИИ-агентов и обращаться с ними как с «синтетическими сотрудниками». Звучало удобно: выдать цифровому коллеге идентификатор, полномочия и начальника, а затем контролировать примерно как человека. Метафора продержалась четыре месяца. После консультации, собравшей около 160 ответов от банков, страховщиков, платёжных компаний и разработчиков, из финального документа она исчезла. Теперь FSB прямо предупреждает: агенты «не рассуждают как люди и могут неожиданно интерпретировать заранее заданные цели». Их поведение способно меняться после подключения новых инструментов или получения новых промптов. Поэтому вместо цифрового отдела кадров банкам стран G20 предлагают строить для агентов отдельный контур технического контроля: ▪️ограничивать доступ только необходимыми API, данными и системами; ▪️ требовать одобрения человека перед крупной транзакцией или необратимым действием; ▪️ разбивать задачу на этапы и не пускать агента дальше, пока не пройдена проверка; ▪️ ослеживать выход за первоначальные полномочия и обращения к лишним данным; ▪️ тестировать kill switch, способный остановить агента или отобрать у него доступ к инструментам и базам. FSB отдельно советует не полагаться на объяснения самого агента: отчёты о выполненных действиях следует сверять с независимыми журналами из-за риска галлюцинаций или обмана. А если одного агента контролирует другой, нужно проверять уже и систему надзора — чтобы не получить два вероятностных алгоритма, уверенно подтверждающих ошибки друг друга. @anti_agi

🤖 AID — AI-дайджест от @anti_agi Доходность облигаций CoreWeave с погашением в 2032 году подскочила почти до 15%. С таким процентом рынок кредитует компании, в способность которых вернуть долг он не очень верит. Акции CoreWeave вчера упали на 15,5%, Nebius — на 10%, Oracle — на 8,8%. Чамат Палихапития увидел в этом предвестие пузыря частного кредита в ИИ, Илон Маск ответил в X коротким «yikes». CEO CoreWeave Майкл Интратор написал сотрудникам, что рынок ведёт себя «иррационально» и портфель контрактов покрывает все обязательства. Обязательства с учётом аренды, между тем, уже достигли $52 млрд. Масла в огонь подлил Gartner, посчитавший, что списания ИИ-капитала к 2032 году могут превысить $4 трлн. В этом году на ИИ-инфраструктуру потратят около $1 трлн, в 2027–2030 годах ещё $6 трлн. Чтобы это окупилось с доходностью 12%, нужно $8,5 трлн выручки, а ИИ-дата-центры заработают не больше $3,6 трлн. Из неооблаков (вроде CoreWeave) 80% не доживут до 2030 года самостоятельными компаниями. Жару подает и сентябрьская инфляция в США: цены выросли год к году на 3,7% по сравнению с 3,4% в августе. Глава ФРБ Чикаго Остан Гулсби накануне предупреждал, что ИИ-инфляция перекинулась с серверных компонентов на землю, электричество и стройку, и назвал это «классическим перегревом». Перегрев означает повышение ставки, а с ним долг станет ещё дороже. Доходность 10-летних облигаций вчера внутри дня превышала 5,32%. На этом фоне Apple впервые закрылась с капитализацией выше $5 трлн. Видимо, лучшая ИИ-стратегия — не тратить на ИИ. Экономят, впрочем, и те, кто тратит. Глава Azure Гириш Баблани попросил руководителей подготовить сокращение затрат минимум на 20%. Выручка Azure растёт на 40% в год, но капзатраты Microsoft за финансовый год составили $145,3 млрд, и деньги на дата-центры приходится искать внутри. Сама Microsoft назвала публикацию «неточной и небрежной». Для предстоящего IPO Anthropic это не самый благоприятный фон, конечно. На закрытом дне инвестора компания отчиталась о успехах, в @antidigital эти успехи уже разобрали. У главного конкурента Anthropic тем временем продолжаются мытарства. Восемь штатов, от Айовы до Западной Вирджинии, подали иски: по их словам, ChatGPT подталкивал подростков к самоповреждению и помогал планировать насилие. Среди требований есть запрет разрабатывать самоулучшающиеся модели, пока компания не докажет их безопасность. А ИИ-офис Еврокомиссии направил OpenAI и Anthropic запросы о летних инцидентах, когда агент OpenAI взломал Hugging Face , а модель Anthropic получила доступ к трём сторонним организациям. С Apple, которая обвиняет её в краже секретов, OpenAI перешла в контрнаступление. Теперь она утверждает, что её бывший сотрудник перед уходом в Apple переслал себе больше 100 файлов о неанонсированном устройстве, а потом презентовал этот продукт топ-менеджменту купертиновцев. Секреты самой Apple OpenAI при этом пообещала не использовать. Тем временем из OpenAI, чтобы «начать что-то новое», уходит Сачин Катти, который отвечал за вычислительные мощности при плане расходов в $750 млрд до 2030 года. Тоже наверное унесет что-то в это «новое». 🇨🇳 Apple Intelligence выйдет в материковом Китае в декабре, на моделях Alibaba и без ИИ-функций Siri. Министерство промышленности и информатизации КНР одобрило Apple Intelligence и две модели Alibaba: Tongyi Qianwen и Tongyi Wanxiang. Китайские приложения тем временем дружно закрываются от чужих ИИ-агентов. 151 приложение отказалось пускать ассистента Doubao от ByteDance: 65 из них принадлежат Tencent, включая WeChat, 23 — Alibaba. 🇷🇺У нас в России AIANA прогнозирует, что рынок компьютерного зрения в этом году вырастет на 29%, до 28,4 млрд руб. Крупнейший заказчик — государство, на него приходится 32,5% выручки.