Как защитить бизнес при внедрении LLM (часть 1)
Новый мир с LLM — прекрасен! Нам, инженерам, он открывает много перспектив. А тем, кто его незаконно использует — предоставляет новые страшные инструменты. Как же защитить свой бизнес от угроз нейросетей? Меня зовут Евгений Кокуйкин и я — руководитель AI продуктов компании Raft. Занимаюсь...
Можно ли получить «опасный» ответ от GPT-4 и как защищаться от Token Smuggling
Мы продолжаем рассказывать вам о уязвимостях LLM. На этот раз давайте поговорим о авторегрессионных моделях и “Token Smuggling”, а также посмотрим, сможет ли GPT-4 выдать нам ответы на опасные вопросы. Узнать больше...
Способы атаки на ИИ (Claude & ChatGPT): floating attention window attack
Хакеры придумывают всё более изощренные способы атаки на искусственный интеллект. Один из наиболее интересных — это атака «плавающего окна внимания»: злоумышленники манипулируют контекстом диалога с ИИ, подталкивая его к опасным выводам и смещению фокуса. Чрезвычайно тонкий подход, позволяющий...
Лучшие инструменты с ChatGPT для ИБ-специалиста
Любой инструмент можно использовать как во вред, так и во благо. Точно так же с нейросетью. Пока WormGPT помогает хакерам писать убедительные фишинговые письма на разных языках, ChatGPT уже давно и твёрдо стоит на страже кибербеза. Привет! Меня зовут Александр Быков, я создаю облачные ИБ-сервисы в...
[Перевод] Как уговорить Google Bard слить тебе ценные данные
В последнее время у Google Bard появилось несколько мощных обновлений, в том числе Extensions. Extensions позволяют Bard получать доступ к YouTube, искать авиарейсы и отели, а также иметь доступ к личным документам и письмам пользователя. То есть теперь Bard способен читать и анализировать Диск,...
Взламывая ChatGPT: как мы участвовали в хакатоне по атакам на ИИ
Мы поучаствовали в хакатоне от LearnPrompting, посвященном атакам на ChatGPT, и заняли восьмое место среди около четырехсот команд. Если вам интересно, зачем мы провели несколько ночей за взломом чат-бота, как нам пригодился опыт борьбы с фишингом и умеют ли нейросети хранить секреты, — добро...
Атаки на чат-ботов и языковые модели. И как от них защититься
Всем привет! Я – Артем Семенов, занимаюсь тестированием на проникновение и работаю в RTM Group. В этой статье я расскажу об атаках на чат-боты и языковые модели, а также о том, как от них защититься. Чат-боты сегодня буквально повсюду. Наверняка даже ваша бабушка нет-нет, да и вставит в разговор...
Можно ли решить проблему prompt injection?
Недавно я участвовал в вебинаре, посвящённом атаке prompt injection («инъецирование промта»). Вебинар организовала LangChain, в нём участвовали Виллем Пиенаар, Кодзин Осиба (Robust Intelligence), Джонатан Коэн и Кристофер Парисьен (Nvidia Research), а проводил его Харрисон Чейз. Полную часовую...
Применяем «колдовство» prompt injection против Гендальфа
На днях набрёл на интересный проект Gandalf, построенный как платформа для тренировки Prompt Injection для обходов защитных механизмов поверх ChatGPT в игровой форме. Задача — выведать пароли, которые придумал Гендальф. Для этого нужно придумывать нестандартные способы выманить секреты с помощью...