Лучшие инструменты с ChatGPT для ИБ-специалиста
Любой инструмент можно использовать как во вред, так и во благо. Точно так же с нейросетью. Пока WormGPT помогает хакерам писать убедительные фишинговые письма на разных языках, ChatGPT уже давно и твёрдо стоит на страже кибербеза. Привет! Меня зовут Александр Быков, я создаю облачные ИБ-сервисы в...
[Перевод] Как уговорить Google Bard слить тебе ценные данные
В последнее время у Google Bard появилось несколько мощных обновлений, в том числе Extensions. Extensions позволяют Bard получать доступ к YouTube, искать авиарейсы и отели, а также иметь доступ к личным документам и письмам пользователя. То есть теперь Bard способен читать и анализировать Диск,...
Взламывая ChatGPT: как мы участвовали в хакатоне по атакам на ИИ
Мы поучаствовали в хакатоне от LearnPrompting, посвященном атакам на ChatGPT, и заняли восьмое место среди около четырехсот команд. Если вам интересно, зачем мы провели несколько ночей за взломом чат-бота, как нам пригодился опыт борьбы с фишингом и умеют ли нейросети хранить секреты, — добро...
Атаки на чат-ботов и языковые модели. И как от них защититься
Всем привет! Я – Артем Семенов, занимаюсь тестированием на проникновение и работаю в RTM Group. В этой статье я расскажу об атаках на чат-боты и языковые модели, а также о том, как от них защититься. Чат-боты сегодня буквально повсюду. Наверняка даже ваша бабушка нет-нет, да и вставит в разговор...
Можно ли решить проблему prompt injection?
Недавно я участвовал в вебинаре, посвящённом атаке prompt injection («инъецирование промта»). Вебинар организовала LangChain, в нём участвовали Виллем Пиенаар, Кодзин Осиба (Robust Intelligence), Джонатан Коэн и Кристофер Парисьен (Nvidia Research), а проводил его Харрисон Чейз. Полную часовую...
Применяем «колдовство» prompt injection против Гендальфа
На днях набрёл на интересный проект Gandalf, построенный как платформа для тренировки Prompt Injection для обходов защитных механизмов поверх ChatGPT в игровой форме. Задача — выведать пароли, которые придумал Гендальф. Для этого нужно придумывать нестандартные способы выманить секреты с помощью...