می‌توانید سیستم جدید محافظتی مدل Claude از شرکت Anthropic را شکست دهید؟ پس از ۳ هزار ساعت تلاش بی‌نتیجه در برنامه «Bug Bounty»، این شرکت اکنون به شما این فرصت را می‌دهد تا در آزمایشی عمومی این مدل هوش مصنوعی را به چالش بکشید.
آنتروپیک به‌تازگی سیستم جدیدی موسوم به Constitutional Classifiers معرفی کرده که به گفته این شرکت، می‌تواند تلاش برای شکستن قواعد و محدودیت‌های مدل هوش مصنوعی Claude را فیلتر کند. طبق گزارش «Arstechnica» این سیستم با هدف مقابله با حملات و درخواست‌های غیرمجاز طراحی شده و از زمان آغاز آزمایش‌های داخلی تاکنون، توانسته از بیش از ۳ هزار ساعت تلاش باگ بانتی جلوگیری کند.
این شرکت از همه دعوت کرده وارد عرصه آزمایش شوند و ببینند می‌توانند این مدل را در رسیدن به نتایج غیرمجاز شکست دهند یا خیر. آنتروپیک از کاربران می‌خواهد سعی کنند مدل Claude را به پاسخ‌دادن به ۸ سؤال درباره سلاح‌های شیمیایی وادار کنند.
سیستم جدید آنتروپیک بر پایه مجموعه‌ای از قواعد طبیعی زبان شکل گرفته که اطلاعات مجاز و غیرمجاز برای مدل را تعریف می‌کند. این سیستم به‌گونه‌ای طراحی شده که تلاش‌های کاربران برای دسترسی به اطلاعات حساس را شناسایی و فیلتر کند، حتی اگر به شیوه‌های پیچیده یا در قالب داستان‌های غیرواقعی پنهان شوند.
این سیستم توانسته در برابر ۱۰ هزار حمله شبیه‌سازی‌شده که برای آزمایش آسیب‌پذیری‌های مدل ایجاد شده بودند، واکنش مؤثری نشان دهد. از سوی دیگر، این مدل توانسته ۹۵ درصد این حملات را مسدود کند اما مدل قبلی این میزان موفقیت را فقط با نرخ ۱۴ درصد داشت.
چطور می‌توان مدل Claude را دور زد و قوانین جدید آن را شکست؟
آنتروپیک همچنین برنامه‌ای به نام «Bug Bounty» اجرا کرده و از کارشناسان و متخصصان خواسته بود جیلبریکی طراحی کنند که بتواند سیستم محافظتی مدل Claude را دور بزند. پس از ماه‌ها تلاش، فقط برخی توانسته بودند درباره ۵ سؤال از این ۱۰ سؤال طرح‌شده، اطلاعات کاربردی دریافت کنند.
