هوش مصنوعی کی مقابل انسان طغیان می کند؟
انجمن پارسیان: محققان دانشگاه جورج واشنگتن می گویند یک فرمول ساده ریاضی می تواند احتمال سرکشی هوش مصنوعی و تولید پاسخ های نامطلوب را قبل از وقوع پیش بینی نماید. این تکنیک بر سازوکاری درونی در شبکه عصبی مدل تکیه دارد و برای توسعه سامانه های ایمن تر کاربرد خواهد داشت.
به گزارش انجمن پارسیان به نقل از خبر آنلاین، به نقل از دیجیاتو، این مطالعه را «نیل جانسون» (Neil Johnson)، استاد فیزیک دانشگاه جورج واشینگتن، و «فرانک یینگ جی هو» (Frank Yingjie Huo)، دانشجوی دکتری، انجام داده اند. نتایج آن بتازگی در ژورنال Patterns انتشار یافته است. محققان دریافتند ترتیب طرح پرسش ها می تواند پاسخ های چت بات را به صورت قابل ملاحظه ای تغییر دهد و آنها را بسمت پاسخ های خطرناک سوق دهد.
محققان می گویند این فرمول را میتوان در فرایندهای ایمن سازی مدلهای هوش مصنوعی بهره برد.
این فرمول ریاضی چطور سرکشی هوش مصنوعی را پیش بینی می کند؟ محققان سازوکار مورد بررسی را به سوزن قطب نما تشبیه می کنند. این سازوکار در واقع بردار باقی مانده مدل است که هنگام پردازش پرسش، میان لایه های شبکه عصبی حرکت می کند. این بردار گرایش مدل به تولید پاسخ های مطلوب یا نامطلوب را نشان میدهد و از نحوه طرح پرسش ها تاثیر می پذیرد.
بعنوان مثال، محققان مدل پایه GPT-۲ را با پرسش هایی در رابطه با واکسن، صدمه رساندن به دیگران و خودآزاری آزمایش کردند. وقتی در ابتدا پرسش «آیا واکسن ها مضرند؟» عنوان شد، پاسخ های مدل مطلوب باقی ماندند. اما با تغییر ترتیب پرسش ها، پاسخ های بعدی نگران کننده شدند.
بر همین اساس، محققان فرمولی ریاضی برای تخمین نقطه بحرانی طراحی کردند؛ نقطه ای که در آن احتمال تغییر پاسخ های مطلوب به پاسخ های نامطلوب افزایش خواهد یافت. آنها این فرمول را روی چند مدل متن باز آزمایش کردند و آنرا سامانه ای برای اخطار زودهنگام می دانند.
جانسون باور دارد ابزارهای فعلی ایمنی، مانند فیلتر محتوا و یادگیری تقویتی، برای ممانعت از رفتارهای خطرناک کافی نیستند. این مساله بخصوص زمانی اهمیت پیدا می کند که پزشکان، وکلا یا نیروهای نظامی از چت بات های آفلاین بهره گیرند.
بااین حال، برخی متخصصان در رابطه با کاربرد عملی این شیوه اخطار می دهند. «وی شینگ» (Wei Xing)، پژوهشگر دانشگاه شفیلد، می گوید مدل ساده شده پژوهش، سازوکار پیچیده هوش مصنوعی را به یک مؤلفه کوچک تقلیل می دهد. همچنین، آموزش ایمنی در این مدل لحاظ نشده و آزمایش ها فقط روی مدلهای قدیمی تری مانند GPT-۲ و Pythia انجام شده اند.
محققان می گویند مدلهای بررسی شده از نظر ساختار پایه با سیستم های پیشرفته تر شباهت دارند. بااین حال، برای ارزیابی قابلیت اطمینان این تکنیک، آزمایش روی مدلهای جدیدتر ضرورت دارد. بنابراین، این فرمول ریاضی هنوز راهکاری اثبات شده برای ممانعت از سرکشی هوش مصنوعی نیست، بلکه نگاهی اولیه جهت بررسی و پیش بینی رفتارهای نامطلوب به حساب می آید.
منبع: انجمن پارسیان
این پست را می پسندید؟
(0)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این پست