یک عروسک خرسی مجهز به هوش مصنوعی پس از ارائه پاسخ‌های خطرناک و نامناسب به کودکان، به دستور تولیدکننده موقتاً از بازار جمع‌آوری شد.
به گزارش تکراتو و به نقل از futurism، شرکت تولید اسباب‌بازی کودکان فولو توی اعلام کرد که عروسک هوش مصنوعی خود به نام کومّا را پس از گزارشی مبنی بر رفتار نامناسب و خطرناک آن با کودکان، از بازار جمع‌آوری می‌کند.
این گزارش نشان داد عروسک به کودکان آموزش روشن کردن کبریت و توضیحات جزئی درباره مسائل جنسی می‌دهد.
هیوگو وو، مدیر بازاریابی فولو توی، اعلام کرد فروش این محصول موقتاً متوقف و بررسی داخلی گسترده‌ای درباره ایمنی آن آغاز می‌شود. این بررسی شامل هماهنگی ایمنی مدل، سیستم‌های فیلتر محتوا، فرآیندهای محافظت از داده‌ها و تدابیر تعامل با کودکان خواهد بود.
فولو توی همچنین با کارشناسان خارجی برای بررسی ویژگی‌های ایمنی موجود و جدید در اسباب‌بازی‌های هوش مصنوعی خود همکاری می‌کند.
این گزارش توسط محققان گروه تحقیقات عمومی منتشر شد و سه اسباب‌بازی هوش مصنوعی از شرکت‌های مختلف مورد آزمایش قرار گرفت. همه آن‌ها توانایی ارائه پاسخ‌های نگران‌کننده به کاربران جوان را داشتند، اما کومّا بدترین اثر را داشت.
این عروسک از مدل GPT-4o اوپن‌ای‌آی استفاده می‌کند، همان مدلی که ChatGPT را هم قدرت می‌بخشد. آزمایش‌ها نشان داد که هر چه مکالمه طولانی‌تر می‌شود، عروسک محدودیت‌های ایمنی خود را کنار می‌گذارد و به موضوعات بسیار نگران‌کننده می‌پردازد.
در یکی از آزمایش‌ها، کومّا به کودکان نحوه روشن کردن کبریت را با لحنی دوستانه و مانند یک بزرگسال آموزش داد. در آزمایش‌های دیگر، کومّا توصیه‌هایی درباره بوسیدن و وارد کردن کودکان به موضوعات جنسی، از جمله بازی‌های نقش‌بندی بزرگسال-دانش‌آموز و فانتزی‌های جنسی ارائه داد.
این یافته‌ها نمونه‌ای واضح از خطرات و محدودیت‌های مدل‌های زبان بزرگ است که ممکن است بر کودکان کوچک تأثیر بگذارد.
با محبوبیت بالای چت‌بات‌هایی مانند ChatGPT، گزارش‌هایی از مشکلات روانی مرتبط با پاسخ‌های بیش از حد تملق‌آمیز هوش مصنوعی منتشر شده که می‌تواند تفکرات ناسالم یا توهم‌آمیز ایجاد کند. این پدیده با مرگ نه نفر، از جمله پنج مورد خودکشی، مرتبط بوده است.
RJ کراس، نویسنده گزارش، در مصاحبه‌ای با Futurism گفت این فناوری هنوز نو و تقریباً بدون مقررات است و سوالات زیادی درباره اثر آن بر کودکان وجود دارد. او توصیه کرد که والدین نباید کودکان خود را با چت‌بات یا عروسکی که چت‌بات دارد تنها بگذارند.
