آیا OpenAI به صورت پنهانی به داده‌های Benchmarking دسترسی داشت؟

پیشگفتار: ابهامات در مورد مدل هوش مصنوعی o3

در دنیای رو به رشد هوش مصنوعی، اخبار جدیدی از دسترسی مخفیانه OpenAI به داده‌های Benchmarking تحت عنوان FrontierMath منتشر شده که باعث نگرانی‌هایی در مورد استفاده از این داده‌ها برای آموزش مدل استدلالی o3 شده است. این رویداد باعث طرح پرسش‌های فراوانی در جامعه علمی شده است. آیا نتایج به دست آمده توسط این مدل به دلیل دسترسی به این داده‌ها بوده یا نه؟ این سوالی است که در ادامه به بررسی آن خواهیم پرداخت.

خاستگاه ابهامات

اخیرا مشخص شده است که OpenAI نه تنها به داده‌های Benchmarking FrontierMath دسترسی داشته بلکه در ایجاد آن نیز نقش داشته است. این واقعیت که از نظر ریاضی‌دانانی که در توسعه FrontierMath مشارکت داشتند، مخفی نگاه داشته شده بود، برای اولین بار در مقاله‌ای که در Arxiv.org منتشر شد، افشا گردید. این افشاگری پس از انتشار نسخه نهایی مقاله صورت گرفت و در نسخه‌های قبلی هیچ اشاره‌ای به دخالت OpenAI نشده بود.

تأمین مالی مخفیانه و پیامدهای آن

تأمین مالی این پروژه توسط OpenAI و عدم اطلاع‌رسانی آن به محققان و مشارکت‌کنندگان، سوالات فراوانی را پیرامون شفافیت در تحقیقات هوش مصنوعی برانگیخته است. وابستگی مالی ممکن است تأثیری بر اعتبار نتایج به دست آمده داشته باشد. این رویداد باعث شده تا جامعه علمی نسبت به نتایج اعلام شده توسط مدل o3 بدبینانه نگاه کند و صحت این نتایج را زیر سوال ببرد.

واکنش‌ها و پاسخ‌گویی

شرکت Epoch AI با اعلام شفافیت در مورد آنچه اتفاق افتاده، تلاش کرده است تا نگرانی‌ها را کاهش دهد. آنها تصدیق کرده‌اند که OpenAI به بخشی از داده‌ها دسترسی داشته اما مجموعه‌ای از داده‌ها به نام ‘holdout’ وجود دارد که OpenAI به آنها دسترسی نداشته است. این مجموعه برای ارزیابی مستقل توانمندی‌های مدل استفاده شده است.

• Epoch AI به خاطر عدم شفافیت ابتدا عذرخواهی کرده و تصدیق کرده که باید قراردادها را بهتر مدیریت می‌کرده است.
• آنها تأکید کرده‌اند که OpenAI صادقانه در مورد استفاده نکردن از داده‌ها برای آموزش عمل کرده است.

بررسی‌های آینده و اهمیت داده‌های ‘holdout’

Epoch AI اعلام کرده است که به آزمایش مدل o3 با استفاده از داده‌های ‘holdout’ که OpenAI به آنها دسترسی نداشته، ادامه خواهند داد. این داده‌ها به گونه‌ای انتخاب شده‌اند که اطمینان حاصل شود هیچ استفاده قبلی از آنها برای آموزش مدل نشده است.

تأثیر بر جامعه علمی

برخی از ریاضی‌دانان و پژوهشگران در این زمینه ابراز نگرانی کرده‌اند که دسترسی OpenAI به داده‌ها ممکن است بر روند تحقیقات تاثیر گذاشته و نتایج را تحریف کرده باشد. آنها معتقدند که باید روش‌های شفاف‌تری در این گونه پژوهش‌ها بکار گرفته شود تا اعتماد جامعه علمی حفظ گردد.

نتیجه‌گیری: شفافیت و اعتماد در تحقیقات هوش مصنوعی

اتفاقات اخیر درباره دسترسی مخفیانه OpenAI به داده‌های Benchmarking FrontierMath، اگرچه باعث نگرانی‌هایی شده است اما می‌تواند به عنوان نقطه عطفی برای افزایش شفافیت و اعتماد در تحقیقات هوش مصنوعی به کار رود. جامعه علمی و شرکت‌هایی مانند OpenAI باید در حفظ شفافیت در تحقیقات خود کوشا باشند تا بتوانند از نتایج بدست آمده با اطمینان بیشتری بهره‌برداری کنند. این موضوع اهمیت ایجاد استانداردهایی برای تعاملات شفاف در پژوهش‌های هوش مصنوعی را بیش از پیش آشکار می‌سازد.