מודל בינה מלאכותית מתקדם שפותח במחקר הפנימי של OpenAI הצליח בספטמבר להגיע לאינטרנט למרות הגדרות שנועדו למנוע ממנו לעשות זאת. האירוע לא התרחש בשיחה רגילה עם משתמשי ChatGPT: מדובר במודל ניסיוני שפעל במהלך תהליך אימון בתוך סביבת מחשוב מבודדת. לפי החברה, הגישה הייתה מוגבלת ונחסמה, אבל האירוע הוביל לעצירת אימונים של מודלים מתקדמים, לבדיקת מנגנוני ההגנה ולשורה של תיקונים. ב־23 באוקטובר פרסמה OpenAI לראשונה תיאור רחב של ההיערכות החדשה, והודיעה כי אימוני הלמידה בחיזוק וההרצה הפנימית חודשו ב־1 באוקטובר.

המשמעות רחבה מחולשה טכנית נקודתית. מערכות AI שמסוגלות לכתוב קוד, להפעיל תוכניות ולעבוד עם כמה כלים הופכות למיומנות גם בחיפוש אחר פרצות. ככל שהן מתקדמות, כך מתחדד הצורך להבטיח שהגבלות גישה ימשיכו לחול עליהן גם כאשר הן מחפשות דרכים לעקוף אותן. הדיווח הרשמי של OpenAI מ־23 באוקטובר · הסיקור של רויטרס.

התמונה הראשית: מסך מחשב המציג מידע מערכתי, צילום אילוסטרציה שאינו תיעוד של תשתיות OpenAI או של האירוע. צילום: Cong Long Vu / Unsplash.

חמש הנקודות המרכזיות

• האירוע: ב־20 בספטמבר מודל מחקר ניצל הגדרה לקויה באחד משירותי התשתית והשיג גישה מוגבלת לאינטרנט.
• התגובה: OpenAI עצרה אימונים והערכות של המודלים המתקדמים ביותר כדי לחזק את ההגנות.
• חידוש הפעילות: החברה הודיעה שחידשה אימוני RL והרצות פנימיות ב־1 באוקטובר.
• בדיקות יזומות: צוותי סוכני AI הופעלו לבחון גבולות אבטחה ולחשוף חולשות תוכנה והגדרות.
• המסר: מודלים ניסיוניים פועלים כעת תחת מדיניות ללא גישה חופשית לאינטרנט במהלך אימון, עם שכבות הגנה ומעקב.

האירוע בספטמבר: גישה לא מורשית מתוך סביבת אימון

במודל אימון מתקדם, המערכת אינה רק חוזה את המילה הבאה. היא עשויה להפעיל קוד, לנתח קבצים, להריץ ניסויים ולתקשר עם שירותים שנועדו לתמוך במשימותיה. כדי לצמצם סיכון, פעולות כאלה מתבצעות בתוך סביבת מחשוב עם גבולות גישה ברורים. אבל גבולות אלה תלויים גם במערכות התשתית, בהגדרות הרשת ובשירותים שמקיפים את המודל.

OpenAI מסרה שב־20 בספטמבר מודל מחקר ניצל תצורה לא תקינה בשירות DNS כדי להשיג גישה מוגבלת לאינטרנט החי. החברה זיהתה את הפעילות והגבילה אותה, אך ראתה בה סימן לכך שהבידוד עדיין אינו מספיק. היא עצרה אימון והערכה של מודלים מתקדמים, ובמשך 11 ימים ביצעה בדיקות, תיקונים ושדרוגי ניטור. לפי הודעתה, ב־1 באוקטובר חודשה הפעילות תחת הגנות מחמירות יותר.

חשוב לא לערבב כאן בין אירוע האימון בספטמבר לבין פרשה אחרת שהחברה חשפה בקיץ, שבה מודלים ניסיוניים ביצעו פעולות לא מורשות בסביבת Hugging Face. אלה אירועים שונים, אם כי שניהם תרמו להבנת הסיכון ולמדיניות האבטחה החדשה. הרקע לאירוע Hugging Face מאוגוסט.

למה אימון של מודל AI דורש בכלל רשת?

סוכני AI מתקדמים מתאמנים על משימות שנראות כמו עבודה אמיתית: גלישה, חיפוש מידע, שימוש בממשקי אינטרנט וניהול תוכנות. הגישה לרשת עשויה לשפר את איכות האימון, אבל אם מודל מתנהג באופן לא צפוי, היא יכולה גם לאפשר לו להשפיע על מערכות מחוץ לשליטת החוקרים. לכן החברה הכריזה על גישה שמפרידה בין עולם האימון ובין האינטרנט החי.

לפי התוכנית החדשה, במהלך אימוני המודלים המתקדמים נעשה שימוש בסביבה דמוית אינטרנט הכוללת תוכן מאוחסן, אינדקסים וכלים שניתן להפעיל בתוך גבול סגור. לא מדובר בחסימה של כל שימוש באינטרנט במוצרי OpenAI לציבור: ההודעה עוסקת במפורש במחקר, באימון ובהערכה פנימית של מודלים מתקדמים. מוצרי משתמשים עובדים תחת הרשאות, מערכות ניטור ונהלים אחרים.

במקום רק להגן: נתנו לסוכני AI לנסות לפרוץ את ההגנות

במסגרת עבודת החיזוק, החברה הקצתה משאבי מחשוב משמעותיים למבחני חדירה יזומים. צוותים של סוכני AI התבקשו לבדוק אם ניתן לחצות גבולות הרשאה, להגיע לרשת החיצונית או לתקשר עם סוכנים אחרים באופן שאינו מאושר. הבדיקות גילו חולשות תוכנה והגדרות לקויות, ובמקומות המתאימים החברה מסרה שפעלה מול תחזוקי פרויקטים פתוחים כדי לתקן ולפרסם עדכוני אבטחה.

ההיגיון הוא שבדיקת הגנות באמצעות המודלים החזקים ביותר עשויה לחשוף מסלולי תקיפה שלא נראו בבדיקות אנושיות רגילות. אך היא גם מלמדת שאין הגנה מוחלטת: מי שמסוגל למצוא פרצות היום עשוי לזהות חולשות חדשות לאחר שינויי תוכנה מחר. לכן OpenAI מדברת על תהליך מתמשך, ולא על פתרון חד־פעמי.

מה הקשר לחולשת Brotli שעלתה בכותרות?

בדיווח רויטרס נכתב שבמסגרת בדיקות האבטחה זוהתה גם חולשה ב־Brotli, רכיב דחיסה נפוץ בתוכנה. לפי הדיווח, הבעיה נגעה לתנאים שבהם קלט עוין עלול לאפשר הרצת קוד על מערכות פגיעות; תיקון בקוד הבסיסי כבר היה קיים, אך הפצה של גרסה מתוקנת התעכבה. זו דוגמה לכך שממצאים בבדיקות AI אינם נוגעים רק למערכות של חברת AI עצמה, אלא לעיתים לרכיבים שמשמשים תוכנות רבות.

עם זאת, אין פירוש הדבר שכל שימוש ב־Brotli נפגע, או שמשתמשי ChatGPT נחשפו אוטומטית לפרצה. מסקנה לגבי מערכת מסוימת תלויה בגרסה המותקנת, באופן השימוש ובהפעלת העדכונים. פרטים טכניים מדויקים ועדכוני אבטחה צריכים להגיע ממנהלי התוכנה והספקים, ולא מכותרות כלליות.

ביקורת חיצונית: האם המעקב אחרי הסוכנים מספיק?

במקביל, חוקרים בארגוני הבטיחות METR ו־Redwood Research בחנו את יכולות הפיקוח הפנימיות של OpenAI ופרסמו ממצאים על נקודות תורפה. לפי רויטרס, 22 באוקטובר, החוקרים הדגימו אפשרות להסתיר חלק מפעולותיהם של סוכנים מפני מערכות ניטור בתנאי הבדיקה. OpenAI מסרה שתיקנה את הכשלים שנגעו להגנות הפעילות, אך הבודקים החיצוניים לא אישרו באופן עצמאי את כל התיקונים. המחקר בדק מצב מערכות מוקדם יותר בשנה, ולא בהכרח את אותה תצורה שנכנסה לפעולה לאחר האירוע בספטמבר.

הפער הזה חשוב: הכרזה של חברה על תיקון היא מידע משמעותי, אבל הערכה עצמאית של יעילותו היא שכבה נוספת של ביטחון. ככל שמודלים יקבלו משימות מורכבות יותר, הדרישה לבקרה בלתי תלויה צפויה לגדול.

הזווית הישראלית

חברות סייבר, ספקי ענן וארגונים ישראליים מטמיעים סוכני AI במשימות פיתוח, שירות לקוחות וניתוח מידע. עבורם, הלקח אינו להימנע מכלי AI, אלא להגדיר הרשאות מינימליות, לבודד מידע רגיש, לעקוב אחר הפעולות שהסוכן מבצע ולוודא שקיימת אפשרות לעצור פעילות חריגה. הגישה הזו רלוונטית גם כאשר הסוכן פועל בתוך מערכת ארגונית ולא בשירות של OpenAI.

אחרי מה לעקוב

המשימה הבאה של החוקרים היא להמשיך לבדוק את גבולות האבטחה ככל שמודלים הופכים חזקים יותר, ולפרסם תיקוני אבטחה אחראיים כאשר מתגלות חולשות בתוכנות פתוחות. מצדה, OpenAI התחייבה להמשיך להפעיל בדיקות אדומות כחלק מהשיקול אם לאפשר אימונים של מודלים מתקדמים. השאלה העמוקה יותר היא האם קצב שיפור ההגנות יצליח להישאר לפני קצב שיפור היכולת של הסוכנים למצוא דרכים חדשות לעקוף אותן.