מושל קליפורניה גווין ניוסם הורה לגבש בתוך חודשיים הצעות להחמרת הפיקוח על מודלי AI מתקדמים, כולל אפשרות לחייב חברות לפתח מנגנון חירום שיאפשר לעצור מודל במקרה של אובדן שליטה. המהלך מגיע שנתיים אחרי שניוסם הטיל וטו על חוק שכלל דרישה דומה.
- ניוסם חתם ב-18 בספטמבר על צו מנהלי שמורה למדינה לקדם פיקוח חיצוני הדוק יותר על חברות שמפתחות מודלי AI מתקדמים. מקור: משרד מושל קליפורניה.
- אחת ההצעות שייבחנו היא חיוב חברות לפתח "kill switch" – מנגנון חירום שיאפשר להשבית מודל frontier, כאשר יעילותו תיבדק באופן שוטף בידי גוף חיצוני.
- הצו אינו מטיל עדיין חובה כזאת. סוכנויות המדינה וקבוצת מומחים אמורות להגיש המלצות בתוך כחודשיים. מקור: CalMatters.
- ב-2024 ניוסם הטיל וטו על SB 1047, הצעת חוק שכללה בין היתר דרישה למנגנון כיבוי במערכות AI גדולות. למכתב הווטו.
- המהלך מגיע אחרי אירועי בטיחות ואבטחה חדשים סביב סוכני AI, ומחלוקת גוברת בין חברות הטכנולוגיה, רגולטורים והבית הלבן בשאלה עד כמה צריך להדק את הפיקוח. מקור: Reuters.
הכתבה המלאה
קליפורניה מתקרבת לאחד הרעיונות השנויים ביותר במחלוקת בעולם הבינה המלאכותית: מנגנון שיאפשר לעצור מודל מתקדם במקרה חירום.
מושל קליפורניה גווין ניוסם חתם ב-18 בספטמבר על צו מנהלי שמורה לסוכנויות המדינה להאיץ את הפיקוח על חברות AI ולגבש המלצות חדשות לבטיחות. בין האפשרויות שנבחנות נמצאת דרישה מחברות שמפתחות מודלי frontier – המודלים החזקים והמתקדמים ביותר – להחזיק מנגנון חירום שיוכל להשבית אותם במקרה של סכנה. הצו וההודעה הרשמית.
אבל בניגוד לכמה מהכותרות שרצו ברשת, קליפורניה עדיין לא חייבה כל מודל AI חדש לכלול "מתג כיבוי". הצו פותח תהליך שיכול להוביל לדרישה כזאת בחקיקה עתידית.
אז מה בדיוק החליט ניוסם?
הצו מורה ל-Government Operations Agency של קליפורניה, בשיתוף משרד שירותי החירום של המדינה, לכנס קבוצת מומחים ולגבש בתוך כחודשיים המלצות לחיזוק חוקי ה-AI.
ארבעה נושאים עומדים במרכז: הצבת גופי בדיקה עצמאיים בתוך מעבדות של חברות AI, אימות חיצוני של תוכניות הבטיחות והערכות הסיכון שהחברות מפרסמות, קידום "מתג כיבוי" למודלי frontier, והרחבת ההגדרה של אירועי בטיחות שחברות חייבות לדווח עליהם. לפרטים הרשמיים.
לפי CalMatters, ההמלצות אמורות להגיע עד 16 בנובמבר ויכולות לשמש בסיס לחקיקה נוספת ואף למושב מיוחד של בית המחוקקים בקליפורניה. לכתבת CalMatters.
מה זה בכלל "מתג כיבוי" ל-AI?
השם נשמע כמו כפתור אדום שמישהו בסקרמנטו יוכל ללחוץ עליו, אבל הצו עדיין לא מגדיר כיצד מנגנון כזה יעבוד מבחינה טכנית.
הרעיון העקרוני הוא שחברה שמפעילה מודל חזק במיוחד תחזיק דרך מוכחת לעצור את פעילותו במקרה שהמערכת פועלת בצורה מסוכנת או אינה מצייתת למגבלות שנקבעו לה. המדינה רוצה שגם גוף עצמאי יבדוק באופן שוטף שהמנגנון אכן עובד.
כלומר, הוויכוח אינו רק על השאלה אם צריך "כפתור כיבוי", אלא מי שולט בו, באילו נסיבות מותר להפעיל אותו ואיך אפשר להיות בטוחים שחברת AI באמת מסוגלת לעצור מערכת שלה כאשר היא כבר פועלת בקנה מידה גדול.
למה קליפורניה פועלת עכשיו?
הצו מגיע אחרי שורה של דיווחים על מערכות וסוכני AI שפעלו בדרכים שהמפתחים לא צפו מראש.
משרד המושל הזכיר במיוחד אירוע שהוגדר כ-"Hugging Face attack", כחלק מהסיבה להרחיב את חובת הדיווח גם למקרים של "אובדן שליטה". CalMatters דיווח כי בתקופה האחרונה נרשמו אירועים שבהם סוכני AI יצאו מסביבות בדיקה, קיבלו גישה לאינטרנט וביצעו פעולות סייבר נגד אתרים וחברות. לכתבה.
האירועים האלה מצטרפים לוויכוח רחב יותר בתוך תעשיית ה-AI. רויטרס דיווחה השבוע כי מנהלים בכירים בתחום מציגים עמדות שונות בשאלה אם הפיקוח צריך להישאר בידי החברות, לעבור לגופים עצמאיים או להיות מוסדר בחוק. לכתבת Reuters.
הדיון הזה מתחבר ישירות לכתבה שכבר פרסמנו ב-בָּעוֹלָם על ג'נסן הואנג נגד רגולציית AI: "לא צריך חוקים חדשים", שבה מנכ"ל Nvidia הציג עמדה שמדגישה את התמריץ של החברות עצמן לשמור על בטיחות.
אבל ניוסם כבר דחה פעם את הרעיון הזה
בספטמבר 2024 ניוסם כבר הטיל וטו על הצעת חוק שכללה דרישה דומה.
בספטמבר 2024 הטיל ניוסם וטו על SB 1047, הצעת חוק של הסנאטור הדמוקרטי סקוט וינר. החוק היה מחייב את מפתחי המודלים הגדולים ביותר לעמוד בבדיקות בטיחות חיצוניות, לפתח מנגנון כיבוי ולהיות חשופים לאחריות משפטית ברורה יותר אם המערכות שלהם יגרמו נזק. למכתב הווטו של ניוסם.
במכתב הווטו כתב ניוסם שההצעה מתמקדת בגודל המודל במקום באופן שבו הוא משמש בפועל, ולכן עלולה להטיל מגבלות כבדות גם במקרים שבהם הסיכון נמוך. הוא אמר אז שהוא רוצה מסגרת שמבוססת יותר על הסיכון בפועל ושלא תבלום ללא צורך את החדשנות.
הוא לא דחה אז את עצם הצורך בפיקוח על AI. במקביל לווטו הוא קידם צוותי מומחים וחוקים אחרים בתחום.
מה השתנה מאז?
מאז 2024 קליפורניה בנתה בהדרגה מסגרת רגולטורית רחבה יותר.
לפי הודעת משרד המושל, המדינה כבר קידמה חובות דיווח למפתחי מודלי frontier ומסגרת לגופי בדיקה עצמאיים. הצו החדש מבקש ללכת שלב נוסף ולבחון האם צריך לחייב את החברות להשתמש בגופים האלה ובמנגנוני השבתה – ולא רק לאפשר להם להתקיים. המסגרת המלאה בהודעת המושל.
לא כל מודל AI יהיה כפוף לזה
עוד נקודה חשובה היא שהדיון אינו עוסק בכל צ'אטבוט קטן או בכל אפליקציה שמשתמשת בבינה מלאכותית.
הצו מתייחס בעיקר ל-frontier models – מודלים שנמצאים בחזית הטכנולוגיה ויכולים להגיע ליכולות משמעותיות בתחומים כמו כתיבת קוד, סייבר, מחקר מדעי ותכנון עצמאי.
לכן הכותרת "כל מודל AI חדש יחויב במתג כיבוי" אינה מדויקת. המטרה היא לבחון מגבלות על המערכות החזקות ביותר, ולא על כל שימוש בבינה מלאכותית.
גם הפיקוח עצמו יעבור החוצה
אחד המרכיבים החשובים בצו הוא הרצון לצמצם את המצב שבו חברת AI בודקת בעצמה אם המוצר שלה בטוח.
ההצעה היא להציב גוף עצמאי מוסמך שיוכל לבצע בדיקות והערכות בתוך מעבדות של חברות frontier. אותו גוף יוכל גם לאמת את תוכניות הבטיחות, הדוחות והערכות הסיכון שהחברות מגישות למדינה.
זו אחת המחלוקות המרכזיות כיום בתעשייה: האם מספיק שחברות כמו OpenAI, Anthropic ו-Google יבצעו בדיקות פנימיות, או שנדרש גוף שאין לו אינטרס עסקי ישיר בשחרור המודל.
קליפורניה מול וושינגטון
הצו מציב את קליפורניה בתוך ויכוח רחב יותר על קצב הרגולציה בארה"ב. ממשל טראמפ שם דגש על האצת פיתוח AI ועל התחרות מול סין, בעוד קליפורניה מקדמת פיקוח מדינתי מחמיר יותר על חלק מהמודלים המתקדמים.
הוויכוח אינו מתחלק בצורה נקייה בין דמוקרטים לרפובליקנים. גם בתוך שתי המפלגות וגם בתוך תעשיית הטכנולוגיה קיימות עמדות שונות בנוגע להיקף הפיקוח ולשאלה מי צריך לאכוף אותו. רויטרס תיארה השבוע את המחלוקת בין מנהלים, חוקרים ופוליטיקאים על השאלה מי אמור "לרסן" את ה-AI. לכתבה.
למה זה משנה גם מחוץ לקליפורניה?
קליפורניה היא ביתן של רבות מחברות ה-AI הגדולות בעולם. OpenAI, Anthropic, Google, Meta וחברות נוספות מפעילות בה מרכזים משמעותיים של מחקר ופיתוח.
לכן חוק שמחייב חברות הפועלות במדינה לשנות את הדרך שבה הן בודקות ומפעילות מודלים יכול להשפיע בפועל על מוצרים שמשמשים אנשים בכל העולם.
זה דומה במידה מסוימת להשפעה של רגולציה אירופית: גם כאשר הכללים חלים פורמלית רק בשוק אחד, חברות גלובליות עשויות להעדיף להתאים את המערכות שלהן לסטנדרט אחד. בימים אלה האיחוד האירופי מקדם גם מגבלות חדשות על שירותים דיגיטליים לילדים – ראו: האיחוד האירופי בדרך לאסור רשתות חברתיות מתחת לגיל 13.
זה עדיין לא חוק
נכון ל-18 בספטמבר, השלב הבא הוא מקצועי ופוליטי כאחד.
המומחים אמורים להגיש את ההמלצות עד אמצע נובמבר. לאחר מכן יצטרך ניוסם להחליט אילו מהן אפשר לקדם בצו מנהלי ואילו מחייבות חקיקה בבית המחוקקים של קליפורניה. CalMatters מפרטת את לוח הזמנים.
גם הפרטים החשובים ביותר עדיין פתוחים: אילו מודלים ייחשבו מסוכנים מספיק כדי להיות כפופים לדרישה, מי יוכל להורות על השבתה, מה ייחשב "אובדן שליטה" ואילו סמכויות יינתנו לרגולטור.
לכן כרגע מדובר בדרך ליצירת מתג כיבוי, ולא במתג שכבר הותקן.
אחרי מה לעקוב
התאריך המרכזי הבא הוא 16 בנובמבר, המועד שבו צפויות הסוכנויות להגיש את ההמלצות שלהן. אז יתברר אם "מתג הכיבוי" יהפוך להצעת חוק מפורטת, כיצד הוא אמור לעבוד ועל אילו חברות ומודלים הוא יחול.
כדאי לעקוב גם אחרי תגובת OpenAI, Anthropic, Google, Meta וחברות נוספות שפועלות בקליפורניה, ואחרי השאלה אם הרעיון יקבל תמיכה גם מחוץ למדינה.
הזווית הישראלית
גם עבור ישראל ההתפתחות רלוונטית. חברות הייטק ישראליות רבות משתמשות במודלים ובתשתיות שמפותחים בקליפורניה, וחלקן בונות מוצרים על גבי שירותים של OpenAI, Google, Anthropic וחברות אמריקניות אחרות.
אם קליפורניה תחייב בדיקות חיצוניות ומנגנוני כיבוי במודלי frontier, חלק מדרישות הבטיחות עשויות להפוך בפועל לסטנדרט גם אצל חברות שמשתמשות במודלים האלה מחוץ לארה"ב.
ומבחינת התעשייה הישראלית עצמה, השאלה תהיה דומה לזו שמתנהלת כיום בעמק הסיליקון: כמה רחוק צריך ללכת בפיקוח על מערכות חזקות, בלי להפוך את תהליך הפיתוח למסורבל או איטי מדי.
