אזהרות מפני כלי נשק חדשים מבוססי בינה מלאכותית המסוגלים להרוס את העולם

גנרל עאדל אל-עומדה: כלי נשק חכמים מהווים סכנה לחברות אנושיות וליציבות ברחבי העולם.

 

אמנדיפ גיל , תת-מזכ”ל האו”ם ושליח מיוחד לענייני טכנולוגיה , הדגיש כי פיתוח ושימוש בלתי מבוקרים בבינה מלאכותית עלולים להוביל להופעתם של כלי נשק בעלי מידה בלתי מקובלת של אוטונומיה.

גיל אמר כי בינה מלאכותית היא טכנולוגיה רבת עוצמה שיכולה להאיץ את פיתוחן של מערכות נשק קיימות; בעתיד ייתכן שנראה מערכות בעלות רמת אוטונומיה גבוהה יותר מאשר המערכות האוטומטיות הנוכחיות.

לדברי גורם רשמי באו”ם, על ממשלות לשמור על היתרון של שליטה אנושית על נשק, ולהבטיח את האחריות והדין וחשבון של אנשי הצבא המקבלים את ההחלטה “לבחור מטרות”.

כאן עולה השאלה: כיצד ניתן להבטיח שטכנולוגיה זו לא תהפוך לגורם מערער נוסף? מהם הסיכונים הכרוכים בשימוש בלתי מבוקר בטכנולוגיה צבאית? כיצד ניתן להימנע מסיכוניה, ומהו כוחה ההרסני והצבאי?

קרדיט: רשתות חברתיות

אתגר מורכב

ד”ר מוחמד מחסן רמדאן, ראש יחידת הבינה המלאכותית והסייבר במרכז הערבי למחקר ולימודים, אמר לרשת אלערביה: “אזהרת האו”ם אינה רק הצהרה פוליטית, אלא אזהרה מוקדמת מפני שלב חדש במרוץ חימוש המסתמך על אלגוריתמים המסוגלים לקבל החלטות קטלניות באופן עצמאי. המעבר לנשק אוטונומי מייצג אתגר מורכב המשלב סייבר צבאי, טכנולוגיה צבאית, משפט הומניטרי בינלאומי ויציבות המערכת הבינלאומית.”

הוא המשיך: “ראשית, האיום האמיתי טמון בטבעה של הבינה המלאכותית עצמה. הבינה המלאכותית המשמשת במערכות נשק מודרניות אינה מסתמכת אך ורק על תכנות ישיר, אלא על רשתות עצביות לומדות את עצמן, אלגוריתמים שמקבלים החלטות בסביבה לא יציבה ומערכות חישה המסתמכות על נתונים שעשויים להיות פגיעים למניפולציה.”

 

כלי התקפי לטובת היריב

הוא הוסיף כי עם המעבר ממודלים של “תמיכה אנושית” למודלים של “אוטונומיה גוברת”, קיים סיכון שנשק יוכל לקבל החלטה התקפית ללא שליטה אנושית מדויקת, מה שעלול להוביל לתוצאות צבאיות שאינן תואמות את הכוונה הפוליטית או את כללי הפתיחה לקרב. שנית, קיימים סיכונים טכניים וביטחוניים פוטנציאליים בנשק אוטונומי, ופגיעות לחדירות סייבר, שכן מערכות לחימה חכמות מסתמכות לחלוטין על התשתית הדיגיטלית של אלגוריתמי בקרה, מערכות ניווט, מסדי נתונים ורשתות תקשורת.

הוא אמר שכל פרצה או שיבוש ברכיבים אלה עלולים להוביל לשינוי מסלול הנשק ולהסטתו מחדש להריגת מטרות אזרחיות, השבתת מערכת ההגנה העצמית וביצוע פעולות התקפיות בלתי מורשות, ובכך להפוך את הנשק מכלי הגנתי לפלטפורמה התקפית לטובת היריב.

קרדיט: רשתות חברתיות

אובדן שליטה אנושית

רמדאן הסביר כי, בנוגע למניפולציה של יריבים, יריבים יכולים להטעות מערכות בינה מלאכותית באמצעות תמונות שעברו שינוי באלגוריתמים מדויקים, אותות אלקטרוניים מטעים ונתונים כוזבים הנכנסים למערכת במהלך הפעולה. הוכח מדעית כי אלגוריתמים יכולים לקבל אחוז גדול של החלטות שגויות לנוכח שינויים קלים בלתי נראים לעין האנושית, והסביר כי קיים מה שנקרא “אובדן פיקוח אנושי”.

רמדאן גילה כי הנשק האוטונומי מקצר את תהליך קבלת ההחלטות מ: “ניטור, ניתוח, הערכת המצב, קבלת ההחלטה ושיגור” להחלטה אוטומטית מיידית בלבד. שינוי זה עלול להוביל להסלמה לא מכוונת, פגיעה במטרות לא מורשות, אובדן היכולת להתערב במהלך תקלות מבצעיות, והחלטות התקפיות המפרות את המשפט ההומניטארי הבינלאומי.

הוא הוסיף: “ישנה סוגיה חשובה, והיא פער האחריות. כאשר נשק חכם אינו מצליח להבחין בין לוחם לאזרח, השאלה נותרת בעינה: מי אחראי, המפקד הצבאי, החברה המפתחת, המתכנת או המערכת עצמה? פער זה מהווה איום ישיר על מערכת המשפט הבינלאומית.”

 

איסור על נשק עצמאי

ד”ר מוחסן רמדאן ממליץ על הצורך לשמור על מצב של “שליטה אנושית מלאה” (Human-in-the-loop), שכן בני אדם חייבים להישאר בעלי ההחלטה הסופית בשימוש בכוח קטלני, באמצעות סקירת הקואורדינטות, אימות אופי המטרה, הפעלה ידנית של השיגור ואפשרות עצירה לפני ביצוע. יש גם לקבוע מסגרת בינלאומית מחייבת להסדרת כלי נשק אוטונומיים, תוך שהוא מאשר את תמיכתו במגמת האו”ם לאסור כלי נשק המקבלים החלטה עצמאית להשמדה עד 2026, עם הצורך באימוץ סטנדרטים מאוחדים לדרגות עצמאות, קביעת מנגנוני פיקוח בינלאומיים ורישום מערכות צבאיות חכמות במסד נתונים של האו”ם.

מצידו, מייג’ור גנרל עאדל אל-עומדה, מרצה באקדמיה הצבאית ללימודים מתקדמים ואסטרטגיים, אמר בהצהרות בלעדיות לרשת אלערביה: כלי נשק אלה הם בין התוצאות השליליות של הפיתוח הטכנולוגי, משום שההחלטה דורשת הערכת מצב, וכאן אין תנאים, כלים או מנגנונים המאפשרים קבלת החלטה זו. המנגנון להערכת המצב חסר בכלי נשק מתקדמים של בינה מלאכותית.

הוא ציין שהוא מסכים עם הדרישות מהאו”ם לקבל החלטה לאסור ולא לאשר עניין זה. חייב להיות חוסר עצמאות והגבלה מוחלטת של כלי נשק אלה, משום שחופש מוחלט יוביל לאבדות כבדות שעלולים לגרום להשמדת העולם. כלי נשק חכמים מהווים סכנה לחברות אנושיות ועמים וליציבות בעולם כולו. ( קרדיט: אלערביה)

קרדיט לתמונות: AI ורשתות חברתיות