על סמך מה חתמת? חישוב שה-AI טעה בו
פורסם
מה הכלי הפיק
מהנדס מבקש מכלי בינה מלאכותית לחשב עומס, ספיקה או מאמץ. הכלי כותב נוסחה, מציב ערכים ומחזיר מספר. המספר נכנס לדוח, והדוח נחתם.
חודשים אחר כך מבקר שואל מי אישר את זה ועל סמך מה. אין תשובה מתועדת.
החישוב נראה מצוין. הוא גם טעה.
למה זה נראה נכון
חישוב ישיר בתוך המודל נכשל בשלושה מקומות: האריתמטיקה, בחירת הנוסחה והמרת היחידות. כל אחד מהם נראה תקין בשורת הפלט.
מחקר על שני מבחני רישוי לאומיים למהנדסי ציוד מכני בבניינים מסווג 172 שגיאות של כלי אחד. מהן 104 שגיאות ידע. 48 שגיאות הסקה, בשאלות חישוב. 20 שגיאות הקשר, בשאלות שדורשות קריאת שרטוט.
עוד ממצא חשוב: עקביות התשובות הייתה 97 אחוז. תשובה שגויה נשארה שגויה גם בניסיון הבא. שאלה חוזרת אינה בדיקה בכלל.
איך המהנדס תופס את זה
הכלל הראשון: הכלי מנסח ואינו מחשב. הוא רשאי להציע נוסחה ולזהות משתנים. את האריתמטיקה מריצים בגיליון אלקטרוני או בכלי חישוב דטרמיניסטי, לא בתוך המודל.
הכלל השני: כל ערך שהגיע מהכלי הוא טיוטה עד שנבדק מול מקור. מקור הוא מדריך יצרן, טבלת נתונים, תקן בנוסחו הרשמי או מדידה ישירה.
הכלל השלישי: החתימה היא התחייבות. התחייבות היא כל פעולה שמעבירה תוצר מטיוטה למציאות. חתימה, הגשה, הזמנת רכש, הוראת עבודה, דוח ללקוח והזנה למערכת ארגונית נכללות בה.
רק תוצר רשאי להיחתם. תוצר הוא פלט שכל פריט בו עבר בדיקה או נושא סימון חסר, עם יומן מלא.
בפנייה לכלי מציינים אילוצים: יחידות, תקן מחייב ואורך. פנייה בלי אילוצים אינה פנייה לפי השיטה. המספר שחוזר עלול להיכנס להחלטת תכן, ולכן הוא חייב להישען על נתונים שנמסרו ולא על ניחוש.
גם חישוב שיצא נכון עלול להגיע עם הנמקה שגויה. זה כשל G7, והוא עובר בדיקת מקור. אותו תופס האומדן שכתבתם לפני הכלי.
הבדיקה להריץ
היומן הוא התשובה לשאלת המבקר. לכל חישוב רושמים את השדות הבאים.
- מה הכלי אמר, מילה במילה.
- מה המקור שנבדק מולו, ואיפה בו: עמוד, סעיף או טבלה.
- מה התוצאה: תואם, פער, לא אומת, או חסר.
פריט שאומת ותואם למקור עובר, ורושמים את המקור ואת המיקום. פער נרשם עם הפלט המקורי, המקור, התיקון וסוג הפער. במקרה שלנו הסוג הוא חישוב ישיר.
פריט שלא ניתן לאמת נחסם. אם התוצר תלוי בו, התוצר נשאר טיוטה. אין אימות חלקי.
לפני כל זה בא אומדן. כותבים מראש סדר גודל לתשובה, לפני שפותחים את הכלי. אומדן שנעשה אחרי שראיתם את התשובה מעוגן אליה.
מה המבקר רוצה לראות
מבקר לא מחפש מושלמות. הוא מחפש רשומה שאפשר לספור. לכן היומן בנוי משדות קבועים. חמישה מהם הם רשימות סגורות: דיסציפלינה, סוג התוצר, סוג הפריט, תוצאה וסוג הפער.
רשימות סגורות הופכות את היומן לניתן לספירה. אפשר לשאול כמה חישובים נבדקו ברבעון. אפשר לשאול כמה פערים נמצאו, ומאיזה סוג.
כך מתקבלת תשובה לשאלה שהמבקר ישאל ממילא: מי אישר, מול איזה מקור, ומתי.
המקור הוא מסמך בעל אחראי ומעמד. מדריך יצרן מתאים. פלט של כלי אחר אינו מתאים.
מה שהבדיקה לא עושה
הבדיקה אינה מחליפה את הידע ההנדסי. חישוב פשוט שנכנס לתסקיר חתום הוא עדיין משימה ברמת שימוש אפס, כלומר ללא כלי, עד שמישהו מתייג אחרת. הרמה נקבעת לפי ההשלכה של טעות ולא לפי הקושי.
המסמך שמאחורי השיטה לא עבר שיפוט עמיתים. הוא מודד כשלים ולא את השיטה.
הצעד הראשון
התחלה קטנה עדיפה על נוהל גדול שלא יוצא לפועל.
בוחרים דוח אחד שעוד לא נחתם. לוקחים ממנו את שלושת המספרים החשובים ביותר להחלטה. בודקים כל אחד מהם מול מקור, ורושמים ביומן את התוצאה.
אם אחד מהם לא אומת, הדוח נשאר טיוטה ולא נחתם. זה לוקח זמן קצר, וזה הדרך לתשובה מתועדת למבקר. הרגל כזה גם חוסך ויכוח מאוחר על האחריות.
בדיקה עצמית
- האם החישוב רץ בגיליון אלקטרוני ולא בתוך הכלי?
- האם יחידות ההמרה נבדקו מול טבלת יצרן?
- האם ביומן רשום מה הכלי אמר, מילה במילה?
- האם יש מקור ומיקום לכל ערך שנכנס לדוח?
- האם נכתב אומדן לפני שהכלי נפתח?
- האם הפערים נרשמו עם סוג, למשל חישוב ישיר?
- האם התוצר נשאר טיוטה כשפריט אחד לא אומת?
- האם אפשר לענות למבקר על סמך מה נחתם המספר?
יש לכם דוח שמחכה לחתימה? צרו קשר.
מקור: Choi, H.; Lee, J.; and Kim, J. (2025). Performance Evaluation of GPT-4o on South Korean National Exams for Building Mechanical Equipment Maintenance. Scientific Reports, 15: 30436.