דילוג לתוכן המרכזי
בית הספר לשיפוט הנדסישער האימותשיחת מיפוי, בלי עלות
וואטסאפ058-4887876
שיחת מיפוי, בלי עלות

כל המאמרים

הסבר נכון-שגוי: תשובה נכונה עם הנמקה שגויה של AI

פורסם

המספר נכון, הנימוק שגוי, ובדיקת מקור עוברת. מה שתופס את זה הוא נימוק שכתבתם לפני שפתחתם את הכלי.

כשכלי נותן תוצאה נכונה עם הנמקה שגויה, בדיקה מול מקור עוברת והטעות נשארת אצל המהנדס. מה שתופס אותה הוא נימוק שכתבתם בעצמכם לפני שפתחתם את הכלי. זה סוג הכשל G7, הסבר נכון-שגוי.

זה הסוג היחיד מתוך שבעה שבדיקה מול מקור לא תוכננה לתפוס. הוא גם נשען על תצפית שדה בלבד, וטרם נמדד. שני הדברים האלה קובעים איך לעבוד איתו.

למה הבדיקה לא רואה אותו

בדיקה מול מקור שואלת שאלה אחת: האם הערך בפלט תואם לערך במקור. כאן הוא תואם. לפי כלל ההחלטה, פריט שתואם למקור עובר. הבדיקה עשתה את מה שביקשתם ממנה.

השער הוא הבקרה הראשית לשישה מתוך שבעת סוגי הכשל. G7 הוא החריג. תשובה נכונה עם הנמקה שגויה עוברת בדיקת מקור, ואותה תופסים במקום אחר.

הנזק לא נרשם ביום שבו זה קרה. התוצר של אותו יום נכון. המהנדס סופג הנמקה שגויה שנראית תקינה, ומביא אותה להחלטה הבאה. שם התנאים כבר שונים, והנימוק לא מחזיק.

דוגמה להמחשה

הדוגמה בנויה להמחשה, ואינה מקרה שנמדד.

טכנאי שואל אם צריך להחליף מסנן ביחידת מיזוג. הכלי עונה: כן, כי המסנן עבר את חיי השירות שלו. במדריך של היחידה הקריטריון הוא הפרש הלחץ על המסנן. הפרש הלחץ במקרה הזה גבוה, ולכן התשובה נכונה. הסיבה שהכלי נתן אינה הסיבה של המדריך.

הטכנאי בודק מול המדריך: להחליף. תואם. הפריט עובר, והדוח נכון.

בחודש אחר מגיע מסנן חדש יחסית שנסתם מהר. הטכנאי זוכר את ההסבר ששמע: חיי שירות. המסנן עוד לא הגיע אליהם, והוא נשאר במקומו. בדוח של הפעם הראשונה אין שום סימן שיוביל אחורה לטעות הזאת.

אותו דבר קורה בחישוב. דוגמה נוספת: מספר יוצא נכון כי שתי טעויות מאזנות זו את זו, טעות בנוסחה וטעות בהמרת יחידות. התוצאה תואמת למקור. מי שיעתיק את הדרך הזאת לחישוב הבא יקבל מספר שגוי.

מה ידוע ומה לא

כאן צריך להיות ישרים. G7 נכנס לסיווג מתצפית שדה, והוא טרם נמדד. אין לנו מספר שאומר כמה הוא שכיח, ולא נביא כזה. במסמך העבודה הוא הסוג שסביר ביותר שישתנה בגרסה 1.0.

מה שכן מדוד קרוב אליו, ואינו אותו דבר. מחקר על מבחני רישוי סיווג 172 שגיאות של מודל שפה, ומהן 48 שגיאות הסקה בשאלות חישוב (Choi, Lee ו-Kim 2025). אלה שגיאות במבחן. הן לא מודדות תשובה נכונה עם נימוק שגוי.

עוד ממצא חשוב: עקביות התשובות הייתה 97 אחוז. לכן שאילה חוזרת לא תגלה דבר. כלי שחוזר על אותו הסבר לא מוכיח שההסבר נכון.

למה הנימוק שלכם חייב לבוא קודם

הבקרה שתופסת את G7 היא שלב א׳ של הנוהל: עשה בעצמך. שם קיימת הנמקה עצמאית של המהנדס, ויש מול מה להשוות.

הסדר הוא העיקר. אומדן שנעשה אחרי שראית את התשובה מעוגן אליה. קראתם הסבר משכנע, ואתם כבר לא שואלים מה הייתם אומרים בלעדיו.

המוטיבציה לעיקרון הזה באה מניסוי שדה עם כמעט אלף תלמידי תיכון (Bastani ואחרים 2025). גישה חופשית לכלי צ'אט רגיל העלתה ציוני תרגול. אחרי שהכלי הוסר, אותם תלמידים קיבלו ציון נמוך מתלמידים שמעולם לא קיבלו אותו. גרסה עם מעקות בטיחות, שמנעה תשובות ישירות, מנעה ברובה את הנפילה הזאת. המחקר עוסק במתמטיקה תיכונית, ולא בעבודה הנדסית. אנחנו לוקחים אותו כמוטיבציה, ולא כהוכחה.

מה עושים מחר

קחו משימה אחת שבה הסיבה חשובה לא פחות מהתוצאה: אבחון תקלה, בחירת חלף או הסבר על חריגה.

  1. לפני שפותחים את הכלי, כותבים בשורה אחת מה אתם מצפים לקבל ולמה. שלב א׳ לוקח חמש עד עשרים דקות. אומדן שלא נכתב אינו נחשב.
  2. בפנייה מבקשים גם את הנימוק ואת המקור שלו, עם ההנחיה: אל תמציא, כתוב חסר.
  3. בודקים את התוצאה מול המקור, כרגיל.
  4. בנפרד, בודקים את הנימוק מול המקור ההנדסי, ומשווים אותו לשורה שכתבתם.
  5. אם הנימוק לא מחזיק, רושמים ביומן: מה הכלי אמר, מילה במילה, סוג הפער G7, והנימוק הנכון בשדה התיקון.

שלב 4 הוא התוספת היחידה לעבודה הרגילה. הוא גם המקום שבו רוב המהנדסים יגידו שאין להם זמן. לכן לא מריצים אותו על הכל. מריצים אותו במקום שבו ההסבר עומד להיכנס להחלטה הבאה, להדרכה של טכנאי או לנוהל.

ארבע שאלות עוזרות בשלב הזה.

איך מודדים שזה עובד אצלכם

הבקרה השנייה היא בוחן ציד הטעויות. בבוחן שישה פלטי כלי מתחום העבודה, ובכל אחד שגיאה אחת מסוג G1 עד G7. הנבחן מזהה את השגיאה, מסווג אותה, ומציין את האימות שהיה תופס אותה. הבוחן רץ בלי גישה לכלי, ולכן שום כלי אינו יכול לעקוף אותו.

אחת לרבעון אוספים את היומנים ובודקים אילו סוגי כשל חוזרים, ובאילו תוצרים. אם G7 לא מופיע בכלל, סביר יותר שלא מחפשים אותו מאשר שהוא לא קיים. אחרי רבעון כזה יהיה לכם נתון ראשון משלכם, שאין לנו.

איפה זה נעצר

ההשוואה הזאת תופסת פער בין שני נימוקים. אם שניהם שגויים באותו אופן, היא לא תחשוף דבר.

היא דורשת כשירות. אימות דורש כשירות לקרוא את המקור, והנוהל מניח אותה ואינו מספק אותה. מהנדס צעיר שאין לו עדיין נימוק משלו ישאל ותיק, ולא כלי שני. פלט של כלי שני אינו מקור מוסמך.

והמיפוי כולו הוא טענה תכנונית. שהשלב הזה תופס את G7 הוא מה שהנוהל תוכנן לעשות, ולא תוצאה שנמדדה. מסמך העבודה לא עבר שיפוט עמיתים, ולא נאספו בו נתונים. שאר הסוגים נמצאים בשבעה סוגי כשל. כשל שכן נשען על מדידה שפיטה הוא קריאת טבלה מתמונה.

מקורות