בדיקה מול מקור: שבעה סוגי כשל של AI בהנדסה
פורסם
מה הכלי הפיק
טכנאי מצלם טבלה מתוך תקן ושואל את הכלי מה הערך בשורה מסוימת. הכלי עונה במספר ברור, בלי להסס.
מדד שפיט בדק תשעה מודלי שפה על קריאת טבלאות מתקני בנייה. בשתי משימות הדיוק היה 45.27 ו-40.65 אחוז. אותן טבלאות, כשהוזנו כטקסט, נתנו 98.94 ו-87.27 אחוז.
הכלי ידע את התוכן. הוא נכשל בקריאתו מהתמונה. הטקסט הזה עובר על שבעת סוגי הכשל ועל הבדיקה האחת שתופסת אותם.
למה זה נראה נכון
המספר מגיע בניסוח בטוח וביחידות הנכונות. אין בו שום סימן לשגיאה. זו תכונה משותפת לכל שבעת סוגי הכשל. הפלט נראה תקין גם כשהוא שגוי.
הכלי גם לא חלש. כלי אחד עבר שני מבחני רישוי לאומיים למהנדסי ציוד מכני בבניינים, בכל חמשת הניסיונות. הציונים הממוצעים היו 80.6 ו-81.25 מתוך 100. הפער אינו ביכולת.
הפער הוא שאף שלב בעבודה לא עוצר את הפלט לפני החתימה. להנדסה יש שלבים כאלה. חתימת בודק קודמת לשחרור שרטוט. מבחן לחץ קודם למסירה. לפלט של בינה מלאכותית אין שלב מקביל.
שבעה סוגי כשל
כל טעות בודדת שייכת לדפוס. כך אפשר ללמד אותה, ואפשר לספור אותה.
- G1, טבלה מתמונה: ערכים שגויים. טבלות יחידות ולוחות נתונים מגיעים לרוב כתמונה.
- G2, מד אנלוגי: הספרות נקראות היטב, מיקום המחוג נקרא שגוי. הקריאה נכנסת לדוח חתום.
- G3, סעיף תקן: סעיף שנראה אמיתי ואינו קיים. כך נולדת דרישה שאף אחד לא כתב.
- G4, קוד תקלה: אותו קוד מקבל פירוש הפוך אצל יצרן אחר.
- G5, חישוב ישיר: טעות בנוסחה, בחשבון או בהמרת יחידות.
- G6, השלמה שקטה: מק"ט, תאריך או פעולה שלא נמסרו מתמלאים בביטחון מלא.
- G7, הסבר נכון-שגוי: תוצאה נכונה עם הנמקה שגויה.
דוגמה אחת מראה את המבנה. יחידת מיזוג מציגה קוד E3. אצל יצרן א׳ הוא הפעלת מפסק לחץ גבוה. אצל יצרן ב׳ הוא לחץ נמוך. אצל יצרן ג׳ הוא שגיאת תקשורת של השלט.
אותו קוד, משמעויות הפוכות. כלי שעונה מהזיכרון, בלי מדריך הדגם, אינו יכול להראות באיזו טבלה השתמש.
איך המהנדס תופס את זה
האקסיומה קצרה: מספר שלא אומת אינו קיים. עד שנבדק, הוא טיוטה. הוא לא נכנס למסמך חתום, למסמך מוגש או להחלטה.
בודקים כל פריט מול מקור מוסמך. מקור מוסמך הוא מדריך יצרן, תקן בנוסחו הרשמי, שרטוט חתום או מדידה ישירה. כלי אינו מקור מוסמך. גם פלט של כלי שני אינו כזה.
שלושה כללים קובעים את סדר העבודה. המקור קודם לזיכרון: פירוש מזיכרון הכלי אינו קביל, גם כשהוא נכון. הכלי מנסח ואינו מחשב: את האריתמטיקה מריצים בגיליון אלקטרוני. התיעוד הוא חלק מהתוצר: תוצר בלי יומן בדיקה אינו תוצר.
הבדיקה לא נשענת על חשד. אי אפשר לחשוד בכל שורה בכל דוח. היא רצה על כל פריט ומשאירה רשומה.
הבדיקה להריץ
התהליך מורכב משלושה שלבים ושער אחד.
- לפני שפותחים את הכלי, כותבים אומדן משלכם. אומדן שנכתב אחרי התשובה מעוגן אליה.
- פונים לכלי בפנייה מובנית, עם המקור מצורף ועם ההנחיה: אל תמציא, כתוב חסר.
- בשער בודקים כל פריט מול מקור ורושמים תוצאה אחת מארבע: תואם, פער, לא אומת, חסר.
אומדן עצמאי תופס גם את G7. תשובה נכונה עם הנמקה שגויה עוברת בדיקת מקור, ונחשפת רק מול ההנמקה שלכם.
פער נרשם עם אחד משבעת הקודים. פריט אחד שלא אומת מחזיק את כל התוצר כטיוטה. אין אימות חלקי.
כל משימה מקבלת רמת שימוש לפני שהעבודה מתחילה. משימה שלא תויגה נחשבת רמה אפס, ללא כלי, עד שמישהו מתייג אחרת. הרמה נקבעת לפי ההשלכה של טעות ולא לפי הקושי. חישוב פשוט שנכנס לתסקיר חתום הוא רמה אפס.
מסמך העבודה שמאחורי הסיווג לא עבר שיפוט עמיתים. הראיות מודדות את הכשלים, לא את השיטה.
בדיקה עצמית
- האם כל מספר בדוח נבדק מול מדריך יצרן או תקן רשמי?
- האם טבלה שצולמה הושוותה לטבלה כטקסט או למסמך המקורי?
- האם לכל פער יש אחד משבעת הקודים?
- האם נכתב אומדן עצמאי לפני שהכלי נפתח?
- האם החישוב רץ בגיליון אלקטרוני ולא בתוך הכלי?
- האם הפנייה לכלי כללה את ההנחיה: אל תמציא, כתוב חסר?
- האם משימה שלא תויגה טופלה כרמה אפס?
- האם יש פריט אחד שלא אומת בתוצר שעומד לצאת?
לפרטי הקורס שבו מתרגלים את הבדיקה: ניהול אחזקה AI.
מקורות: Liang, C. et al. (2026). AECBench: A Hierarchical Benchmark for Knowledge Evaluation of Large Language Models in the AEC Field. Advanced Engineering Informatics, 71: 104314.; Choi, H.; Lee, J.; and Kim, J. (2025). Performance Evaluation of GPT-4o on South Korean National Exams for Building Mechanical Equipment Maintenance. Scientific Reports, 15: 30436.