ChatGPT ממציא: סעיף תקן שלא קיים
פורסם
מה הכלי הפיק
מהנדס מבקש מכלי בינה מלאכותית את תדירות הבדיקה החוקית של רכיב. הכלי עונה עם מספר סעיף, ניסוח של דרישה ותדירות. הכול נראה כמו תקן.
הסעיף אינו קיים. כך נראה הכשל שאנשים מכנים "ChatGPT ממציא". הטענה נכונה, אבל היא כללית מדי. כדאי לדעת איזו המצאה מסוכנת בעבודה הנדסית.
עורך דין בתחום הבנייה קורא לה "תקני רפאים". אלה סימוני תקן שעוקבים אחרי מוסכמת המספור האמיתית, ואינם קיימים.
למה זה נראה נכון
המבנה אמין. המספור תואם את התקן האמיתי. הניסוח רשמי. אין בפלט שום סימן שמבדיל סעיף אמיתי מסעיף מומצא.
לכן סעיף כזה עובר את בדיקת המסמך. הוא מתגלה מאוחר יותר, כשמעבדת בדיקה אינה מוצאת את השיטה שהסעיף מתאר. הנזק אז הוא פקודת שינוי או תביעה.
ההשלכה הנדסית ברורה: תדירות בדיקה חוקית או דרישת בטיחות שאינה קיימת. אנשים כותבים לפיה נוהל, והנוהל חוזר בכל בדיקה שנעשית לפיו. כך נוצרת תקלה חוזרת שמקורה בנוסח.
המילה ממציא מכסה כמה כשלים שונים, ולכל אחד בדיקה משלו.
- סעיף תקן שלא קיים, G3. בודקים בתקן הרשמי.
- קוד תקלה שפורש מהזיכרון, G4. בודקים במדריך הדגם.
- ערך שהושלם בשקט, G6. מבקשים: כתוב חסר, ומשווים לרשומה.
שאלה חוזרת לא חושפת את ההמצאה. במחקר על מבחני רישוי, עקביות התשובות של כלי אחד הייתה 97 אחוז. תשובה שגויה חזרה על עצמה.
איך המהנדס תופס את זה
הכלל פשוט: המקור קודם לזיכרון. פותחים את התקן בנוסחו הרשמי ומחפשים את הסעיף. אם הוא נמצא, מעתיקים ממנו את הנוסח.
פירוש מזיכרון הכלי אינו קביל, גם כשהוא נכון. גם פלט של כלי שני אינו מקור מוסמך, ולכן אין טעם לבקש מכלי אחד לאמת את חברו. בלי כלל כזה לא ברור איזו תשובה נכונה היא מקרה ואיזו היא מקור.
יש גם כשל קרוב, השלמה שקטה. הכלי ממלא מק"ט, תאריך או דגם שלא נמסרו לו. ההנחיה שתופסת אותו קצרה: אל תמציא, כתוב חסר.
הבדיקה להריץ
לכל סעיף שהכלי מצטט עושים ארבעה צעדים.
- מוצאים את התקן בנוסחו הרשמי, לא בסיכום ולא בעותק לא רשמי.
- מחפשים את מספר הסעיף ומשווים את הניסוח.
- רושמים ביומן את שם המסמך המוסמך ואת המיקום בו: עמוד, סעיף או טבלה.
- רושמים תוצאה אחת מארבע: תואם, פער, לא אומת, חסר.
סעיף שלא נמצא נחסם. הוא מסומן לא אומת, ואינו נכנס לתוצר. אם התוצר תלוי בו, התוצר נשאר טיוטה.
שימו לב לסדר העבודה. אומדן שנעשה אחרי שראיתם את התשובה מעוגן אליה. לכן קודם כותבים מה אתם מצפים למצוא, ורק אחר כך פונים לכלי. השלב הזה לוקח חמש עד עשרים דקות. מטרתו שיפוט עצמאי מתועד, ולא שיפוט מדויק. אומדן שלא נכתב אינו נחשב. ההקפדה על הסדר מבדילה בדיקה אמיתית מהרגשה שבדקנו.
הפנייה לכלי כוללת שישה חלקים: תפקיד, הקשר, משימה, אילוצים, מקור והנחיית החסר. פנייה בלי אילוצים ובלי הנחיית החסר אינה פנייה לפי השיטה.
מי כבר משתמש בכלי
עובדים במפעלים כבר משתמשים בכלים האלה, והפלט נראה נכון גם כשהוא לא. השאלה הניהולית אינה אם אסור להשתמש. השאלה היא מי בודק את התשובה לפני החתימה.
מבקר שואל מי אישר את הסעיף ועל סמך מה. יומן עם שם המסמך והמיקום הוא התשובה המתועדת.
השער הוא הבקרה הראשית לשישה מתוך שבעת סוגי הכשל. G3 הוא אחד מהם.
מה הבדיקה לא עושה
הבדיקה אינה מזהה הזיות. היא אינה מכוונת פרומפטים ואינה מדרגת כלים. היא נוהל עבודה שעומד בין הפלט לבין החתימה.
היא גם לא הופכת את הפלט לנכון. היא מבטיחה דבר אחד, וניתן לספור אותו: כל פריט בתוצר מקושר למקור מוסמך, או חסום. סעיף שהכלי כתב כחסר הוא תוצאה תקינה, ולא כשל.
בדיקה עצמית
- האם כל סעיף תקן בנוהל נמצא בתקן בנוסחו הרשמי?
- האם ביומן רשום שם המסמך ומיקום הסעיף בו?
- האם הפנייה לכלי כללה את ההנחיה: אל תמציא, כתוב חסר?
- האם סעיף שלא נמצא סומן לא אומת?
- האם נכתב אומדן עצמאי לפני שהכלי נפתח?
- האם פריט שהכלי סימן כחסר טופל כתוצאה תקינה?
- האם מישהו ביקש מכלי אחד לאמת את הפלט של כלי אחר?
- האם יש בנוהל תדירות בדיקה שאין לה מקור?
להבנה רחבה של שימוש בטוח בכלים האלה: AI בטוח לכולם.