מאת: יפעת זר, מדור ידע וחדשנות המוס"ל
מהי "הטיית האוטומציה"?
"הטיית האוטומציה" היא נטייה אנושית לסמוך יותר מדי על מערכות אוטומטיות (מחשבים, חיישנים, אלגוריתמים), גם כשהן טועות, וגם כשהמידע או ההתרעה אינן תואמות את מה שהאדם רואה בשטח.
הסיבה לכך קשורה לאופן שבו המוח שלנו עובד. אנחנו אוהבים לחסוך מאמץ, ולכן כשיש מערכת שמקבלת החלטות בשבילנו, קל לנו "לזרום איתה" במקום לבדוק בעצמנו, וככל שהמערכת האוטומטית נתפסת בעינינו כסמכות טכנולוגית אמינה (הוכיחה עצמה בעבר), מתקדמת או "חכמה", אנו נוטים להעדיף את קביעותיה והמלצותיה על פני שיקול דעת אישי, גם כשהאינטואיציה או הניסיון שלנו מצביעים על בעיה.
המודעות למצב
"הטיית האוטומציה" פוגעת במודעות שלנו למצב (Situation Awareness - SA) - ביכולת שלנו להבין מה קורה סביבנו - בשלוש רמות:
- תפיסה: אנחנו נוטים להסתמך רק על פרשנות המערכת ומפסיקים להסתכל על הנתונים הגולמיים.
- הבנה: ככל שהאוטומציה מורכבת יותר, אנחנו מתקשים להבין "מה המערכת עושה כרגע".
- חיזוי: אנחנו מתקשים לצפות כשלי מערכת עתידיים.
הפגיעה במודעות למצב מובילה ל"בעיית הביצוע מחוץ ללופ" (Out-of-the-Loop Performance Problem). כאשר המערכת האוטומטית נכשלת באופן פתאומי, המפעיל האנושי, שהיה במצב פסיבי של ניטור בלבד, נדרש לבצע מעבר מיידי לשליטה עצמית / ידנית. אולם, בשל "הטיית האוטומציה", המפעיל אינו מעודכן בסטטוס המדויק של המערכת, מה שגורם לתגובה מאוחרת, שגויה או חסרת אונים.
הקשר לבטיחות בעבודה
"הטיית האוטומציה" קשורה ישירות לבטיחות בעבודה משום שהיא משפיעה על קבלת החלטות בזמן אמת, על זיהוי סיכונים ועל תגובה למצבי חירום. תחושת ביטחון השווא שיוצרת ההטייה עלולה לגרום לטעויות קריטיות, והיא מסוכנת במיוחד בענפי תעסוקה עתירי סיכונים פיזיים, כמו ענפי הבניה, התחבורה והתעשיה הכימית.
לדוגמה, עובד במפעל המריח ריח חשוד של שריפה מתעלם מחוש הריח ומהניסיון המקצועי שלו ומעדיף להסתמך על מערכת שמנטרת טמפרטורה בלחץ גבוה, וכשהמערכת אינה מציגה חריגה בשל חיישן תקול או נורה שאינה נדלקת, העובד מניח הנחה מוטעית שהכול תקין ולכן אינו מגיב לסיכון.
גם כאשר מתקבלים דיווחים מהשטח, העובדים "המוטים" עלולים להתעלם מסימנים פיזיים הנראים לעין ולדחות או להימנע מפעולות מניעה ותגובה קריטיות. למשל, מפעיל חדר בקרה של מפעל תעשייתי המקבל דיווח מהשטח על רעידות חריגות במכונה, אינו שולח טכנאי לתיקון המכונה משום שהמערכת לא התריעה על תקלה, או עובדי בניה הממשיכים בעבודתם על פיגומים שנראים להם רעועים, רק משום שלא התקבלה התרעת מערכת על חוסר יציבות.
אלו הן טעויות השמטה (Omission Errors), המתרחשות כאשר המפעיל האנושי נכשל בזיהוי אירוע קריטי או תקלה משום שהמערכת האוטומטית לא התריעה עליהם. ישנן גם טעויות ביצוע (Commission Errors) - פעולות שגויות של המפעיל בעקבות הוראה מהמערכת, תוך התעלמות ממידע סותר וברור מהסביבה. הן נובעות משילוב של אמון מופרז ופסילה של מידע סותר. במערכות צבאיות, למשל, מפעיל עשוי לאשר ירי על מטרה ידידותית משום שהמערכת זיהתה אותה כעוינת, גם אם נתוני המכ"ם הגולמיים מצביעים על טעות בזיהוי.
"הטיית האוטומציה" יכולה גם לפגוע בהערכה הקלינית של אנשי רפואה תעסוקתית. לדוגמה, אחות המקבלת את ההמלצה של מערכת המסווגת עובד כ"לא בסיכון" לפגיעה שמיעתית, למרות שהעובד מתאר תסמינים שמיעתיים. מתמחים ברפואה (חסרי ניסיון) פגיעים במיוחד להטיה זו, אך גם רופאים ותיקים הסובלים משחיקה או לחץ זמן נוטים "להאציל" את סמכותם המקצועית לאלגוריתם.
השפעת הניסיון והגיל על רמת ההטיה
- חסרי הנסיון סומכים מאוד על המערכת משום שהם חסרים את הידע המקצועי והמערכת נתפסת בעיניהם כ"יודעת כל".
- משתמשים מנוסים עשויים לפתח שאננות לאחר שנים של עבודה עם מערכת אמינה שסיפקה ביצועים תקינים.
- עובדים תחת לחץ זמן נוטים לזנוח את החשיבה האנליטית ולעשות קיצורי דרך מחשבתיים.
- עובדים מבוגרים הם לעיתים חסרי אוריינות טכנולוגית או סובלים מירידה קוגניטיבית מסוימת ולכן נוטים לטעויות ומתקשים לזהות כשלים טכנולוגיים.
דווקא המערכות המדויקות ביותר (95% ומעלה) הן המסוכנות ביותר בטווח הארוך, שכן הן בונות רמת אמון שאינה מאפשרת למפעיל להישאר ערני ל - 5% של הכשלים. למשל, נהגים במכוניות אוטומטיות (טסלה) וטייסים מפתחים אמון יתר במערכות "הטייס האוטומטי" (Autopilot) ועלולים לא להגיב כראוי ובזמן כשיש סכנה.
איך מצמצמים את ההטיה?
הפתרון אינו "פחות אוטומציה", אלא אוטומציה חכמה ושקופה יותר, שאינה מחליפה את האדם, אלא מעצימה אותו.
כדי להבטיח סביבת עבודה בטוחה, ארגונים יכולים לאמץ את הצעדים הבאים:
1. תכנון זרימת עבודה על פי מודל "אדם בלופ" (Human-in-the-Loop - HITL) בו המערכת מציגה את רמת הביטחון שלה ומספקת הסבר להמלצה שלה על פעולה והעובד חייב לאמת את המידע שמתקבל מהמערכת.
2. עבודה עם ממשק אקולוגי (Ecological Interface Design - EIn) המציג למפעיל את גבולות הביצועים של המערכת (עד כמה המערכת קרובה לגבול הכשל שלה) באופן שמפחית את ההסתמכות העיוורת של המפעיל ומחזיר את המודעות שלו למצב.
3. תכנון ממשקים "מחייבי חשיבה" - ממשקים שאינם מספקים רק פקודה אחת, אלא מציגים חלופות ונתונים גולמיים, המאלצים את המפעיל לשוב ולבחור בעצמו.
4. שימור מיומנויות ידניות: הגדרת פרוטוקולים המחייבים עבודה ידנית לפרקי זמן מסוימים כדי למנוע שחיקת מיומנויות (De-skilling), במיוחד במקצועות קריטיים כמו תעופה ורפואה.
5. אחריות ברורה: הבהרה משפטית וארגונית שהאדם הוא הנושא באחריות הסופית. תחושת אחריות אישית מפחיתה באופן ניכר את הטיית האוטומציה.
6. אימוץ רגולציה ותקינה :
ISO 10218:2025 - התקן דורש שהמערכת תתחשב בגבולות ביו-מכניים ובגורמים אנושיים כמו עייפות ושיקול דעת מוטה בעת הערכת הסיכונים.
הנחיות FDA 2026 - הרגולציה מחייבת פיקוח הדוק על מערכות רפואיות בשל החשש מהטיית האוטומציה בסיטואציות קריטיות של זמן.
7. תרבות בטיחות שמעריכה שיקול דעת אנושי: עובדים חייבים להרגיש בטוחים להטיל ספק במערכת האוטומטית, גם אם זה גורם לעיכוב בייצור. ניהול הבטיחות חייב לכלול הכשרה ספציפית על הטיית אוטומציה, שבה המפעילים לומדים על "המלכודות הקוגניטיביות" שלהם עצמם ומתרגלים תרחישים שבהם המערכת טועה או נכשלת באופן ייזום. על המנהלים לעודד עובדים לדווח על חריגות גם אם המערכת לא התריעה ולהטמיע שילוב בדיקות ידניות תקופתיות, לצד אוטומציה.