תיקוף הערכה באמצעות הערכות שניתנו לעבודות בעבר

בפרקטיקה זו נאמן צ׳אטבוט להעריך את עבודות התלמידים שלנו, על סמך הערכות שנתנו לעבודות בעבר. נוכל להתייחס אליו כאל עמית ועוזר הוראה בעל ניסיון עשיר, המבוסס על בסיס המידע העצום של מודל השפה שעל פיו הוא פועל. ניסיון זה, יחד עם ההערכות שנתנו בעבר, יסייעו לנו להעניק הערכות מתוקפות. 

באמצעות המהלך המוצע ניתן להעריך עבודות כמעט מכל סוג, החל במבחנים ועבודות קטנות ועד עבודות חקר מלאות. פרקטיקה זו מתאימה ליישום משכבות היסודי ועד לחטיבה העליונה.

שלב א' - ריכוז מדגם עבודות שהערכנו בעבר

נאסוף בתיקייה מדגם עבודות תלמידים שכבר הערכנו בעבר ונתנו להן משוב או ציון מתאים, לדעתנו. עבודות אלו יהיו הבסיס לאימון הבוט שלנו. כדאי לכלול במדגם עבודות ברמות ביצוע שונות - מצטיינות, בינוניות וגם חלשות יחסית. העבודות צריכות להיות בפורמט דיגיטלי, אחרת הבינה המלאכותית לא תוכל לנתח אותן. 

אם הכנו בעבר מחוון להערכת העבודות והשתמשנו בו, כדאי להוסיף אותו למדגם. אפשר לכלול מחוונים מפורטים מאוד, כגון טבלת הערכה עם קטגוריות מרובות והגדרות מדויקות של מספר רמות ביצוע לכל קטגוריה, או רשימה פשוטה של קטגוריות להערכת העבודות.

הערה: גם אם אין לנו עבודות שהערכנו בעבר, עדיין נוכל להשתמש בפרקטיקה זו. במקום להעלות לצ'אטבוט בשלב האימון מחוון ועבודות מהעבר, נעלה רק מחוון ומספר עבודות שתלמידים הכינו לאחרונה. נבקש מהצ'אטבוט להעריך אותן בהתאם למחוון, ונתקף את ההערכה שלו באמצעות הערות ודיוקים שנציע לו. כדי לעשות זאת, פשוט התעלמו מהבקשה שלו להעלות עבודות עבר, בשלב האימון. 

שלב ב׳ - אימון הצ׳אטבוט במתן ציונים

נעלה את העבודות, את הציונים שנתנו להן ואת המחוון לפלטפורמת בינה מלאכותית. Claude יתאים במיוחד, כיוון שהוא פועל באופן סביר בעברית ובגרסה החינמית שלו ניתן להעלות אליו קבצים. 

נבקש מהפלטפורמה ללמוד לקשר בין העבודות, לבין המחוון והציונים שניתנו, כדי שתוכל בעתיד להעריך עבודות חדשות. 

כדאי להשתמש בפרומפט ההתחלתי הזה: 

• "אני מורה ל[שם המקצוע] ואני מלמד תלמידים בכיתה [י',י"א,י"ב].
• אני מעוניין ללמד אותך להעריך עבודות כתובות של תלמידים במקצוע [שם המקצוע]. 
• בבקשה למד את הקשר בין איכות העבודות, המחוון והציונים שניתנו, כך שבהמשך תוכל לקבל עבודה חדשה שלא ראית קודם, ולהמליץ על ציון מתאים עבורה. 
• פעל לפי הצעדים הבאים:
• צעד ראשון: בקש ממני ואעלה אליך מחוון. ניתן להעלות כקובץ או להדביק אותו לתיבת השיחה.
• צעד שני: אעלה אליך עבודה של אחד התלמידים, יחד עם הציונים שנתתי לה בהתבסס על הקטגוריות הנכללות במחוון. [הערה: במקום להעלות עבודה אחת ניתן להעלות מספר עבודות, שנכללות בקובץ אחד או בקבצים נפרדים. בקלוד ניתן להעלות עד 4 קבצים בכל פעם]. 
• צעד שלישי: נתח את העבודות וכתוב מה הקשר בין איכות העבודות לציון שהן קיבלו. הצע משוב וציון על סמך המחוון. 
• צעד רביעי:כשתסיים לתת את תשובתך, שאל אותי האם יש לי שאלות או הערות למשוב ולציון שנתת. אם אני עונה שלא, נעבור לתלמיד הבא. כתוב לי "אני מבין שסיימנו עם התלמיד הזה, אנא הזן את הנתונים עבור התלמיד הבא". 
• כתוב לי האם הבנת ובקש ממני להעלות את העבודה הראשונה.

לאחר שהצ'אטבוט יחזיר תשובה שהוא הבין, נכתוב את ההנחיה הבאה ונעלה את העבודה כקובץ pdf, או שנדביק אותה לתיבת השיחה אם העבודה קצרה יחסית. פרומפט לדוגמה:

• "הנה הדוגמה הראשונה. לעבודה זו נתתי ציון [הציון שניתן]. הערות לשיפור שנתתי הן: [הערות לעבודה]". 

כעת הבוט יכתוב את הציון והמשוב שהוא מציע, ואנחנו נאשר או נעיר ונבקש שידייק יותר. כך הוא ילמד מאיתנו. לדוגמה:

• נתת ציון נמוך מאוד. כנראה לא שמת לב לכמות הפרטים הנכללת בעבודה שמצביעה על השקעה רבה. אני רוצה לשקלל השקעה גדולה כזו בציון.
• בהערות כתבת שהעבודה נסמכת על מידע רב, אך אני שם לב שלא מוזכרים מקורות המידע ולכן האמינות שלו לא ברורה. בפעם הבאה בדוק זאת.

אפשר לעשות סבב זה מספר פעמים, כמספר העבודות הנכללות במדגם. 

שלב ג' - בדיקת עבודות על ידי הצ׳אטבוט 

נכתוב לצ'אטבוט: 

• אחרי שקראת את העבודות שלי אתה מאומן היטב.  אני מתחיל להעלות לך עבודות לבדיקה. עבור כל  עבודה הצע ציון, ופרט את הנימוקים והערות לשיפור. התייחס למחוון שהעליתי אליך קודם ולהערות שנתתי לך בשלב האימון. בקש ממני את העבודה הראשונה, כתוב משוב, ואז שאל אותי האם המשוב מקובל או שארצה להעלות עבודה של תלמיד נוסף.

אם העבודות קצרות, ניתן לחבר אותן לקובץ אחד (למשל קובץ וורד) ולהעלות אותן לצ׳אטבוט. במקרה זה, הוא יציע ציון ומשוב עבור כל העבודות הנכללות בקובץ. נוכל לבקש ממנו להציג את התוצר שלו בצורה הנוחה לנו, כמו למשל בטבלה. פרומפט מוצע:

• אני מעלה אליך כעת קובץ עם עבודות כל התלמידים שלי. תן משוב וציון לכל אחד מהם. את המידע ארגן בטבלה.

שלב ד׳ - מתן ציונים לתלמידים

כמעט סיימנו. נותר שלב אחד חיוני.

כעת נעבור על המשובים והציונים שהבוט הציע, בקריאה ביקורתית (אך גם כזו שפתוחה ללמוד ממנו), ונתקן ציונים ומשובים שלא נראים לנו מתאימים. 

וכעת - סיימנו. אפשר להגיש לתלמידים את ההערכות והציונים.