אחת הבעיות בכלי ביקורת מבוססי AI היא שקל מאוד לגרום להם להיראות חכמים.
נותנים להם אתר. והם מתחילים למצוא דברים.
הכותרת יכולה להיות קצרה יותר. המרווח הזה גדול מדי. אולי כדאי CTA נוסף. אולי כדאי להוסיף social proof. אולי חסר FAQ. אולי צריך אנימציה. אולי כדאי לשנות את צבע הכפתור.
אחרי שתי דקות קיבלת רשימה של 17 "שיפורים".
יש רק בעיה אחת. אף אחד לא אמר שהאתר באמת יהיה טוב יותר אחרי שנבצע אותם.
רצינו שהכלי יצטרך לבחור
Reality Check נבנה סביב מגבלה מכוונת.
לא "מצא כל מה שאפשר". אלא: פסק דין אחד. בדיוק 3 תיקונים לפי נזק. ומה לא לגעת בו.
החלק האחרון חשוב לא פחות משלושת התיקונים.
כי מערכת ביקורת טובה לא צריכה רק לדעת לזהות שינוי אפשרי. היא צריכה לדעת לזהות גם דברים שעובדים.
למה בדיוק שלושה
כשאין מגבלה, מודל יכול להמשיך לדבר כמעט לנצח. אבל בעולם אמיתי למשתמש יש זמן, תקציב וקשב מוגבלים.
אם יש באתר CTA ראשי שכמעט לא נראה, proposition לא ברור והוכחה חסרה ליד רגע ההחלטה - אלה כנראה בעיות משמעותיות יותר מעוד 12 הערות על padding.
לכן Reality Check צריך לדרג לפי נזק. לא לפי קלות התיקון. לא לפי כמה הערות הוא הצליח להפיק.
ומה אם אין שלושה דברים ששווה לשנות?
זו בדיוק אחת השאלות שעלו כשבדקנו את המוצר.
החוזה צריך להיות עקבי. אבל אסור שהעקביות תהפוך להצגה.
אם אתר עובד, אסור למערכת להמציא כישלון רק כדי למלא תבנית.
מכאן מגיע גם הרעיון של "מה לא לגעת בו".
בדוגמה אחת, למשל, אפשר שהמערכת תגיד שה-layout וה-spacing נקיים, שהשפה הוויזואלית עובדת ושמבנה ה-header ברור.
זו לא מחמאה בשביל להיות נחמדים. זו הוראת עבודה. אל תיגע בזה בזמן שאתה מתקן משהו אחר.
זה נשמע קטן. בפיתוח זה ענק.
יש הבדל גדול בין "מצאתי בעיה" לבין "מצאתי בעיה ששווה לשלם את מחיר השינוי כדי לפתור אותה".
שינוי באתר אף פעם לא עולה רק בזמן הפיתוח. הוא יכול להשפיע על מבנה, מדידה, SEO, נגישות, התנהגות מובייל, קופי, והרגלים שכבר נוצרו אצל משתמשים.
ולכן ביקורת טובה צריכה לכלול גם את מחיר ההתערבות.
בדקנו את אותו עיקרון גם על עצמנו
במהלך העבודה על Studio Haim אנחנו מפעילים בדיוק את אותו מנגנון חשיבה.
לא כל רעיון שמישהו מציע נכנס. לא כל הערת review הופכת לרידיזיין.
למשל, כשחשבנו על השראה מאתר אחר, היה קל מאוד להגיע לרשימה: Dark mode. מילה מתחלפת. מאסקוט. Dashboard. Widget. CTA חדש. אנימציה.
במקום זה צמצמנו את השינוי לחלון אחד בהירו. Reality Check קטן שמדגים את צורת החשיבה.
בלי לשנות את הקופי. בלי לשנות את הצבעים. בלי להוסיף URL input. בלי להפוך את ההירו למוצר בפני עצמו.
זו בדיוק אותה פילוסופיה.
הביקורת על Reality Check עצמה עברה Reality Check
גם בבנייה של העמוד עצמו עבדנו דרך PRs וביקורת Codex.
במקרה אחד review מצא פגם layout נקודתי ב-breadcrumb. הפתרון לא היה: בואו נבנה מחדש את כל header. תיקנו את הבעיה.
זה נשמע מובן מאליו, אבל זו לא התנהגות מובנת מאליה בעבודה עם סוכני AI.
הם מצוינים ביצירת שינויים. ולכן לפעמים האדם צריך להיות זה שמגן על הדברים שלא צריכים שינוי.
מה לקחנו מזה
מערכת ביקורת טובה לא נמדדת במספר הדברים שהיא מוצאת.
היא נמדדת ביכולת שלה להחליט מה באמת שווה לשנות.
ולפעמים הפלט הכי חשוב שלה הוא: בזה אל תיגע.