ביקורת UX עצמאית
Shannon לא מייתר פנטר אנושי, אבל הוא מצמצם משמעותית את המרחק בין אזהרה תיאורטית לבין חולשה שמישהו באמת ניסה לנצל והוכיח שהיא קיימת.
הביקורת נעשתה באופן עצמאי. הגוף המופיע בעמוד אינו לקוח של Studio Haim, ואין טענה שההמלצות יושמו.
ברגע השימוש הזה האדם מגיע כדי להבין מה Shannon באמת מוכיח, האם הוא מתאים לסביבת העבודה שלו ואיך להשתמש בו בלי לסכן מערכת. הוא מגיע במצב שבו איש אבטחה או פיתוח שבוחן כלי פנטסטינג אוטונומי עבור מערכת שבבעלותו או שיש לו הרשאה מפורשת לבדוק, ולכן צריך להבין מהר שהכלי מבצע ניצול אמיתי ולא רק סריקה, מה גבולות השימוש הבטוח ומה עדיין דורש שיקול דעת אנושי. מול הצורך הזה, הממשק מכוון אותו אל ניתוח קוד, reconnaissance על האפליקציה החיה, agents ייעודיים לחולשות, ניסיונות ניצול ודוח על ממצאים שהוכחו ב-PoC.
החוויה שנבדקה היא מסוג כלי AI לפנטסטינג White-box.
המשתמש מגיע עם צורך ברור: להבין מה Shannon באמת מוכיח, האם הוא מתאים לסביבת העבודה שלו ואיך להשתמש בו בלי לסכן מערכת.
הממשק מכוון אותו אל ניתוח קוד, reconnaissance על האפליקציה החיה, agents ייעודיים לחולשות, ניסיונות ניצול ודוח על ממצאים שהוכחו ב-PoC, ולכן הביקורת מתמקדת בשאלה האם הכיוון הזה עוזר לו להבין את הצעד הבא.
זה כלי אגרסיבי: Shannon יכול ליצור משתמשים, לשלוח טפסים, לשנות state, לבצע בקשות החוצה ולבצע פעולות אמיתיות על המערכת.
זה משנה כי במצב שבו איש אבטחה או פיתוח שבוחן כלי פנטסטינג אוטונומי עבור מערכת שבבעלותו או שיש לו הרשאה מפורשת לבדוק, כל חיכוך כזה מקשה להגיע להבנה המיידית: שהכלי מבצע ניצול אמיתי ולא רק סריקה, מה גבולות השימוש הבטוח ומה עדיין דורש שיקול דעת אנושי.
תלות חזקה במודל: יכולת הסריקה תלויה ביכולת המודל להבין קוד, לתכנן attack paths ולהשתמש בכלים; safeguards של ספקי מודל עלולים גם לעצור עומס אבטחה באמצע.
זה משנה כי במצב שבו איש אבטחה או פיתוח שבוחן כלי פנטסטינג אוטונומי עבור מערכת שבבעלותו או שיש לו הרשאה מפורשת לבדוק, כל חיכוך כזה מקשה להגיע להבנה המיידית: שהכלי מבצע ניצול אמיתי ולא רק סריקה, מה גבולות השימוש הבטוח ומה עדיין דורש שיקול דעת אנושי.
Prompt injection דרך הקוד: Keygraph מזהירים לא לסרוק codebases לא מהימנים או עוינים, משום שקוד שה-agent קורא יכול להפוך לערוץ prompt injection.
זה משנה כי במצב שבו איש אבטחה או פיתוח שבוחן כלי פנטסטינג אוטונומי עבור מערכת שבבעלותו או שיש לו הרשאה מפורשת לבדוק, כל חיכוך כזה מקשה להגיע להבנה המיידית: שהכלי מבצע ניצול אמיתי ולא רק סריקה, מה גבולות השימוש הבטוח ומה עדיין דורש שיקול דעת אנושי.
PoC אינו פוטר מבדיקה אנושית: חומרת הממצא, התיאור ופרטים נוספים בדוח נוצרים בעזרת LLM ועלולים להיות חלקיים או לא מדויקים.
זה משנה כי במצב שבו איש אבטחה או פיתוח שבוחן כלי פנטסטינג אוטונומי עבור מערכת שבבעלותו או שיש לו הרשאה מפורשת לבדוק, כל חיכוך כזה מקשה להגיע להבנה המיידית: שהכלי מבצע ניצול אמיתי ולא רק סריקה, מה גבולות השימוש הבטוח ומה עדיין דורש שיקול דעת אנושי.
להריץ רק על local, sandbox או staging עם מידע שאפשר למחוק — ולא על production.
היא עוזרת כי היא מקרבת את המשתמש להבנה או לפעולה הבאה בלי לשנות את כל המוצר. היא אינה מנסה לפתור את מה שמופיע בגבולות הביקורת: לא נבדקה הרצה בפועל של Shannon, איכות הממצאים שלו על מערכת מסוימת או פלטפורמת Keygraph המסחרית מעבר להבחנה המתועדת ב-README.
להגדיר מראש הרשאה, scope, login flows וכללי engagement לפני תחילת הסריקה.
היא עוזרת כי היא מקרבת את המשתמש להבנה או לפעולה הבאה בלי לשנות את כל המוצר. היא אינה מנסה לפתור את מה שמופיע בגבולות הביקורת: לא נבדקה הרצה בפועל של Shannon, איכות הממצאים שלו על מערכת מסוימת או פלטפורמת Keygraph המסחרית מעבר להבחנה המתועדת ב-README.
להעביר כל ממצא מאומת לבדיקת אדם שמבין אבטחה לפני קביעת חומרה או תיקון.
היא עוזרת כי היא מקרבת את המשתמש להבנה או לפעולה הבאה בלי לשנות את כל המוצר. היא אינה מנסה לפתור את מה שמופיע בגבולות הביקורת: לא נבדקה הרצה בפועל של Shannon, איכות הממצאים שלו על מערכת מסוימת או פלטפורמת Keygraph המסחרית מעבר להבחנה המתועדת ב-README.
Shannon לא מייתר פנטר אנושי, אבל הוא מצמצם משמעותית את המרחק בין אזהרה תיאורטית לבין חולשה שמישהו באמת ניסה לנצל והוכיח שהיא קיימת.
בביקורת הזו המסקנה נובעת מהפער בין מה שהאדם מנסה להשיג, להבין מה Shannon באמת מוכיח, האם הוא מתאים לסביבת העבודה שלו ואיך להשתמש בו בלי לסכן מערכת, לבין הדרך שבה הממשק מכוון אותו בפועל: ניתוח קוד, reconnaissance על האפליקציה החיה, agents ייעודיים לחולשות, ניסיונות ניצול ודוח על ממצאים שהוכחו ב-PoC.
מה לא נבדק ולכן אי אפשר להסיק מהביקורת הזו: לא נבדקה הרצה בפועל של Shannon, איכות הממצאים שלו על מערכת מסוימת או פלטפורמת Keygraph המסחרית מעבר להבחנה המתועדת ב-README.
אפשר להמשיך לפרויקטים שנבנו בפועל או לקרוא על הדרך שבה אני ניגש למוצר, תוכן ומערכות.