תגיות

, , , ,

 "לאן הולכים השווקים הפיננסיים? האם תימשך מגמת העליות בוול סטריט? האם הגיע הזמן להסיט כספים לאירופה? מה צפוי בשווקים המתפתחים? איך כדאי לחלק את תיק ההשקעות הגלובלי?  מי שיידע לענות על השאלות האלה נכונה ולהשקיע את כספו בהתאם, יוכל להתעשר חיש קל. אלא שלאיש אין תשובות ודאיות."  :"הארץ"

"אם לשפוט על פי העלייה במקרי התחלואה, חוכמת ההמונים פועלת לרעת המדע, מערכות הבריאות וכנראה גם לרעת בריאות האזרחים." "הארץ"

"להימנע ממאכלים מן החי או לפחות לחפש חלופות במקומות שבהם מגדלים חיות בדרכים מסורתיות: בלי פסטור, בלי תרופות, בלי צפיפות, בלי התעללות. זה לא רק רחמני יותר, זה גם הרבה יותר בריא." רחל טל-שיר, "הארץ"

"מתחילים להבין שמה שלא מוסרי גם לא בריא, לא לגוף ולא לנפש." מגיבה בשם רנה, "הארץ"

ביולי 2010 פרסם ה"וואשינגטון פוסט פרטים על קהילת המודיעין האמריקאית. הגודל מדהים. מדובר למעלה משלשת אלפים ארגונים שונים (3202 לפי הספירה של העיתון בזמנו), שני שליש מהם פרטיים, המפוזרים במעל עשרת אלפים מקומות שונים ברחביי ארה"ב. למעלה מ 850,000 איש מחזיקים בסיווג הביטחוני  המקסימלי, בוואשינגטון עצמה, נבנו מאז 2001 אתרי מודיעין עם שטח רצפה של מיליון וחצי מטר מרובע. האנליסטים המועסקים בארגונים אלו מייצרים 50,000 דוחות בשנה, שלא ברור שיש מי שיכול לקרוא אותם, ויותר לענייננו, כמות כזו של יצרני מודיעין, מחייבת כפילות, ולדוגמא היו יותר מ-51 רשויות פדרליות וצבאיות המפוזרות ב-15 ערים בארה"ב, ותפקידם לעקוב אחרי זרימת כסף לרשתות טרור ומהן. איך יוצרים מכל זה תמונה קוהרנטית?

Caravaggio, The Fortune Teller 1596-97

פחות או יותר באותו זמן, רשות המחקר המתקדם של שרותי המודיעין (IARPA) האמריקאית יזמה תחרות בין מספר קבוצות אקדמיות נבחרות בשאלה מי יכול לנבא יותר טוב מאורעות עתידיים. הכוונה הייתה, שכל קבוצה תגייס כמה אלפיי מתנדבים שיצטרכו לנבא מראש מאורעות "חדשותיים". הנה כמה דוגמאות למאורעות כאלו מהשנה הראשונה לתחרות:

מי יבחר לנשיא רוסיה ב-2012?

האם דניאל אורטגה יבחר שוב לנשיאות ניקרגואה בסוף 2011?

האם יהיה עימות קטלני בו יהיו מעורבים כוחות ממשלתיים בים סין הדרומי, או המזרחי עד סוף 2011?

האם מדד ניקי 225 יסיים מעל 9500 ב-30 בספטמבר 2011

האם השגרירות הבריטית בטהרן תפתח ב-29 בפברואר 2012?

וכן הלאה וכן הלאה. השאלות הוצגו מספר חודשים לפני שתוצאותיהן הובררו. חלק מהשאלות הפכו מהר מאוד לטריוויאליות (הוברר שפוטין יהיה הנשיא), וחלקן הראו למה אי אפשר לנבא (ביום האחרון, דייג החליט משום מה להילחם בסירת משמר בים סין הדרומי. טכנית, היה מדובר בסכסוך קטלני, אם כי לא מהסוג שמישהו חשב עליו). ולבסוף, חלק מהשאלות התחילו כשאלות שקשה מאוד לענות עליהן בוודאות, והפכו, ככל שהתקרב לסיומו לקלות יותר (מדד הניקי ביום הקובע, לדוגמא).

כל אחת מהקבוצות, הייתה צריכה לבחור את המשתתפים, להכין  אותם כרצונה, ולעבד את הנתונים כרצונה. לאחר תחילת הטורניר, כל קבוצה הייתה צריכה לקבוע ולהגיש הסתברות יומית לתוצאת כל אחת מהשאלות הפתוחות, המבוססת על התחזיות שקיבלו. התחרות הייתה על סה"כ הניחושים היומיים.

REMBRANDT, JOSEPH TELLING HIS DREAMS 1638

השאלה הראשונה היא מהי תחזית טובה. החזאי אומר כל יום מהי ההסתברות שירד מחר גשם. בפועל או שיורד גשם או שלא יורד. נניח שההחלטה אם ירד גשם או לא היא באמת מקרית. מצד אחד יש לנו תחזית ששונה ממש מ-0 או מ-1, ובפועל, או שירד גשם או שלא. על סמך יום בודד אין משמעות אפילו לטענה "החזאי צדק היום". לכל היותר ניתן לומר "היה לו מזל היום, והצליח".

הצפייה הראשונה מהחזאי היא שב-30% אחוז מהימים שבהם הוא צפה לגשם בהסתברות 30%, אכן ירד גשם. וב-50% מהימים שבה תחזית הגשם דברה על 50% לגשם, אכן ירד גשם. חזאי שעומד בדרישה הזו הוא חזאי חסר הטיה, או חזאי מכויל היטב.

כקוריוז, אציין, שחזאי לא חייב להבין במטאורולוגיה כדי לייצר תחזיות חסרות הטיה. הוא פחות או יותר יכול להניח, שמה שהיה הוא שיהיה. זו תוצאה מתמטית  מרתקת, שבעצם, כפי שאני מבין אותה, היא ההצדקה לסטטיסטיקה, ואם רוצים, זו התשובה לדייוויד יום.

אבל חוסר הטייה היא דרישה חלשה. אם בירושלים יש 45 ימי גשם בשנה, והחזאי יאמר בכל יום שההסתברות לגשם היא 12.5% הוא יהיה חסר הטיה ומכויל מאין כמוהו למרות שתחזיתו חסרת כל תועלת. נשווה אותו לחזאי שקובע במשך 6 חודשים בשנה, שההסתברות לגשם היא 25%, ו-6 חודשים שההסתברות היא 0. שני החזאים מכוילים כמעט באותה מידה, אבל בכל זאת ברור לנו שהשני טוב יותר (למרות שגם הוא חסר תועלת).

מדוע בעצם? נחליף עתה "גשם" ב-1, ו"לא גשם" ב-0. כעת ניתן לדבר על המרחק בין התחזית (מספר בין 0 ל-1 המייצג הסתברות) למציאות (אחד המספרים 0 או 1). בימים יבשים בחורף, התחזית של החזאי הראשון קרובה יותר למציאות משל תחזיתו של חברו. אבל בשאר הימים החזאי השני קרוב יותר למציאות. לכן, כדי להשוות צריך לדבר על המרחק הממוצע. המשתמשים בסטטיסטיקה מעדיפים, מסיבות היסטוריות ואחרות, להתייחס לממוצע ריבוע המרחק. בירושלים יורד גשם בשמינית מהימים ואז הטעות היא 7/8 (1 של הגשם פחות 1/8 של התחזית), בעוד שב 7/8 מהימים הטעות היא  1/8 (0 עבור "אין גשם" פחות 1/8 של התחזית), לכן אצל החזאי הראשון המרחק הממוצע הוא שמינית כפול 7/8 בריבוע ועוד 7/8 כפול 1/8 בריבוע, בסה"כ, הטעות הריבועית היא בממוצע 7/64.

החזאי השני אינו טועה בקיץ. ובמחצית השנה הגשומה הוא טועה עם טעות ריבועית ממוצעת של 3/16. בסה"כ, הטעות הממוצעת שלו לאורך השנה הוא 3/32, או קצת פחות מהחזאי הראשון.

אז איך בונים חזאי? השיטה הרגילה היא זו. מחפשים כל מיניי עובדות רלוונטיות. לדוגמא, החזאי השני השתמש בעובדה יחידה:  האם מדובר בעונה הגשומה או לא. אם המאורע שמנסים לנבות אותו היא האם צרכן של אמזון יקנה את המוצר, נתונים רלוונטיים יכולים להיות, האם הוא קנה מוצר דומה בעבר? האם הוא בדק מודעות קודמות? באיזה דחיפות הוא קונה? באיזה אזור הוא גר? גילו? באיזה מוצרים הוא  מתעניין? לכמה מודעות נחשף? וכן הלאה. בשלב השני, מתרגמים נתונים אלו למספר, ובד"כ, מחברים את הנתונים האלו, במשקלות שונים, ומקבלים ציון רלוונטי. ציון זה לא חייב להיות בתחום שבין 0 ל-1,ולכן לא יוכל לייצג הסתברות. בשלב השלישי, הופכים את הציון הנ"ל למספר בין 0 ו-1, בעזרת פונקציה פשוטה זו או אחרת.

נשאר רק לומר, איך מוצאים את המשקלות. והתשובה הפשוטה היא בעזרת נתוניי העבר. מחפשים את המשקלות שנותנים את ה"חזאי" הטוב ביותר להתנהגותם של הצרכנים שידוע באם קנו או לא. בפרפרזה על דבריו של נילס בוהר: : לחזות זה די פשוט, במיוחד את העבר.(אם כי, בכותבי שורות אלו,AccuWeather, בעזרת מכ"ם העננים, טוענת שמעבר לכל ספק סביר, הדבר הלבן המרחף באוויר בשעה האחרונה בפילדלפיה ונערם על הקרקע מתחת לחלוני, אינו שלג אלא גשם…).

Raphael, The Prophet Isaiah 1511-12

כעת שיש לנו קריטריון לחזאים טובים, בו נראה מה ניתן ללימוד מהטורניר שהוזכר למעלה. הממצאים די מעניינים, ולא בהכרח פשוטים.

ראשית, אין הבדל דרמטי בין "מומחים" לשאר. בין הקוראים המשכילים של הניו-יורק טיימס, לבין האנשים שבמקצועם בתחום (מומחים לפוליטיקה או מנהל עסקים).

שנית, יש בין החזאים, כאלו שהם טובים יותר מאחרים, ובאופן משמעותי ועקבי, מצליחים יותר בתחזיותיהם. אלו שהיו טובים בשנה הראשונה, היו טובים יותר גם בשנה השנייה.

לא באמת יודעים לנבא מיהם החזאים הטובים על סמך נתונים אישיים, או מבחני אישיות. האם הם פשוט אלו שמתייחסים ברצינות יותר גדולה לטורניר, ומקדישים יותר זמן לתחזיותיהם?

שוק ניבויים אינו שיטה יעילה לניבוי. אפשר להוציא יותר מאותם משתתפים בשיטות פחות סקסיות.

תרגול, ועבודה בקבוצות כנראה משפרים את החיזוי.

לא כדאי כנראה, למצע את התחזיות כמות שהם. כדאי להדגיש יותר ערכים קיצוניים. אנשים רציניים נוטים להיזהר יותר מדי בתחזיותיהם. עקרונות חוכמת ההמונים לא כל כך עובדים כאן (אם הם עובדים באיזשהו מקום).

חוכמת הטובים. הרבה המונים אינם עדיפים על מעט טובים.

דרך אגב, אם ברצונך להשתתף בטורניר הבא, הם בהחלט מחפשים מתנדבים, ראה http://www.goodjudgmentproject.com./

Rembrandt, The Prophetess Anna (Rembrandt's Mother), 1631

משפטיי המספרים הגדולים, שהם תוצאה מתמטית פשוטה, קובעים, אם ארשה לעצמי להתבטא כלא מתמטיקאי, את הדבר הבא. ממוצע של הרבה תצפיות חוזרות שהינן, ככלל, לא תלויות, וערכיהן, נאמר, חסומים, כמעט שאינו תלוי בגודל המדגם, ובלבד שישנן מספיק תצפיות.

כדי לטעון לחוכמת ההמונים, לפחות במושגיה המעניינים, צריך להוסיף טענה ניו אייג'ית, ובעליל לא מתמטית או אמפירית, הקובעת שממוצע של מספר רב של דעות הוא "נכון" ו"מתאים למציאות". האם הטענה הזו נכונה, או סבירה? ממש לא. לאנשים אין שום יכולת להעריך כמה סוכריות יש בכד, האמונה, שבממוצע, הניחוש המקרי שלהם מתאים למציאות, היא אמונה בעולם טוב ומופלא שבו הכול מסתדר ומתאים. מה שאינו מוסרי, אינו בריא (בשר וחלב, לדוגמא), מה שאינו טבעי אינו בריא (GMO, חיסונים, פסטור רחמנא לצלן, פלוריזציה)  התבונה מתאימה במופלא לעולם סביב לה: "מי ששומר על כדור הארץ, על זכויות הפועלים וזכויות בעלי חיים מיטיב גם עם עצמו ועם בריאותו."  חבל, אבל לאמונה זו אין יסוד. ודרך אגב, גם אם לשתות חלב זה לא מוסרי, עדיין, אין אין מקור צמחי סביר לסידן.

אנשים רבים, כולל בין קוראי בלוג זה ומבקריו, מתפרנסים ממציאת הטיות שיטתיות בשיפוט. יש הרבה הטייות שיפוט, והטיות לא מתבטלות על ידי הממוצע. האם יש סיבה אבולוציונית לקביעה שאנשים לא מוטים בשיפוטים של משקל חיות גדולות או מספר האפונים בצנצנת? נער הייתי וגם זקנתי, ולא מצאתיה.

אם האבולוציה או הפסיכולוגיה לא עוזרות לנו לבסס את חוכמת ההמונים, מה עם המתמטיקה? המתמטיקה, כדרכה, נותנת תשובה מדויקת וחד משמעית לגבי ממוצע התשובות: ככלל, הוא לא יכול להיות אומד טוב לממציאות. בואו נניח, לשם הטיעון, שאם ההמונים צריכים לנחש כמה אפונים יש בצנצנת. אזי ממוצע הניחושים הוא אומדן פנטסטי למספר האפונים האמיתי. נשנה קצת את הבעיה. ונבקש מאותם המונים לנחש את שורש מספר האפונים (בדוגמא קלאסית אחרת, לא את משקל השור, אלא את שטח העור שלו). אם הממוצע קודם היה אומדן טוב. האומדן כעת יהיה מוטה משמעותית כלפי מטה (זו מסקנה מתמטית הנובעת מאי שוויון ינסן: ממוצע של השורש של מספרים שונים, לעולם קטן משורש הממוצע של אותם מספרים). כך ואכן, בניסוי החיזוי שתואר קודם, כדי שהממוצע יהיה נבאי טוב, היה צריך להפעיל פונקציה לא לינארית על הניחושים.

מודעות פרסומת