לפני זמן מה הצטרפתי לקבוצת ווטסאפ ״301 העולם הערבי״. זאת קהילה מנוהלת (moderated) של אנשים שמתעניינים בנעשה במזרח התיכון ושעיסוקם נוגע בו. באיזשהו שלב רציתי להבין את הדינמיקה של הקבוצה: כמות ההודעות, כמות המשתתפים וכו׳. מאז, בכל יום ראשון, אני מפרסם כמה גרפים נחמדים לקבוצה כדי אנשיה יידעו מה קורה. מאחר ונשאלתי כמה פעמים איך אני עושה את הניתוח הזה, החלטתי לכתוב פוסט.

בעיקרון, יש שתי דרכים לאסוף נתונים מדיוני ווטסאפ. הדרך הנכונה והדרך הלא נכונה. אתאר קודם את הדרך הלא נכונה.

איך לא צריך לאסוף את פרטי ההשתתפות של קבוצת ווטסאפ

הדרך הלא נכונה לאסוף את פרטי ההשתתפות של קבוצת ווטסאפ זה ללכת לקבוצה עצמה, להקיש על שלוש נקודות למעלה, להמשיך ל־more ומשם ל־export chat. אחרי זה אפשר, כביכול, לשמור את תוכן הצ׳אט בדרופבוקס ואז לנתח את התוכן באמצעות סקריפט של פייתון.

למה זאת לא הדרך הנכונה?

הדרך הזאת מאוד בעייתית מכמה סיבות. קודם כל, בכל פעם אנחנו רוצים לעדכן את הנתונים, אנחנו מורידים את כל ההסטוריה. כולה. בקבוצות מאוד פעילות, גודל ההסטוריה עלול להיות כבד ומשמעותי. דבר שני, תוכן ההודעות יורד כקובץ טקסט בלי שדות מוגדרים, מה שמצריך כתיבה של האוריסטיקות די מגעילות. התוצאה לא לגמרי יציבה ומועדת לפורענות, במיוחד עם הטקסט משלב עברית. 

בעיה נוספת היא הצורך בהתערבות ידנית. במילים אחרות הפתרון הזה לא מאפשר בניית כלי אוטומטי. בקיצור, אל תעשו את זה.

איך צריך לאסוף פרטי השתתפות של קבוצת ווטסאפ?

קיימים מספר פתרונות api שמאפשרים קריאה מסודרת הרבה יותר של יציבה, כולל נותני מטה של ההודעות. שיטות אלו עדיפות בהרבה.

מה אני עשיתי?

כמובן, שהלכתי על הדרך המהירה והלא נכונה. אני מוריד את תוכן הצ׳אט לדרופבוקס, מחכה כמה שניות ומריץ סקריפט של פייתון שמייצר את הגרפים. אני יודע שלפעמים אני מפרסס את ההודעות בצורה לא נכונה, אבל מאחר ואף אחד לא מקבל החלטות הרות גורל על בסיס המספרים שלי, אני חי עם זה בשלום. אני גם יודע שאני מבזבז רוחב פס וזמן מעבד על תהליך תת־מיטבי וגם כאן, לא כל כך איכפת לי כי אני עושה את הניתוח הזה רק עבור קבוצה אחד ורק כשמתחשק לי.

האם אפשר לקבל את הקוד?

נו בוודאי!  הקוד זמין בגיטהאב כגיסט.