איזה ציון מקבלת בינה מלאכותית בספרות ובאמנות?

באחרונה אני נלהב לחקור יכולות שונות של פלטפורמות בינה מלאכותית (AI) בתחומים שונים. ברשומה זו נבחן יכולות של בינה מלאכותית להבין ולנתח שירה עברית ולהמירה ליצירה אמנותית. התסכימו אתם להיות השופטים לביצועים שיוצגו כאן בהמשך?

מי שמבקרים בבלוג זה יתקלו במדור שבו אני מאגד שירה שאני כותב. אני תמיד תוהה כמה בכלל מתעניינים וקוראים אותה כאן. האם היא בכלל מובנת לקוראים? האם בקריאה הם יורדים לדקויות הכתיבה ולמסרים שאני מעביר בה? איזה רגשות היא מעוררת? לא רבים הם המגיבים לשירים שלי. מעטות הן גם התגובות היותר מפורטות כפידבק עבורי. פעם השתתפתי בפורום ספרותי של כותבים ומבקרים שלביקורתיהם התייחסתי ברצינות רבה. אבל הפורום הזה התפוגג ואיננו עוד. אני גם לא מבקר ומפרסם בפייסבוק בשביל לקבל לייקים. נתקלתי בקוראים שמסמנים לייק בין אוהבים שיר או לא אוהבים. תגובה טיפוסית כזו או אחרת כמו "תודה", "יפה" או סימון ❤️ אינה פידבק מספק עבורי.

לכן, אני תוהה כל הזמן האם הכתיבה והמסרים שלי מובנים? כנאמר, "האם הקורא הבין למה התכוון המשורר?

למיטב ידיעתי, לתוכנות הבינה המלאכותית עצמן אין עדיין היכולת לכתוב בעצמן שירה מעבר לרמת ילדים בכיתה ד'. נכון לעכשיו התוצאות ממש אינן טובות. אך רציתי לבחון את יכולתן לנתח שירה שנכתבת על ידי אדם. והאם הן יכולות ליצור מאותה שירה יצירה ויזואלית (ציור/תמונה). 

לצורך המחקר הזה, מתבקש לבחון את היכולת לנתח טקסט שירה באחת משתי ה- AI הנפוצות - Gimini של גוגל או ChatGtp של OpenAI. כדי ליצור יצירה ויזואלית, מרבים להשתמש בתוכנת הבינה מידג'רני (Midjourney). אני בחרתי ב-  ChatGtp4o בתשלום, משום שהיא מסוגלת גם לעבד טקסטים ובעזרת הרכיב האינטגרלי שלה (dall-e3) - יש לה גם היכולת לתרגם את הניתוח הטקסטואלי של השירה ולהפוך אותו ליצירה ויזואלית. 

אני אעשה כעת ספויילר, ל- ChatGtp 4o (גירסת תשלום) יש לדעתי יכולת מדהימה לניתוח טקסטואלי של שירה עברית (לפחות זו שאני כתבתי), כפי שהודגמה בלמעלה מ- 95% מ- 200 שירים שלי. יש לה יכולות הבחנה באלמנטים רגשיים, בדקויות טקסטואליות, בסמלים ודימויים. כפי שתראו בהמשך. למעשה, אני חושב שהיא עושה את זה טוב יותר מהרבה אנשים שקוראים את השירה שאני כותב. הי, מורים לספרות, היזהרו מתלמידים שיגישו לכם עבודות שכתבה אותן בינה מלאכותית. כפי שתראו בדוגמאות שאביא בהמשך, הניתוח הספרותי לרוב טוב יותר מאשר אילו אני הייתי כותב אותו.

ומה לגבי היכולת להעברה טקסטואלית של השירה ליצירה ויזואלית (תמונה או ציור). גם כאן לרכיב ה- dall-e3 יש יכולת מדהימה להמיר את השירה לתמונות. בכ- 80% מהשירים הבינה יצרה בניסיון הראשון יצירה אמנותית מהזנת טקסט השיר המקורי, כפי שהוא. בשאר המיקרים קיבלתי תמונה או ציור לשביעות רצוני לאחר צורך בבקשת עריכה אחת או שתיים מן הבינה המלאכותית.

הרי מספר דוגמאות לשיפוטכם:

ידועה האימרה ש"טובה תמונה אחת מאלף מילים". כך יחסית לפרוזה גם השירה מהודקת מאוד באופן שבשיר קטן (אם עושים את זה טוב), אפשר להביע בו לעיתים יותר מאלף מילים של פרוזה. 

על כן ערכתי ניסיון ובתחילה ביקשתי מהבינה לנתח שירים  קצרים שלי מז'אנר הייקו, בני שלוש שורות בלבד. לפניכם שיר קצרצר שכתבתי אותו לאחר צפיה בסצנה בנשיונל ג'אוגרפיק. שהשאירה בי רושם רב:

כדרך הטבע

גּוּפַת לְבִיאָה שְׂרוּעָה בְּדָמָהּ
לַהֲקַת כְּפִירִים וְגוּרִים מִתְכַּנֶּסֶת -
טֶקֶס אַשְׁכָּבָה

התוצאה (או מה שהבין מהשיר ה- chatgtp):

"הטקסט מתאר סצנה טבעית ועוצמתית של מוות והתכנסות להקת אריות. לביאה, שהיא כנראה המנהיגה והאם של הלהקה, שוכבת מתה בדמה, והלהקה שלה - המכילה גם גורים וגם צעירים— מתכנסת סביבה. זהו רגע מיוחד שבו החיות מפגינות כבוד ואבל, המזכיר טקס אשכבה אנושי, אך במסגרת טבעית, שבה המוות והחיים משולבים באופן בלתי נמנע. המראה של גופה של המנהיגה מייצג את סיום שלב אחד במחזור החיים של הלהקה, וההתכנסות של הצעירים סביבה מראה את הקשר בין החיות ואת הרגע שבו הן נפרדות מהאם או המנהיגה שלהן".

בבקשה מהבינה ליצור ציור בהשראת הטקסט, התקבלה התוצאה הבאה:

*

2. כמשימה שניה ביקשתי מהבינה ליצור יצירה ויזואלית לשיר "נוף":

נוף

מִן הַמִּרְפֶּסֶת
אֵד מָלוּחַ בַּמִּדְבָּר
שָׁם בָּאֹפֶק
הָרֵי מוֹאָב מַאֲפִירִים
לְיוֹם בָּהִיר

תגובת הבינה: 

" אצור עבורך ציור בהשראת השיר. הכוונה היא לתאר נוף מדברי מהמרפסת, עם אווירה מלוחה באוויר, כשבמרחק נראים הרי מואב האפורים, נישאים תחת שמיים בהירים.

אני אתאר את הפרטים שאשלב ביצירה: מרפסת פשוטה הפונה לנוף מדברי רחב ידיים, האוויר נראה מעט מעורפל מהחום או מהאד המלוח המתואר, ובאופק הרחוק אפשר לראות את קווי המתאר של הרי מואב מתנשאים באפור, כשהשמיים בהירים ומעט קודרים.
הציור ישדר את האווירה המדברית המסתורית עם הדגש על השלווה והמרחק.
אני אתחיל ביצירה, רגע".

וזו התוצאה הויזואלית שיצרה הבינה:

*

3. ביקשתי מהבינה ליצור ציור בהשראת השיר: 

השתקפויות חיי

אֲנִי מִתְמַכֵּר לְשִׁיר

רֶגַע חוֹזֵר לִמְחוֹזוֹת יַלְדוּתִי

רֶגַע מִתְבַּגֵּר

סוֹבֵב הַתַּקְלִיט

הַשִּׁירִים הַיָּפִים הֲכִי עֲצוּבִים

נוֹסְטַלְגְּיָה בְּעוֹלָם אַכְזָר

בַּמַּרְאָה מִשְׁתַּקְּפוֹת

דִּמְעוֹת עֵינַי.

הניתוח הטקסטואלי של הבינה:

הציור בהשראת השיר "השתקפויות חיי" יכול לתאר דמות המביטה במראה, שבה השתקפות הדמעות זולגות מעיניה, וכל רגע של חייה משתקף במראה. במקביל, אפשר לראות תקליט מסתובב ברקע, מנגן שירים עצובים ומלאים בנוסטלגיה, המסמלים את המסע מהילדות ועד הבגרות.

הצבעים יכולים להיות רכים ומלאי תחושה של עבר, עם השתקפויות המעוררות זיכרונות מתקופות שונות. תחושת הנוסטלגיה והעצב נוכחת, אבל גם יש יופי ברגעים האלה.

אני אצור עבורך ציור שיבטא את התחושות והרגשות האלה.

התוצאה:

*

4. ביקשתי ליצור תמונת דימוי לשיר - 

רוחות קדים

מְלַטֵּף עַצְמִי לְהָפִיס

עוֹר מְחֻסְפָּס מֵרוּחַ

יֹבֶשׁ קָדִים מְנַשֵּׁב

וַאֲפִלּוּ רוּחַ יָם לְקָרֵר

לֹא יָכוֹל לוֹ, לֹא יָכוֹל

דְּיוּנוֹת חוֹל לְשַׁטֵּחַ

וְהַחַג נוֹדֵד בְּדַבֶּשֶׁת

אֶל נְוֵה הַמִּדְבָּר שֶׁלִּי

הֶהָרִים סְבִיב, הוֹד וְהָדָר

צְחִיחִים בִּבְדִידוּתָם.


והתשובה של הבינה:

כדי ליצור דימוי חזותי לשיר "רוחות קדים", אתאר תמונה שתשקף את התחושות והנופים שמוצגים בו.
תיאור התמונה:

במרכז התמונה מופיעה דמות אדם, יושב או עומד בתוך מדבר צחיח, עוטף את עצמו בידיו ומנסה להרגיע את גופו המתמודד עם הרוח החמה. העור של הדמות נראה מחוספס ומיובש, כאשר רוחות הקדים נושבות בעוצמה ומרימות גרגרי חול שמסתחררים סביבו. הרוח מורגשת בעוצמה, כאילו שום דבר לא מצליח להקל מהחום והיובש.

סביב הדמות נפרשות דיונות חול המשתפלות באלגנטיות אל האופק, משטחות לנוכח הרוח. הדמות נדמית בודדה, אך גאה - חג הנודד אל "נווה המדבר" שלו. נווה המדבר נראה רחוק, בקצה המדבר, רמז קטן של ירוק במרחק בלתי נגיש.

ההרים המוזכרים בשיר, "הרים סביב הוד והדר," מופיעים ברקע, אך הם אינם ירוקים או פורחים; הם סלעיים, חשופים וצחיחים, כמו פסלים טבעיים אדירים בבדידותם. השמים מעליהם נקיים, צלולים עם גוון של שקיעה קלושה, והשמש שוקעת מאחוריהם, שוטפת את הסצנה בגוונים חמים של זהב ואדום.

התוצאה הויזואלית: במקרה זההבינה נתנה לי שתי אפשרויות לבחירה:

**אשמח לשמוע דעתכם בתגובה, איזו תמונה משתי התמונות למעלה טובה יותר לטעמכם?

*

5. ביקשתי ניתוח ויזואלי של שיר מורכב יותר: 

אשר נכתב ולא פורסם

אֲשֶׁר נִּכְתַּב וְנִשְׁמַר
וְלֹא נֶאֱמַר
לֹא יַחְדֹּר חוֹמוֹת
מֵיתָרלֹא יַרְעִיד
לֹא יַנְבִּיט זֶרַע
בְּאַדְמַת נֵכָר
לֹא יִפְרָח.

חֲזוֹן בֶּן אָמוֹץ מָחַק
אֶת כָּל טְיוּטוֹת חַיָּיו
בִּלְחִיצַת מַקָּשׁ אַחַת
כְּבָר-לֹא יֵדַע,עוֹלָם
אֶת אֲשֶׁר הָיָה בְּלִבּוֹ
שֶׁשָּׁקֵט בְּרִיק
וְנָדַם. 

ניתוח טקסטואלי של הבינה:

כדי ליצור תמונת דימוי המבוססת על השיר שלך, אתאר סצנה ויזואלית שתשקף את התחושות והדימויים שבמילים.

תיאור התמונה:

המרכז של התמונה הוא כתב יד על דף ישן, מאחורי חומה גבוהה, בלתי נגיש, עם אווירה של דממה וחוסר תנועה. הדף עצמו מואר קלות, אך סביבו שוררת אפלה רכה הממחישה את ה"ריק" ותחושת ההיעלמות שהשיר מבטא. ערמת דפי שירה שמוטה על גבי רקע של אדמה סדוקה כסמל למיתרים פקועים ולמוזיקה שלא תנוגן עוד. זו קרקע זרה, אדמה קשה ויבשה שלא מצמיחה דבר, מכוסה בשכבה דקה של אבק.

ממעל, דמות מטושטשת של נביא, בן-דמותו של ישעיהו בן אמוץ, מוחק טיוטות חיים במסך מחשבו. המקשים מסמלים מצבות קטנות, ותחושה של אובדן מוחלט. התמונה כולה משרה שקט מוחלט ודממה עמוקה, על רקע של אור עמום.

וזו יצירת התמונה הויזואלית שהציגה הבינה לשיר:

 
והרי דגימה נוספת בקולאז' מתוך אוסף מאתיים "שיר-תמונה" שיצרנו ©️:

 ©️ קנקן

ניהנתי מאוד מפרוייקט המחקר הזה (שנערך כשנה) לבחינת יכולות הבנה טקסטואלית ויצירה ויזואלית של השירה שלי. הפרוייקט כלל מדגם של מאתיים שירים (n=200). המדגם כולל החל משירה בת 3 שורות ועד לשירים בעלי מספר בתים). למיטב ידיעתי לא נערך מחקר בהיקף כזה לשירה של משורר/מחבר יחיד. כאשר המחבר הוא למעשה הסמכות הגבוהה ביותר לבקרת איכות. לשפוט אם הבינה ירדה לדקויות ולכוונות המסרים של הטקסטים שהוא כתב.

והרי לפניכם סיכום ציוני הביצועים (גודל דגימה n=200)

במדגם זה של 200 שירים, שיעור יכולת ההבנה וההבחנה בדקויות הטקסטואליות של השירה מרשים ביותר ועומד על ציון 97 (יחס ההצלחה למאה שירים). רק בשיר אחד מתוך המדגם, הבינה ציינה שיש לה בעיה בהבנה לוגית של השיר והיה צורך לספק לה הבהרות. בשני שירים נוספים בלבד מתוך מאה, היו כשלי הבנה מינורים - כלומר הבינה לא ירדה לדעתו של המחבר במלואה. אבל לא מן הנמנע שמתוך אוכלוסיית קוראי שירה אנושיים יש קשיי הבנה העולים על 3% ממנה 🙂. (לאלה שאינם מכירים, ניתן לבחון את השירה שלי (רבת הז'אנרים) בקישור למדור השירה בבלוג זה.

גם היכולת של הבינה ליצור תצוגה ויזואלית של השירים לשביעות רצוני בניסיון ראשון ללא עריכה מרשימה למדי וקיבלה את הציון 80. למעט שני שירים בלבד הבינה לא סיפקה תמונות לשביעות רצוני בשלוש בקשות עריכה. לשיר אחד הבינה סירבה להנפיק תמונה בשל מדיניות"מניעת השפעות שליליות על הציבור - זה הוא שיר המכיל מוטיבים קשים של מוות". ציינתי שמדובר רק בדימויים ולא במציאות. כתגובה הבינה ציינה: "אני מבין שמדובר בסמלים, אבל בהצגתם עשויות להיות השפעות שליליות בציבור רגיש ולכן אינני יכול ליצור עבורך ויז'ואל לשיר". נו, שיהיה. ויתרתי לצנזורה של הבינה 😉.

רשומה זו היא מיצג חלקי ומוגבל של המחקר ומתפרסמים בה תקציר ותוצאות חלקיות בלבד מתוך המחקר המלא. מלוא הטקסטים, הניתוחים והויז'ואל שמורים עם המחבר.

פרומו לרשומה הבאה:

כאמור המחקר הנ"ל בדק ביצועים של chatgtp 4o (גירסת תשלום). שלשום Open AI השיקה עדכון גירסה. האם העדכון טוב יותר מהגירסה שבעזרתה נערך מחקר זה? זה יהיה נושא הרשומה הבאה, שבה יושוו ביצועי שתי הגירסאות. ספויילר - יהיה מעניין.

***

©️ אין להעתיק או לפרסם מחקר זה או חלקיו בכל אמצעי המדיה למיניהם ללא קבלת רשות בכתב מאת המחבר. בהפניות למחקר זה חובה לקשר לרשומה זו.