Extensive Form Game

Extensive Form Game
“Burn the Boats”
“let’s burn the ‫• לעיתים אנחנו שומעים את הביטוי‬
?‫ מה הכוונה‬.boats”
B ‫– לוותר על אלטרנטיבה‬
A ‫– ובכך לא להותיר ברירה ולנסות להשיג‬
• Paradox of commitment
• It is by limiting my own options that I can manage to
influence the rival’s course of actions in my interest.
Hernan Cortes and the Aztecs
• From a good Spanish
family.
– Failed at being a
European soldier.
– Failed at becoming a
lawyer.
Cortes was hungry for
wealth and recognition.
Cortes
• 1519 – landed on the
coast of Mexico with :
– 600 men, 16 horses, and
a few cannon.
• WHY WOULD CORTES
BURN HIS SHIPS WHEN
HE GOT TO THE NEW
WORLD?
Think of Cortes trying to motivate his own soldiers
Fight
Hard
Keep
Ships
C
S
Be
careful
S
Fight
Hard
C = 100, S = 0
C = 0, S = 10
C = 100, S = 0
Burn
ships
Be
careful
C = -100, S = -100
5
If no retreat possible, will fight hard or die. But if retreat is possible, may fight less
hard and ‘run away’
Fight
Hard
Keep
Ships
C
S
Be
careful
S
Fight
Hard
C = 100, S = 0
C = 0, S = 10
C = 100, S = 0
Burn
ships
Be
careful
C = -100, S = -100
6
So Cortes wants to burn his ships. It is a credible commitment not to retreat – and
this alters how his own troops behave.
Fight
Hard
Keep
Ships
C
S
Be
careful
S
Fight
Hard
C = 100, S = 0
C = 0, S = 10
C = 100, S = 0
Burn
ships
Be
careful
C = -100, S = -100
7
Burn the boats ‫עוד על‬
?‫• היכן נתקלנו בזה עד כה‬
‫ ובכך ביטול‬steal -‫ – התחייבות ל‬Golden Balls –
split -‫האופציה ל‬
chicken game -‫– עקירת ההגה ב‬
• Business guru, Tom Peters swears by Cortés’
destructive strategy by going so far as to suggest that every company hire a CDO – a Chief
Destructive Officer.
‫מימד הזמן ‪Extensive Form Game -‬‬
‫• מימד הזמן וסדר הפעולות ‪ -‬מרכיב משמעותי‬
‫בניתוח משחק‬
‫• תצוגת ה‪ normal form game -‬לא משלבת שום‬
‫מרכיב של סדר הפעולות )‪ (sequence‬או זמן‬
‫– השחקנים פועלים בו זמנית‬
‫• תצוגת ה‪ extensive form game -‬הינה‬
‫אלטרנטיבה שמייצגת גם את המרכיב הטמפורלי‬
‫שבמשחק‬
‫‪– perfect information extensive-form games‬‬
‫‪– imperfect-information extensive-form games‬‬
Perfect Information Extensive Form
Game
• A (finite) perfect-information game (in extensive
form) is defined by the tuple (N ; A ; H ; Z ; χ ; ρ ; σ
; u), where:
– Players: N
– Actions: A
– Choice nodes and labels for these nodes:
• Choice nodes: H
• Action function: χ : H → 2A assigns to each choice node a set
of possible actions
• Player function: ρ : H → N assigns to each non-terminal node
h a player iϵN who chooses an action at h
–
.
Perfect Information Extensive Form
Game
• A (finite) perfect-information game (in extensive
form) is defined by the tuple (N ; A ; H ; Z ; χ ; ρ ; σ
; u), where:
– Terminal nodes: Z is a set of terminal nodes, disjoint
from H
– Successor function: σ : HxA → H U Z maps a choice
node and an action to a new choice node or terminal
node such that for all h1,h2 ϵ H and a1,a2 ϵA, if σ(h1,a1) =
σ(h2,a2) then h1 = h2 and a1 = a2
•
Choice nodes form a tree: nodes encode history
– Utility function: u = (u1,…,un); ui : Z → 𝑅 is a utility
function for player i on the terminal nodes Z
.
‫דוגמה – ‪The Sharing Game‬‬
‫• אח ואחות צריכים לחלק ביניהם ‪ 2‬דולר‬
‫• האח מתחיל‬
‫• אם האחות לא מסכימה אז שניהם מקבלים ‪0‬‬
‫אסטרטגיות‬
‫• כמה אסטרטגיות טהורות יש לכל שחקן במשחק?‬
‫– לשחקן ‪ 1‬יש ‪ 3‬אסטרטגיות )‪(2-0,1-1,0-2‬‬
‫– לשחקן ‪ 2‬יש ‪ )2^3( 8‬אסטרטגיות‬
‫אסטרטגיה טהורה ‪ -‬הגדרה‬
‫• אסטרטגיה טהורה של שחקן ב‪perfect -‬‬
‫‪ information game‬היא הגדרה מלאה של‬
‫הפעולה בה ינקוט עבור כל צומת )‪ (node‬השייכת‬
‫לשחקן זה‬
‫דוגמה‬
‫• מהן האסטרטגיות הטהורות של שחקן ‪?2‬‬
‫})‪– S2 = {(C,E),(C,F),(D,E),(D,F‬‬
‫• מהן האסטרטגיות הטהורות של שחקן ‪?1‬‬
‫במצב זה לא נגיע לעולם ל‪ H -‬אבל‬
‫עדיין האסטרטגיה הטהורה )‪(A,H‬‬
‫שונה מ‪(A,G) -‬‬
‫})‪– S1 = }(B,G),(B,H),(A,G),(A,H‬‬
‫ש"מ נאש‬
‫• על‪-‬בסיס הגדרת האסטרטגיה הטהורה‪ ,‬ניתן‬
‫להגדיר מחדש גם‪:‬‬
‫– אסטרטגיות מעורבות‬
‫– ‪Best response‬‬
‫– ש"מ נאש‬
‫המרת המשחק ל‪Normal Form -‬‬
‫• ניתן להמיר את ה‪ extensive form game -‬ל‪-‬‬
‫‪ normal form game‬בצורה יחסית קלה‬
‫חשיבות‪:‬‬
‫כל התוצאות‪/‬הוכחות שהתקיימו ב‪-‬‬
‫יתקיימו גם ב‪normal form game -‬‬
‫‪extensive form‬‬
‫יתרונות ה‪extensive form game -‬‬
‫• מאפשר לייצג משחקים שיש בהם אלמנט של זמן‬
‫• מאפשר לייצג משחקים בצורה קומפקטית‪:‬‬
‫– משחקים עם הרבה פעולות‬
‫– מונע חזרה של מצבים (למשל בדוגמה הקודמת היינו‬
‫צריכים ‪ payoff pairs 16‬בעוד שבאמצעות ה‪extensive -‬‬
‫‪ form‬מספיק לנו ‪5‬‬
‫• אבל‪...‬‬
‫– לא כל משחק ניתן לייצג כ‪( extensive form -‬כלומר‪,‬‬
‫המעבר מ‪ normal form -‬ל‪ extensive form -‬לא תמיד‬
‫מתקיים)‬
‫– דוגמה – ‪matching pennies‬‬
‫ש"מ ב‪Extensive Form -‬‬
‫• נובע מכך שאנחנו עובדים בצורה סדרתית‬
‫)‪(sequential‬‬
‫• שימ‪/‬י לב!!! המשפט נכון אך ורק ל‪perfect -‬‬
‫‪( information extensive form game‬כבר ראינו שב‪-‬‬
‫‪ normal form‬יש מצבים שבהם אין ‪ ,PSNE‬למשל ב‪-‬‬
‫‪)matching pennies‬‬
‫• האם יש טעם להשתמש באסטרטגיה מעורבת ב‪-‬‬
‫‪?perfect information extensive form game‬‬
‫– לא! כי ממילא השחקן השני רואה מה עשינו (אני לא מרוויח‬
‫כלום מה‪)randomization -‬‬
‫המרת המשחק ל‪Normal Form -‬‬
‫• מהם שיוויי המשקל על בסיס אסטרטגיות טהורות‬
‫במשחק?‬
‫‪Subgame Perfection‬‬
‫• ש"מ )‪ (BH,CE‬קצת מוזר – למה ששחקן ‪ 1‬ישחק ‪ H‬אם יש לו גם‬
‫את האלטרנטיבה ‪?G‬‬
‫– למעשה הבחירה ב‪ H -‬היא האיום ששומר עלינו בש"מ – שחקן ‪ 2‬יודע‬
‫שאם יבחר ב‪ F -‬אז שחקן ‪ 1‬יבחר ב‪ H -‬ולכן עדיף לו לבחור ב‪E -‬‬
‫– אבל האמנם זה איום אמין? האם באמת שחקן ‪ 1‬יפעל כך ברגע‬
‫האמת?‬
‫הגדרה פורמלית‬
‫ אם‬G ‫ של‬subgame perfect equilibrium ‫ הוא‬s •
-‫ ל‬s ‫ הנגזרת של‬,G ‫ של‬subgame G’ ‫ורק אם לכל‬
G’ ‫ של‬Nash equilibrium ‫ היא‬G’
‫דוגמה‬
Subgame G’
‫( הוא לא‬BH,CE) ‫ היא לא ש"מ נאש ולכן הפיתרון‬H ‫ הזה הפעולה‬subgame -‫ב‬
subgame perfect equilibrium
‫נקודות נוספות‬
‫• מכיוון ש‪ G -‬הוא גם ‪ subgame‬של עצמו אז כל ‪SPE‬‬
‫הוא גם ‪.NE‬‬
‫• ההגדרה הנוכחית פוסלת איומים לא אמינים ‪non-‬‬
‫‪credible threats‬‬
subgame perfect ‫האם יש לנו‬
?‫ במשחק‬equilibrium
off path ‫( נקראת‬AH,CF) -‫ ב‬H ‫• האסטרטגיה‬
Backward Induction
subgame perfect equilibrium -‫• דרך לחישוב ה‬
‫של משחק‬
all leaf nodes
set of all actions available to player at that node
vector denoting the utility for each player
‫דוגמה – ‪Centipede game‬‬
‫• מהו ה‪?subgame perfect equilibrium -‬‬
‫– שחקן ‪ 1‬בוחר ‪ D‬כבר בתור הראשון‬
‫• תוצאה זו היא ‪ Pareto-dominated‬על‪-‬ידי כל התוצאות‬
‫האחרות (מלבד השניה)‬
‫• האם אנשים ישחקו לפי ש"מ זה?‬
‫• מה צריך שחקן ‪ 2‬לעשות אם שחקן ‪ 1‬בחר ‪ ?A‬לפי ה‪SPE -‬‬
‫עליו לבחור ‪D‬‬
‫– אבל גם שחקן ‪ 1‬היה צריך לבחור ‪ D‬לפי היגיון זה‪ .‬אז אולי‬
‫שחקן ‪ 1‬משחק בצורה לא רציונלית?‬
‫– הנושא נחקר רבות בספרות‬
Example: Mini Ultimatum Game
• Proposer (Player 1) can suggest one of two splits of £10: (5,5)
and (9,1).
• Responder (Player 2) can decide whether to accept or reject
(9,1), but has to accept (5,5). Reject leads to 0 for both
Player 1
(9,1)
(5,5)
Player 2
a
r
91
0
0
55
Mini Ultimatum Game in Strategic Form
Player 1
•
•
propose (5,5)
propose (9,1)
Player
accept (9,1)
5,5
9,1
2
reject (9,1)
5,5
0,0
There are two equilibria:
1.
(propose (9,1), accept (9,1))
2.
(propose (5,5), reject (9,1)).
Equilibrium 2 is in weakly dominated strategies (reject (9,1) is weakly
dominated)
Example: Mini Ultimatum Game
• There is one subgame of length 1, following (9,1)
Player 1
(9,1)
(5,5)
Player 2
a
r
91
0
0
55
Example: Mini Ultimatum Game
• There is one subgame of length 1, following (9,1)
• The optimal action is accept
Player 1
(9,1)
(5,5)
Player 2
a
r
91
0
0
55
Example: Mini Ultimatum Game
• There is one subgame of length 1, following (9,1)
• The optimal action is accept
• There is one subgame of length 2, the whole game
Player 1
(9,1)
(5,5)
Player 2
a
r
91
0
0
55
Example: Mini Ultimatum Game
•
•
•
•
There is one subgame of length 1, following (9,1)
The optimal action is accept
There is one subgame of length 2, the whole game
Taking “accept” in the subgame of length 1 as given, we see
that (9,1) is optimal
Player 1
(9,1)
(5,5)
Player 2
a
r
91
0
0
55
Extensive Form Games with
Perfect Information
Example (172.1)
1
C
E
D
2
2
2
F
G
J
H
K
I
3,0
1,0
1,1
2,1
2,2
1,3
Extensive Form Games with
Perfect Information
Example (172.1)
Player 2 Optimal Strategies:
(FHK),(FIK),(GHK),(GIK)
1
C
E
D
2
2
2
F
G
J
H
K
I
3,0
1,0
1,1
2,1
2,2
1,3
Extensive Form Games with
Perfect Information
Player 2 Optimal Strategies:
(FHK),(FIK),(GHK),(GIK)
Example (172.1)
1
Player 1 Best Responses:
(C),(C),(C or D, or E),(D)
C
E
D
2
2
2
F
G
J
H
K
I
3,0
1,0
1,1
2,1
2,2
1,3
Extensive Form Games with
Perfect Information
Player 2 Optimal Strategies:
(FHK),(FIK),(GHK),(GIK)
Strategy Pairs:
(C,FHK), (C,FIK), (C,GHK),
(D,GHK), (E,GHK), (D,GIK)
1
Player 1 Best Responses:
(C),(C),(C or D, or E),(D)
C
E
D
2
2
2
F
G
J
H
K
I
3,0
1,0
1,1
2,1
2,2
1,3
Example: Voting for a Payraise
Three legislators are voting on whether to give themselves a pay raise.
All three want the pay raise; however,
Each face a small cost in voter resentment c>0.
The benefit for the raise is greater than cost: b>c
They vote in the order 1-2-3. Simple majority rule
What is the outcome obtained by backward induction? (N; NY; nyyn)
Diagram courtesy: Dr. Tayfun
Sönmez