(Ebook) Introduction To Probability by Dimitri P. Bertsekas and John N. Tsitsiklis ISBN 9781886529403, 188652940X Download
(Ebook) Introduction To Probability by Dimitri P. Bertsekas and John N. Tsitsiklis ISBN 9781886529403, 188652940X Download
https://ebooknice.com/product/introduction-to-probability-2353068
https://ebooknice.com/product/bertsekas-dimitri-tsitsiklis-john-n-
introduction-to-probability-28512488
https://ebooknice.com/product/introduction-to-probability-2nd-
edition-2419480
https://ebooknice.com/product/convex-optimization-algorithms-6806560
https://ebooknice.com/product/abstract-dynamic-programming-10786650
(Ebook) Dynamic programming and optimal control by Dimitri P.
Bertsekas ISBN 9781886529267, 1886529264
https://ebooknice.com/product/dynamic-programming-and-optimal-
control-1076692
https://ebooknice.com/product/nonlinear-programming-48737904
https://ebooknice.com/product/introduction-to-vlsi-circuits-and-
systems-10922514
https://ebooknice.com/product/recent-advances-in-statistics-and-
probability-51040614
https://ebooknice.com/product/an-introduction-to-complex-analysis-and-
geometry-10841474
Introduction to Probability
http://www.athenasc.com
Email: info@athenasc.com
WWW: http://www.athenasc.com
ISBN 1-886529-40-X
To the memory of
Pantelis Bertsekas and Nikos Tsitsiklis
Contents
v
vi Contents
Index . . . . . . . . . . . . . . . . . . . . . . . . p. 411
Preface
vii
viii Preface
x
1
Contents
1.1. Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 3
1.2. Probabilistic Models . . . . . . . . . . . . . . . . . . . . p. 6
1.3. Conditional Probability . . . . . . . . . . . . . . . . . p. 18
1.4. Total Probability Theorem and Bayes’ Rule . . . . . . . . p. 28
1.5. Independence . . . . . . . . . . . . . . . . . . . . . . p. 34
1.6. Counting . . . . . . . . . . . . . . . . . . . . . . . p. 43
1.7. Summary and Discussion . . . . . . . . . . . . . . . . p. 50
Problems . . . . . . . . . . . . . . . . . . . . . . . . p. 52
1
2 Sample Space and Probability Chap. 1
In fact, the choices and actions of a rational person, can reveal a lot about
the inner-held subjective probabilities, even if the person does not make conscious
use of probabilistic reasoning. Indeed, the last part of the earlier dialog was an
attempt to infer the nurse’s beliefs in an indirect manner. Since the nurse was
willing to accept a one-for-one bet that the drug would work, we may infer
that the probability of success was judged to be at least 50%. And had the
nurse accepted the last proposed bet (two-for-one), that would have indicated a
success probability of at least 2/3.
Rather than dwelling further into philosophical issues about the appropri-
ateness of probabilistic reasoning, we will simply take it as a given that the theory
of probability is useful in a broad variety of contexts, including some where the
assumed probabilities only reflect subjective beliefs. There is a large body of
successful applications in science, engineering, medicine, management, etc., and
on the basis of this empirical evidence, probability theory is an extremely useful
tool.
Our main objective in this book is to develop the art of describing un-
certainty in terms of probabilistic models, as well as the skill of probabilistic
reasoning. The first step, which is the subject of this chapter, is to describe
the generic structure of such models, and their basic properties. The models we
consider assign probabilities to collections (sets) of possible outcomes. For this
reason, we must begin with a short review of set theory.
1.1 SETS
Alternatively, we can consider the set of all x that have a certain property
P , and denote it by
{x | x satisfies P }.
(The symbol “|” is to be read as “such that.”) For example, the set of even
integers can be written as {k | k/2 is integer}. Similarly, the set of all scalars x
in the interval [0, 1] can be written as {x | 0 ≤ x ≤ 1}. Note that the elements x
of the latter set take a continuous range of values, and cannot be written down
in a list (a proof is sketched in the end-of-chapter problems); such a set is said
to be uncountable.
If every element of a set S is also an element of a set T , we say that S
is a subset of T , and we write S ⊂ T or T ⊃ S. If S ⊂ T and T ⊂ S, the
two sets are equal, and we write S = T . It is also expedient to introduce a
universal set, denoted by Ω, which contains all objects that could conceivably
be of interest in a particular context. Having specified the context in terms of a
universal set Ω, we only consider sets S that are subsets of Ω.
Set Operations
and
∞
Sn = S1 ∩ S2 ∩ · · · = {x | x ∈ Sn for all n}.
n=1
Two sets are said to be disjoint if their intersection is empty. More generally,
several sets are said to be disjoint if no two of them have a common element. A
collection of sets is said to be a partition of a set S if the sets in the collection
are disjoint and their union is S.
Sec. 1.1 Sets 5
If x and y are two objects, we use (x, y) to denote the ordered pair of x
and y. The set of scalars (real numbers) is denoted by ; the set of pairs (or
triplets) of scalars, i.e., the two-dimensional plane (or three-dimensional space,
respectively) is denoted by 2 (or 3 , respectively).
Sets and the associated operations are easy to visualize in terms of Venn
diagrams, as illustrated in Fig. 1.1.
Ω Ω Ω
S S S
T T
T
Ω Ω Ω
T
S S
T U S
T U
(d) (e) (f )
Figure 1.1: Examples of Venn diagrams. (a) The shaded region is S ∩ T . (b)
The shaded region is S ∪ T . (c) The shaded region is S ∩ T c . (d) Here, T ⊂ S.
The shaded region is the complement of S. (e) The sets S, T , and U are disjoint.
(f) The sets S, T , and U form a partition of the set Ω.
Set operations have several properties, which are elementary consequences of the
definitions. Some examples are:
S∪T = T ∪ S, S ∪ (T ∪ U ) = (S ∪ T ) ∪ U,
S ∩ (T ∪ U ) = (S ∩ T ) ∪ (S ∩ U ), S ∪ (T ∩ U ) = (S ∪ T ) ∩ (S ∪ U ),
(S c )c = S, S ∩ Sc = Ø,
S∪Ω = Ω, S∩Ω = S.
of every Sn , and xn ∈ ∩n Snc . This shows that (∪n Sn )c ⊂ ∩n Snc . The converse
inclusion is established by reversing the above argument, and the first law follows.
The argument for the second law is similar.
Probability
law
Event B
P(B)
Experiment P(A)
Event A
Sample space
(Set of possible outcomes)
A B
Events
Example 1.1. Consider two alternative games, both involving ten successive coin
tosses:
Game 1: We receive $1 each time a head comes up.
Game 2: We receive $1 for every coin toss, up to and including the first time
a head comes up. Then, we receive $2 for every coin toss, up to the second
time a head comes up. More generally, the dollar amount per toss is doubled
each time a head comes up.
† Any collection of possible outcomes, including the entire sample space Ω and
its complement, the empty set Ø, may qualify as an event. Strictly speaking, however,
some sets have to be excluded. In particular, when dealing with probabilistic models
involving an uncountably infinite sample space, there are certain unusual subsets for
which one cannot associate meaningful probabilities. This is an intricate technical issue,
involving the mathematics of measure theory. Fortunately, such pathological subsets
do not arise in the problems considered in this text or in practice, and the issue can be
safely ignored.
8 Sample Space and Probability Chap. 1
In game 1, it is only the total number of heads in the ten-toss sequence that mat-
ters, while in game 2, the order of heads and tails is also important. Thus, in
a probabilistic model for game 1, we can work with a sample space consisting of
eleven possible outcomes, namely, 0, 1, . . . , 10. In game 2, a finer grain description
of the experiment is called for, and it is more appropriate to let the sample space
consist of every possible ten-long sequence of heads and tails.
Sequential Models
1
1 2 3 4 4
1st roll
Probability Laws
law. Intuitively, this specifies the “likelihood” of any outcome, or of any set of
possible outcomes (an event, as we have called it earlier). More precisely, the
probability law assigns to every event A, a number P(A), called the probability
of A, satisfying the following axioms.
Probability Axioms
P(Ø) = 0.
10 Sample Space and Probability Chap. 1
Discrete Models
Example 1.2. Consider an experiment involving a single coin toss. There are
two possible outcomes, heads (H) and tails (T ). The sample space is Ω = {H, T },
and the events are
{H, T }, {H}, {T }, Ø.
If the coin is fair, i.e., if we believe that heads and tails are “equally likely,” we
should assign equal probabilities to the two possible outcomes and specify that
P({H}) = P({T }) = 0.5. The additivity axiom implies that
P {H, T } = P {H} + P {T } = 1,
which is consistent with the normalization axiom. Thus, the probability law is given
by
P {H, T } = 1, P {H} = 0.5, P {T } = 0.5, P(Ø) = 0,
We assume that each possible outcome has the same probability of 1/8. Let us
construct a probability law that satisfies the three axioms. Consider, as an example,
the event
Using additivity, the probability of A is the sum of the probabilities of its elements:
P {HHT, HT H, T HH} = P {HHT } + P {HT H} + P {T HH}
1 1 1
= + +
8 8 8
3
= .
8
Exploring the Variety of Random
Documents with Different Content
saa polkea kunniaa eikä laiminlyödä velvollisuuksiaan minun
vuokseni. Ah, olettehan molemmat kelpo ameriikkalaisia — suuria,
vahvoja ja rohkeita! Mitä merkitsee tuo pieni, musta sekarotuinen
orja Rojas teikäläisten rinnalla! Hän on suuri raukka. Nyt en halua
enää tuhlata kallista aikaa. Olen valmis ja koetan olla rohkea."
Eteisessä viipyi Gale sen verran, että hän ennätti vetää käsiinsä
suuret sormikkaansa, pörröttää tukkansa ja solmia kaulaliinan toisin
tavoin. Sitten hän meni ravintolaan ja kuljettuaan sen läpi pysähtyi
tarjoiluhuoneen ovelle. Hänen viisi jalkaa yksitoista tuumaa pitkä
sekä satakahdeksankymmentä naulaa painava ruumiinsa pisti
enemmän silmään siellä, ja hänen tarkoituksensa olikin kiinnittää
muiden huomio itseensä. Mutta häntä ei näyttänyt kumminkaan
kukaan näkevänkään. Pallonpelaajat hälisivät hirveästi pelatessaan ja
sama kirjavasti puettu meksikolaisjoukko nojasi haisevaan
tarjoilutiskiin. Vihdoin kiintyi Galen hapuileva katse erääseen
mieheen, jonka hän otaksui Rojakseksi. Hän tunsi tämän korkean,
suuren ja koristetulla nauhalla varustetun hatun. Meksikolaisen
rosvon katse oli suunnattu toisaalle. Hän keskusteli innokkaasti noin
tusinan tahi useamman toverinsa kanssa, joista useimmat istuivat
erään pöydän ympärillä. He kuuntelivat, puhuivat ja joivat. Miesten
rinnalla ristissä olevat patruunavyöt ilmaisivat Galelle, että he olivat
meksikolaisia vallankumouksellisia. Hän oli nimittäin aikaisemmin
nähnyt samanlaiset patruunavyöt niillä rosvoilla, jotka olivat vahdissa
kadulla. Viinuri toi heille lisää väkijuomia pöytään, jolloin johtaja
kääntyi niin, että Gale näki hänen kasvonsa ja ne olivat todellakin
tuon kuuluisan rosvopäällikön, Rojaksen, pirulliset ja ivalliset kasvot.
Gale katseli häntä uteliaasti. Rojas oli pienehkö mies, joka herätti
vain huomiota keikarimaisesti koristellulla puvullaan ja ilkeillä
kasvoillaan. Hänellä oli pitseillä koristeltu olkavyö ja tiukka,
valkeanappinen takki, pukinnahkaiset punaisella kirjaillut liivit,
olkavyö ja tavallinen vyö, jotka oli kiinnitetty toisiinsa suurella
hopeasoljella. Sama pyssy helmikoristeisine perineen riippui nytkin
hihnasta hänen olallaan ja jalokivet kimaltelivat hänen olkavyössään.
Hänen korvistaan riippuivat kultaiset korvarenkaat ja sormissa loisti
useita timanttisormuksia.
Gale poistui ja hänen intonsa kasvoi, kun hän näki noiden kahden
paimenen kuin sattumalta seuraavan häntä. Gale poikkesi
hoiperrellen syrjään, törmäsi mennessään pöytään ja potki tyhjiä
tuoleja. Hän sivuutti Rojaksen ja tämän miehet, huomaten samalla,
että roisto piti häntä silmällä huitoessaan käsillään ja puhuessaan
nopeasti. Elämä kapakassa alkoi käydä meluavammaksi. Kun Dick
horjahti erästä pöytää vasten, kaataen sen kumoon niin, että lasien
sisältö valui muutamien meksikolaisten housuille, alkoivat nämä
kimakasti huudella. Hän oli onnistunut kiinnittämään huomion
itseensä, sillä melkein kaikki katsoivat häneen. Eräs noista
loukatuista miehistä, muudan pieni ruskeankeltainen roisto, hypähti
esille asettuakseen vastarintaan ja huutaen samalla kuin mielipuoli
jotakin espanjankielellä, josta Gale ymmärsi ainoastaan sanan:
"Muukalainen!" Meksikolainen polki jalkaa heiluttaen uhkaavasti
oikeata kättään. Dick nosti jalkansa potkaisten nopeilla syrjäpotkuilla
jalat miehen alta niin, että tämä kaatui kumahtaen lattialle. Temppu
suoritettiin niin nopeasti ja taitavasti, että meksikolainen menetti
kokonaan rohkeutensa uskaltamatta enää karjua. Gale tiesi nyt
ratkaisevan hetken tulleen.
"Ei, ei, ei!" vastasi Thorne. "En voi mennä joutumatta päävahtiin."
"Dick, mielelläni en sitä tee", sanoi hän. "Mutta kyllä sinä sentään
olet oikeassa. Kunhan vain ehtisin sinne ajoissa. Mutta ah, minun on
niin vaikea poistua Mercedeksen luota! Vanha veikko, olet pelastanut
hänet! Olen sinulle jo äärettömässä kiitollisuuden velassa. Pysyttele
kaukana Casitasta, Dick. Yhdysvaltain puoli kaupungista saattaa
tosin olla turvallinen, mutta kumminkaan en voi luottaa siihen öisin.
Mene syvälle erämaahan, ylös vuorille johonkin turvalliseen
paikkaan. Tule sitten tapaamaan minua leiriin voidaksemme
suunnitella yhdessä. Luotan melkoisesti eversti Weedeen. Ehkä hän
voi auttaa meitä. Kätke Mercedes joka tapauksessa sellaiseen
paikkaan, etteivät rosvot saa häntä käsiinsä — siinä kaikki."
Hän puristi hyvästiksi Dickin kättä, syleili kiihkeästi Mercedestä,
suuteli häntä, kuiskasi hänelle muutamia sanoja, päästi hänet irti ja
syöksyi pimeyteen kadoten pian näkyvistä. Hänen askeltensa kumea
töminä lakkasi vähitellen kuulumasta.
PAKO ERÄMAAHAN.
"En varmastikaan!"
"Sepä vasta oli leikkiä!" kuului ääni pimeästä. "Kauhea talo, Laddy.
Emme ole sattuneet tuollaiseen sitten kuin piikkilanka-aidat
karkoittivat meidät Texasista. Eikä meitä ennen ole niin kutsuttu
apuun."
Hän vei Mercedeksen tielle paimenien luo, jotka nyt olivat avopäin
tähtien valossa. Heitä näytti ujostuttavan. Lash oli ääneti, kun
sitävastoin Ladd hämmästyneenä sammaltaen ja kömpelösti vastasi
Mercedeksen kiitoksiin.
"Minun olisi pitänyt ajatella teitä", virkkoi hän, "mutta kun itselläni
oli kuuma… Takkini taitaa olla vähän liian suuri, mutta saatammehan
kääriä sen ympärillenne kahdesti."
Our website is not just a platform for buying books, but a bridge
connecting readers to the timeless values of culture and wisdom. With
an elegant, user-friendly interface and an intelligent search system,
we are committed to providing a quick and convenient shopping
experience. Additionally, our special promotions and home delivery
services ensure that you save time and fully enjoy the joy of reading.
ebooknice.com