=== Bernoulli-proces ===
[[Fil:Binary entropy plot.svg|thumb|right|Entropi som funktion af sandsynligheden for udfald 1. For en Bernoulli-proces er entropien maksimal, når begge udfald er lige sandsynlige, mens entropien er nul, når kun ét af udfaldene er muligt.<ref name="blundell 153-155"/>]]
En [[Bernoulli-proces]] er en måling, hvor der er to mulige udfald med sandsynlighederne <math>p</math> og <math>1-p</math>
:<math>\begin{align}P_1&=p\\ P_2&=1-p\end{align}</math>
hvor <math>p</math> er konstant. Dette er en generalisering af den ærlige mønt, hvor <math>p=\tfrac{1}{2}</math>. Entropien er:
{{Equation box 1
|title=
|indent=:
|equation=<math>S(p)=- p\log_2 (p)- (1-p)\log_2 (1-p)</math>
|cellpadding = 6
|border = 1
|border colour = black
|background colour=white}}
For <math>p=\tfrac{1}{2}</math> er entropien 1 som før, men for <math>p=0</math> - dvs. hvis udfald 1 er umuligt - bliver entropien:
:<math>S(0)=- 0\log_2 (0)- 1\log_2 (1)=0\text{ bit}</math>
Entropien ville også være 0 bit, hvis kun udfald 2 var muligt. Hvis kun ét udfald er muligt, er der ikke længere nogen usikkerhed, mens usikkerheden er størst, hvis begge udfald er lige sandsynlige (se figur).<ref name="blundell 153-155"/>
Filosofi Datalogi Videnskab Matematik Naturvidenskab