Expectativa condicional - Conditional expectation

Na teoria da probabilidade , a expectativa condicional , valor esperado condicional ou média condicional de uma variável aleatória é seu valor esperado - o valor que tomaria "em média" sobre um número arbitrariamente grande de ocorrências - dado que um determinado conjunto de "condições" é conhecida a sua ocorrência. Se a variável aleatória pode assumir apenas um número finito de valores, as “condições” são que a variável só pode assumir um subconjunto desses valores. Mais formalmente, no caso em que a variável aleatória é definida sobre um espaço de probabilidade discreto , as "condições" são uma partição desse espaço de probabilidade.

Dependendo do contexto, a expectativa condicional pode ser uma variável aleatória ou uma função. A variável aleatória é denotada analogamente à probabilidade condicional . A forma da função é denotada ou um símbolo de função separado, como é apresentado com o significado .

Exemplos

Exemplo 1: lançamento de dados

Considere o lançamento de um dado justo e deixe A = 1 se o número for par (ou seja, 2, 4 ou 6) e A = 0 caso contrário. Além disso, seja B = 1 se o número for primo (ou seja, 2, 3 ou 5) e B = 0 caso contrário.

1 2 3 4 5 6
UMA 0 1 0 1 0 1
B 0 1 1 0 1 0

A expectativa incondicional de A é , mas a expectativa de A condicional em B = 1 (ou seja, condicional ao lançamento do dado ser 2, 3 ou 5) é , e a expectativa de A condicional em B = 0 (ou seja, condicional em o lançamento do dado sendo 1, 4 ou 6) é . Da mesma forma, a expectativa de B condicional em A = 1 é , e a expectativa de B condicional em A = 0 é .

Exemplo 2: dados de precipitação

Suponha que temos dados de precipitação diária (mm de chuva por dia) coletados por uma estação meteorológica em todos os dias do período de dez anos (3.652 dias) de 1º de janeiro de 1990 a 31 de dezembro de 1999. A expectativa incondicional de chuva para um dia não especificado é a média das quantidades de chuva para esses 3652 dias. A expectativa condicional de chuva para um dia não especificado conhecido como (condicional a ser) no mês de março, é a média da precipitação diária ao longo de todos os 310 dias do período de dez anos que cai em março. E a expectativa condicional de chuva condicionada aos dias datados de 2 de março é a média dos valores de chuva ocorridos nos dez dias com aquela data específica.

História

O conceito relacionado de probabilidade condicional remonta pelo menos a Laplace , que calculou as distribuições condicionais. Foi Andrey Kolmogorov quem, em 1933, o formalizou usando o teorema de Radon-Nikodym . Em obras de Paul Halmos e Joseph L. Doob de 1953, expectativa condicional foi generalizada à sua definição moderna usando sub-s-álgebras .

Definições

Condicionamento em um evento

Se A é um evento com probabilidade diferente de zero, e X é uma variável aleatória discreta , a expectativa condicional de X dado A é

onde a soma é tomado todos os resultados possíveis de X .

Observe que se , a expectativa condicional é indefinida devido à divisão por zero.

Variáveis ​​aleatórias discretas

Se X e Y são variáveis ​​aleatórias discretas , a expectativa condicional de X dado Y é

onde representa a função de massa de probabilidade conjunta de X e Y . A soma é tomado todos os resultados possíveis de X .

Observe que o condicionamento em uma variável aleatória discreta é o mesmo que o condicionamento no evento correspondente:

onde A é o conjunto .

Variáveis ​​aleatórias contínuas

Vamos e ser variáveis aleatórias contínuas com densidade conjunta de densidade e densidade condicional de dado o evento A expectativa condicional de dados é

Quando o denominador é zero, a expressão é indefinida.

Observe que o condicionamento em uma variável aleatória contínua não é o mesmo que o condicionamento no evento como era no caso discreto. Para uma discussão, consulte Condicionamento em um evento de probabilidade zero . Não respeitar essa distinção pode levar a conclusões contraditórias, conforme ilustrado pelo paradoxo de Borel-Kolmogorov .

L 2 variáveis ​​aleatórias

Todas as variáveis ​​aleatórias nesta seção são consideradas in , ou seja, quadrada integrável . Em sua generalidade completa, a expectativa condicional é desenvolvida sem esta suposição, veja abaixo em Expectativa condicional com respeito a uma sub-σ-álgebra . A teoria é, no entanto, considerada mais intuitiva e admite generalizações importantes . No contexto de variáveis ​​aleatórias, a expectativa condicional também é chamada de regressão .

No que se segue Deixe um espaço de probabilidade, e em com média e variância . A expectativa minimiza o erro quadrático médio :

.

A expectativa condicional de X é definida analogamente, exceto que em vez de um único número , o resultado será uma função . Deixe ser um vetor aleatório . A expectativa condicional é uma função mensurável de modo que

.

Observe que , ao contrário , a expectativa condicional geralmente não é única: pode haver vários minimizadores do erro quadrático médio.

Singularidade

Exemplo 1 : Considere o caso em que Y é a variável aleatória constante que é sempre 1. Então, o erro quadrático médio é minimizado por qualquer função da forma

Exemplo 2 : Considere o caso em que Y é o vetor aleatório bidimensional . Então claramente

mas em termos de funções pode ser expresso como ou ou infinitamente de muitas outras maneiras. No contexto da regressão linear , essa falta de exclusividade é chamada de multicolinearidade .

A expectativa condicional é única até um conjunto de medida zero pol . A medida utilizada é a medida pushforward induzida por Y .

No primeiro exemplo, a medida pushforward é uma distribuição de Dirac em 1. No segundo, ela é concentrada na "diagonal" , de modo que qualquer conjunto que não a intercepte tenha medida 0.

Existência

A existência de um minimizador para não é trivial. Pode-se mostrar que

é um subespaço fechado do espaço de Hilbert . Pelo teorema da projeção de Hilbert , a condição necessária e suficiente para ser um minimizador é que para todos em M temos

.

Em palavras, esta equação diz que o residual é ortogonal ao espaço M de todas as funções de Y . Esta condição de ortogonalidade, aplicada às funções do indicador , é usada abaixo para estender a expectativa condicional para o caso em que X e Y não estão necessariamente dentro .

Conexões para regressão

A expectativa condicional é freqüentemente aproximada em matemática aplicada e estatística devido às dificuldades em calculá-la analiticamente e para interpolação.

O subespaço Hilbert

definido acima é substituído por subconjuntos dos mesmos, restringindo a forma funcional de g , em vez de permitir qualquer função mensurável. Exemplos disso são a regressão da árvore de decisão quando g deve ser uma função simples , a regressão linear quando g deve ser afim , etc.

Essas generalizações de expectativa condicional vêm ao custo de muitas de suas propriedades não mais se manterem. Por exemplo, seja M o espaço de todas as funções lineares de Y e denote essa expectativa / projeção condicional generalizada . Se não contiver as funções constantes , a propriedade da torre não será mantida.

Um caso especial importante é quando X e Y são normalmente distribuídos em conjunto. Nesse caso, pode-se mostrar que a expectativa condicional é equivalente à regressão linear:

para coeficientes descritos em Distribuição normal multivariada # Distribuições condicionais .

Expectativa condicional em relação a uma sub-σ-álgebra

Expectativa condicional com respeito a uma σ-álgebra: neste exemplo, o espaço de probabilidade é o intervalo [0,1] com a medida de Lebesgue . Nós definimos os seguintes s-álgebras: ; é a σ-álgebra gerada pelos intervalos com pontos finais 0, ¼, ½, ¾, 1; e é a σ-álgebra gerada pelos intervalos com pontos finais 0, ½, 1. Aqui, a expectativa condicional é efetivamente a média sobre os conjuntos mínimos da σ-álgebra.

Considere o seguinte:

  • é um espaço de probabilidade .
  • é uma variável aleatória naquele espaço de probabilidade com expectativa finita.
  • é uma sub- σ-álgebra de .

Visto que é uma subálgebra de , a função geralmente não é -mensurável, portanto, a existência das integrais da forma , onde e é a restrição de a , não pode ser declarada em geral. No entanto, as médias locais podem ser recuperadas com a ajuda da expectativa condicional. Uma expectativa condicional de X dada , denotada como , é qualquer - função mensurável que satisfaça:

para cada um .

Conforme observado na discussão, esta condição é equivalente a dizer que o resíduo seja ortogonal às funções do indicador :

Existência

A existência de pode ser estabelecida observando que para é uma medida finita sobre que é absolutamente contínua em relação a . Se é a injeção natural de a , então é a restrição de a e é a restrição de a . Além disso, é absolutamente contínua com respeito a , porque o estado

implica

Assim, temos

onde as derivadas são derivadas de Radon-Nikodym de medidas.

Expectativa condicional em relação a uma variável aleatória

Considere, além do acima,

  • Um espaço mensurável , e
  • Uma variável aleatória .

A expectativa condicional de X dado Y é definida pela aplicação da construção acima na σ-álgebra gerada por Y :

.

Pelo lema Doob-Dynkin , existe uma função tal que

.

Discussão

  • Esta não é uma definição construtiva; recebemos apenas a propriedade necessária que uma expectativa condicional deve satisfazer.
    • A definição de pode ser semelhante à de um evento, mas esses são objetos muito diferentes. O primeiro é uma função -mensurável , enquanto o último é um elemento de e para .
    • Pode-se demonstrar que a exclusividade é quase certa : isto é, as versões da mesma expectativa condicional diferem apenas em um conjunto de probabilidade zero .
  • A σ-álgebra controla a "granularidade" do condicionamento. Uma expectativa condicional sobre uma σ-álgebra mais fina (maior) retém informações sobre as probabilidades de uma classe maior de eventos. Uma expectativa condicional sobre uma σ-álgebra mais grosseira (menor) calcula a média sobre mais eventos.

Probabilidade Condicional

Para uma Borel subconjunto B em , pode-se considerar o conjunto de variáveis aleatórias

.

Pode-se mostrar que eles formam um kernel de Markov , ou seja, para quase todos , é uma medida de probabilidade.

A lei do estatístico inconsciente é então

.

Isso mostra que as expectativas condicionais são, como suas contrapartes incondicionais, integrações, contra uma medida condicional.

Propriedades básicas

Todas as fórmulas a seguir devem ser entendidas em um sentido quase seguro. A σ-álgebra pode ser substituída por uma variável aleatória , ie .

  • Extraindo fatores independentes:
    • Se for independente de , então .
Prova

Deixe . Então é independente de , então temos que

Assim, a definição de expectativa condicional é satisfeita pela variável aleatória constante , conforme desejado.

    • Se for independente de , então . Observe que este não é necessariamente o caso se for apenas independente de e de .
    • Se são independentes, são independentes, são independentes de e são independentes de , então .
  • Estabilidade:
    • Se for -mensurável, então .
    • Se Z for uma variável aleatória, então . Em sua forma mais simples, isso diz .
  • Puxando fatores conhecidos:
    • Se for -mensurável, então .
    • Se Z for uma variável aleatória, então .
  • Lei de expectativa total de : .
  • Propriedade da torre:
    • Para álgebras sub-σ temos , por 'estabilidade' acima .
      • Um caso especial é quando Z é uma variável aleatória mensurável. Então e assim .
      • Propriedade Doob martingale : o acima com (que é -mensurável), e usando também , dá .
    • Para variáveis ​​aleatórias , temos .
    • Para variáveis ​​aleatórias , temos .
  • Linearidade: temos e para .
  • Positividade: Se então .
  • Monotonicidade: Se então .
  • Convergência monótona : se então .
  • Convergência dominada : se e com , então .
  • Lema de Fatou : Se então .
  • Desigualdade de Jensen : Se é uma função convexa , então .
  • Variância condicional : usando a expectativa condicional, podemos definir, por analogia com a definição da variância como o desvio médio quadrático da média, a variância condicional
    • Definição:
    • Fórmula algébrica para a variação:
    • Lei da variância total : .
  • Convergência Martingale : Para uma variável aleatória , que tem expectativa finita, temos , se é uma série crescente de sub-σ-álgebras e ou se é uma série decrescente de sub-σ-álgebras e .
  • Expectativa condicional como -projeção: Se estiver no espaço de Hilbert de variáveis ​​aleatórias reais quadradas integráveis (variáveis ​​aleatórias reais com segundo momento finito), então
    • para -mensurável , temos , ou seja, a esperança condicional é, no sentido de o
    L 2 ( P ) do produto escalar a projecção ortogonal de para o subespaço linear de funções -mensuráveis. (Isso permite definir e provar a existência da expectativa condicional com base no teorema da projeção de Hilbert .)
  • o mapeamento é auto-adjunto :
  • O condicionamento é uma projeção contrativa de espaços L p . Ou seja, para qualquer p  ≥ 1.
  • Propriedade de independência condicional de Doob: Se forem condicionalmente independentes , dados , então (equivalentemente, ).
  • Veja também

    Leis de probabilidade

    Notas

    Referências

    • William Feller , Uma Introdução à Teoria da Probabilidade e suas Aplicações , vol 1, 1950, página 223
    • Paul A. Meyer, Probability and Potentials , Blaisdell Publishing Co., 1966, página 28
    • Grimmett, Geoffrey ; Stirzaker, David (2001). Probability and Random Processes (3ª ed.). Imprensa da Universidade de Oxford. ISBN 0-19-857222-0., páginas 67-69

    links externos