Айтишники на пенсии

[АццкоМото]

Ох, не верю я что есть что-то похожее в вероятности. Positive режет слух.

поскольку меня на гугле не забанили: https://math.stackexchange.com/question ... -variables. ИЧСХ, слово positive явно выделено и речь идет как раз и сходимости. дальше не читал, лень

[Физик-Лирик]

Раз тут уж такая пьянка про статистику пошла сформулирую свой вопрос.

Одна из математических формулировок Центральной Предельной Теоремы:
Let X1, X2,... be i.i.d. (independent identically distributed) random variables such that E(X1) = mu (mean), Var(X1) = sigma^2. Let Sn = X1 + X2 + ... + Xn.
If n-> infinity then (Sn - Mean(Sn))/sqrt(Var(Sn)) converges in distribution to N(0, 1), i.e. normal distribution with zero mean and unit variance.

На практике более часто работают с такой формулировкой:
Given a population with mean = mu and SD = sigma. One takes "many" random samples of size n from this population. For each sample one computes its sample mean and then one considers sampling distribution of sample means. If n -> infinity then distribution of sample means converges in distribution to normal distribution N(mu, sigma^2/n), i.e. normal distribution with mean = mu (i.e. population mean, which is a consequence of the Law of Large Numbers) and
SD = sigma/sqrt(n).

Понятно, что и в первой формулировке все можно свести к N(mu, sigma^2/n).
Теперь вопрос. Как вторую формулировку свести к первой? В том смысле, что где эти случайные величины X1, X2, ....
У меня есть свое представление, но хочется услышать мнение экспертов.

[kyk]

а особенно - аспирантками (too bad, no shorts allowed in chemistry lab), но кто ж мне даст [поруководить]

езжай в урюпинский политех. совецкая кандидатская есть

[АццкоМото]

На практике более часто работают с такой формулировкой:
Given a population with mean = mu and SD = sigma. One takes "many" random samples of size n from this population. For each sample one computes its sample mean and then one considers sampling distribution of sample means. If n -> infinity then distribution of sample means converges in distribution to normal distribution N(mu, sigma^2/n), i.e. normal distribution with mean = mu (i.e. population mean, which is a consequence of the Law of Large Numbers) and
SD = sigma/sqrt(n).

я не иксперд, но population же предполагается потенциально большим, но конечным, не? как тогда sample size n может стремиться к бесконечности? (т.е. потенциально, конечно может, ничто не мешает, но тогда и формулировка должна существенно отличаться)

[Komissar]

про игру в "слоника" понял, про теорему не понял. Химия - правая рука физики, а лирикой тебя ударят по башке.

[АццкоМото]

про теорему не понял. Химия - правая рука физики

А все потому что:

[Физик-Лирик]

я не иксперд, но population же предполагается потенциально большим, но конечным, не? как тогда sample size n может стремиться к бесконечности? (т.е. потенциально, конечно может, ничто не мешает, но тогда и формулировка должна существенно отличаться)

Предполагается, что популяция очень большая (бесконечность). Тогда число выборок тоже ну очень большое.
Если взять курсы статистики попроще, то везде будет именно вторая формулировка. В математических книгах - первая.
Просто нигде не объясняют как две формулировки связаны.

[Физик-Лирик]

про теорему не понял. Химия - правая рука физики

А все потому что:

"Потому что" уже объяснено в "Дубинушке". Не в смысле русской народной, а студенческой хороводной. Какие у кого варианты пели? У нас про филолога и химика. Ну сами знаете, то они такие.

[ksi]

Раз тут уж такая пьянка про статистику пошла сформулирую свой вопрос.

Одна из математических формулировок Центральной Предельной Теоремы:
Let X1, X2,... be i.i.d. (independent identically distributed) random variables such that E(X1) = mu (mean), Var(X1) = sigma^2. Let Sn = X1 + X2 + ... + Xn.
If n-> infinity then (Sn - Mean(Sn))/sqrt(Var(Sn)) converges in distribution to N(0, 1), i.e. normal distribution with zero mean and unit variance.

На практике более часто работают с такой формулировкой:
Given a population with mean = mu and SD = sigma. One takes "many" random samples of size n from this population. For each sample one computes its sample mean and then one considers sampling distribution of sample means. If n -> infinity then distribution of sample means converges in distribution to normal distribution N(mu, sigma^2/n), i.e. normal distribution with mean = mu (i.e. population mean, which is a consequence of the Law of Large Numbers) and
SD = sigma/sqrt(n).

Понятно, что и в первой формулировке все можно свести к N(mu, sigma^2/n).
Теперь вопрос. Как вторую формулировку свести к первой? В том смысле, что где эти случайные величины X1, X2, ....
У меня есть свое представление, но хочется услышать мнение экспертов.

Где такие странные формулировки цпт, в какой науке, мне правда интересно? В популяционной генетике?

Если по делу, то вторая формулировка - это совсем ужасно, но понять о чем речь, конечно, можно. Ужасно - потому что не бывает сходимости к чему то, что само изменяется, зависит от n. Предел он на то и предел. А тут N(mu, sigma^2/n), что явно зависит от n. Безграмотно совсем.

Но в принципе, тут написано таким эзоповым языком, что sample mean (e.g. (x_1 + ... + x_n)/n имеет примерно нормальное распределение N(mu, sigma^2/n). Это в некотором смысле правильно потому что (x_1 + ... + x_n)/n = mu + [(x_1+...+x_n - n*mu)/sqrt(n)]/sqrt(n). Член в квадратных скобках сходится (уже по правильной формулировке цпт которая под номером 1) к N(0,sigma^2) так что исходная sample mean примерно равна mu + N(0,sigma^2))/sqrt(n) = N(mu, sigma^2/n) по свойствам нормального распределения.

[Komissar]

хватит муру гнать на форуме!
Лучше подскажите, на каком курсе окажется больше деушек в коротких шортиках: применение контуперов в химии или химия как будущее of mankind?

[Физик-Лирик]

Где такие странные формулировки цпт, в какой науке, мне правда интересно? В популяционной генетике?

Если по делу, то вторая формулировка - это совсем ужасно, но понять о чем речь, конечно, можно. Ужасно - потому что не бывает сходимости к чему то, что само изменяется, зависит от n. Предел он на то и предел. А тут N(mu, sigma^2/n), что явно зависит от n. Безграмотно совсем.

Но в принципе, тут написано таким эзоповым языком, что sample mean (e.g. (x_1 + ... + x_n)/n имеет примерно нормальное распределение N(mu, sigma^2/n). Это в некотором смысле правильно потому что (x_1 + ... + x_n)/n = mu + [(x_1+...+x_n - n*mu)/sqrt(n)]/sqrt(n). Член в квадратных скобках сходится (уже по правильной формулировке цпт которая под номером 1) к N(0,sigma^2) так что исходная sample mean примерно равна mu + N(0,sigma^2))/sqrt(n) = N(mu, sigma^2/n) по свойствам нормального распределения.

Ответ на первый вопрос: везде. Например, t-test на этом построен.

Не понимаю, что непонятно. Бывают разные виды сходимости. Convergence in probability, convergence almost surely, convergence in the mean (L^p convergence), convergence in distribution.
В данном случае говорится о сходимости in distribution. Надо объяснить, что это такое?
Суть предельной теоремы в то, что показывается сходимости именно к нормальному распределению.

[ksi]

Где такие странные формулировки цпт, в какой науке, мне правда интересно? В популяционной генетике?

Если по делу, то вторая формулировка - это совсем ужасно, но понять о чем речь, конечно, можно. Ужасно - потому что не бывает сходимости к чему то, что само изменяется, зависит от n. Предел он на то и предел. А тут N(mu, sigma^2/n), что явно зависит от n. Безграмотно совсем.

Но в принципе, тут написано таким эзоповым языком, что sample mean (e.g. (x_1 + ... + x_n)/n имеет примерно нормальное распределение N(mu, sigma^2/n). Это в некотором смысле правильно потому что (x_1 + ... + x_n)/n = mu + [(x_1+...+x_n - n*mu)/sqrt(n)]/sqrt(n). Член в квадратных скобках сходится (уже по правильной формулировке цпт которая под номером 1) к N(0,sigma^2) так что исходная sample mean примерно равна mu + N(0,sigma^2))/sqrt(n) = N(mu, sigma^2/n) по свойствам нормального распределения.

Ответ на первый вопрос: везде. Например, t-test на этом построен.

Не понимаю, что непонятно. Бывают разные виды сходимости. Convergence in probability, convergence almost surely, convergence in the mean (L^p convergence), convergence in distribution.
В данном случае говорится о сходимости in distribution. Надо объяснить, что это такое?
Суть предельной теоремы в то, что показывается сходимости именно к нормальному распределению.

Я непонятно объяснил, что имеет в виду второе утверждение и как оно относится к первому? Что именно непонятно?

[АццкоМото]

я не иксперд, но population же предполагается потенциально большим, но конечным, не? как тогда sample size n может стремиться к бесконечности? (т.е. потенциально, конечно может, ничто не мешает, но тогда и формулировка должна существенно отличаться)

Предполагается, что популяция очень большая (бесконечность). Тогда число выборок тоже ну очень большое.
Если взять курсы статистики попроще, то везде будет именно вторая формулировка. В математических книгах - первая.
Просто нигде не объясняют как две формулировки связаны.

Ещё раз, не иксперд и ТВИМС не любил.
Но КМК нельзя так. Если популяция бесконечна, мы не сможем найти даже среднее.
Нужно увязывать размер популяции как зависимость от размера выборки. Т.е. при стремлении n к бесконечности меняется популяция. А это уже чёрное шаманство.

Чтобы это все имело смысл, нужно чётко оговаривать многие допущения, видимо, их тупо срезали до "попроще"

[Физик-Лирик]

Мне кажется я начинаю понимать, что именно вы не понимаете . Вы ищете X1, X2, ... во втором определении. Они там есть, они как бы подразумеваются под словом "population" хотя, конечно, это не точно математически

Вот именно. Хочу точное определение. Вынь да полож X1, X2, ... Вот такой я нехороший.
Комми вон по девушкам сохнет, а я все о своём. Сами со своей статистикой начали. А я что, человек слабый, безвольный ... поддался искушению математики.

[Физик-Лирик]

Ещё раз, не иксперд и ТВИМС не любил.
Но КМК нельзя так. Если популяция бесконечна, мы не сможем найти даже среднее.
Нужно увязывать размер популяции как зависимость от размера выборки. Т.е. при стремлении n к бесконечности меняется популяция. А это уже чёрное шаманство.

Чтобы это все имело смысл, нужно чётко оговаривать многие допущения, видимо, их тупо срезали до "попроще"

Ну почему среднее найти не можем? Если известно распределение, ещё как можем.

[АццкоМото]

Ещё раз, не иксперд и ТВИМС не любил.
Но КМК нельзя так. Если популяция бесконечна, мы не сможем найти даже среднее.
Нужно увязывать размер популяции как зависимость от размера выборки. Т.е. при стремлении n к бесконечности меняется популяция. А это уже чёрное шаманство.

Чтобы это все имело смысл, нужно чётко оговаривать многие допущения, видимо, их тупо срезали до "попроще"

Ну почему среднее найти не можем? Если известно распределение, ещё как можем.

Перефразируя вас: если среднее известно заранее, то мы его найдем

И.е. чтобы был смысл, нужны невысказанные допущения

Ну и отдельно зачот ksi про невозможность сходимости при n к бесконечности к чему-то, что зависит от n. Это какой-то адъ

[ksi]

"Ряд положительных величин" - странно звучит для теории вероятностей, вы наверное что-то путаете.

Sequence of positive random variables.

У меня с русским языком плохо

Ох, не верю я что есть что-то похожее в вероятности. Positive режет слух.

Если это был усиленный закон больших чисел, то он совсем по другому формулируется, да и трудно забыть его формулировку. Что-то вы явно позабыли

Зря он вам режет слух что такого странного в i.i.d. positive random variables? Таких распределений полно. То же exponential distribution, как пример. Случайная величина Y_n/n сходится к нулю по вероятности, когда n стремится к бесконечности, а если E(Y1) ещё и bounded , то оно сходится почти наверное. У меня были проблемы с доказательством почти наверное.

Если интересно, все лекции в открытом доступе, могу ссылку дать (warning: measure theoretic probability theory не для слабонервных).

Я кажется понял, что вы имели в виду У вас есть последовательность i.i.d. random variables Y(i), доказать, что Y(i)/n ->0 a.s. если E|Y(i)| конечно. Правильно?

Это никакая не теорема, она не имеет никакого особого названия и смысла в теории вероятностей. Это скорей упражнение на подход, которым такие вещи обычно доказываются (включая усиленный закон больших чисел) - то есть с помощью закона 0-1, или леммы Бореля-Кантелли.

[Физик-Лирик]

Ещё раз, не иксперд и ТВИМС не любил.

А кто эту статистику любил? Я ни тервер ни статистику на дух не переносил. В институте статистика благо всего один семестр была, да и то зачёт. В молекулярной физике от распределений просто тошнило. Правда когда теоретическая физика пошла, вроде как привык. Потом когда уравнением Больцмана разрешённые течения и плазмы моделировали, очень проникся идеями. А когда стали заниматься дурацкие дейта сайнсом - тут уж жизнь заставила.

Давайте рассмотрим бесконечную популяцию. В чем проблема? Генерируем бесконечное число выборок фиксированного размера. Потом увеличиваем размер выборки и т.д. Смотрим сходимости. Скажем так. Для заданного эпсилон находим такой размер, чтобы распределение средних значений, рассчитанных для этих выборок, отличалось от нормального меньше чем на эпсилон (сходимости функций).

[Физик-Лирик]

Я кажется понял, что вы имели в виду У вас есть последовательность i.i.d. random variables Y(i), доказать, что Y(i)/n ->0 a.s. если E|Y(i)| конечно. Правильно?

Это никакая не теорема, она не имеет никакого особого названия и смысла в теории вероятностей. Это скорей упражнение на подход, которым такие вещи обычно доказываются (включая усиленный закон больших чисел) - то есть с помощью закона 0-1, или леммы Бореля-Кантелли.

Нет, неправильно поняли. Да и лемма Бореля-Кантели здесь не причём.

Сорри, я туплю. X1, X2 etc это не population, а random sample from a population.

Def: a collection of random variables X1, X2, ..., Xn is said to be a random sample of size n if they are i.i.d.

Уф. Ну вы меня заставили думать сегодня

Не годится. Где тут a collection of random variables X1, X2, ..., Xn?

[Физик-Лирик]

Народ, я не понимаю с какого боку вы тут лемма Бореля-Кантели? Нет, давайте обсудим. Мне всегда интересно умные мысли послушать. Глядишь, и сам чего выучу.

Насчёт формулировки теорем. Зайдите на Интернет, наберите CLT, почитайте формулировки. Найдёте все варианты.

[ksi]

Я кажется понял, что вы имели в виду У вас есть последовательность i.i.d. random variables Y(i), доказать, что Y(i)/n ->0 a.s. если E|Y(i)| конечно. Правильно?

Это никакая не теорема, она не имеет никакого особого названия и смысла в теории вероятностей. Это скорей упражнение на подход, которым такие вещи обычно доказываются (включая усиленный закон больших чисел) - то есть с помощью закона 0-1, или леммы Бореля-Кантелли.

Почти правильно Y(i) must be > 0.

Согласна, это не теорема. Я там потом поправилась. Это такое маааленькое упражненьице. Над которым я 3 недели думала, имея полное доказательство. А у меня было 5-6 таких было каждую неделю.

Насчет Y (i) > 0 это неважно. Это должно быть верно всегда, если E|Y(i)| конечно.

[ksi]

Народ, я не понимаю с какого боку вы тут лемма Бореля-Кантели? Нет, давайте обсудим. Мне всегда интересно умные мысли послушать. Глядишь, и сам чего выучу.

Насчёт формулировки теорем. Зайдите на Интернет, наберите CLT, почитайте формулировки. Найдёте все варианты.

Ни с какого У СК была задачка совсем из другой области, к вашей не имеет никакого отношения. А про вашу я все написал выше: вторая формулировка просто такого "физического уровня строгости" но понять о чем речь можно. Это следствие из первой. Неужели я так фигово объяснил ? Я старался, чтобы было совсем простыми словами и "немного букв"

PS. для банкиров и то понятнее написали http://www.investopedia.com/terms/c/cen ... heorem.asp чем в вашей второй формулировке. Но похоже ))

[ksi]

Насчет Y (i) > 0 это неважно. Это должно быть верно всегда, если E|Y(i)| конечно.

Не-а, возьмём все четные Y 's равные минус нечетным Y's. Тогда ожидание равно нулю, но сходимости нет.

Они вообще-то i.i.d. должны ьыть то есть независимые, так брать нельзя. И почему все равно ожидание 0? Мы же не сумму считаем, а просто Y(n)/n

[АццкоМото]

Давайте рассмотрим бесконечную популяцию. В чем проблема? Генерируем бесконечное число выборок фиксированного размера. Потом увеличиваем размер выборки и т.д. Смотрим сходимости. Скажем так. Для заданного эпсилон находим такой размер, чтобы распределение средних значений, рассчитанных для этих выборок, отличалось от нормального меньше чем на эпсилон (сходимости функций).

Ох уж эти физики
Проблема в том, что бесконечности не существует

Подумайте сами, почему в данном определении не взяли сразу бесконечную выборку, а начали все эти приседания "при эн стремится к бесконечности"? Потому что ее нет и все наши инструменты здесь - это пределы/сходимости и эпсилон-дельта язык (что один хрен по сути). Ровно то же самое относится и к популяции. Причем мы не можем просто сказать, что она "стремиться к бесконечности", она должна стремиться туда быстрее, чем размер выборки, более того, чтобы остался смысл - "значительно" быстрее.

Не, конечно, в физике уже пес знает сколько лет священный грааль это диалог типа
- вся наша вселенная произошла из одной точки столько-то лет назад.
- дядя, а что было до этого? где была эта точка?
- отойди мальчик, нигде не была, и не было ничего до этого, нам не до сук, тут мля сходимость примерно к нипаняткам в уравнении и мы и так хер знает что с ней делать, а еще и малолетний дебил со своими вопросами

Но в математике такое не работает

[Физик-Лирик]

Ох уж эти физики
Проблема в том, что бесконечности не существует

Подумайте сами, почему в данном определении не взяли сразу бесконечную выборку, а начали все эти приседания "при эн стремится к бесконечности"?

Вы все смешали в одну кучу, физику, математику.
Что значит бесконечности не существует? И что вас так смущает? Когда мы рассматриваем распределение Sn = X1 + X2 + ... Xn, где Х1, Х2, ... i.i.d., и теорема (первая формулировка) утверждает, что оно (распределение) стремится к нормальному, вас это тоже смущает? Объясните, что не так с бесконечностью?

Хорошо. Давайте сформулируем так. Дано распределение. Зафиксируем размер n. Далее проводим следующий эксперимент. Генерируем выборки данного размера. Для каждой выборки подсчитывает среднее. Далее изучаем распределение этих средних. Теорема (вторая формулировка) утверждает, что данное распределение стремится к нормальному N(mu, sigma^2/n). Так тоже не нравится?