Вопрос математикам

[Физик-Лирик]

Выше предлагался метод скользящего окна. Обычно его используют для "тушения" высокочастотного шума (в принципе подойдет, если предположить что шум является высокочастотным). В данном примере, мне кажется количество точек спектра может оказаться недостаточным.

[Privet]

А вот normal distribution с одним дополнительным параметром для корректировки bias. Выглядит вполне прилично.

По одной реализации судить об удачности алгортьма невозможно.

Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.

Это одна конкретная реализация выхожо БПФ

in.png

Ниже это статистика после прогона 1000 процессов.

Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку. Ну, есть варианты, но это не предмет этого топика

avg.png

Это результат ошибки после некоторой обработки, но ещё без уточнения. Ошибки определения частоты, очевидно, кратны дискретности БПФ.

err.png

Наконец, один из вариантов ошибки после уточнения. Теперь ошибки кратны 1/8 дискретности БПФ и хорошо видно, что их распределение скучковалось к центру. Улучшение не такое кардинальное, как хотелось бы? Да, но средняя ошибка оценки частоты уменьшается, что и требовалось сделать.

errcorr.png

[Privet]

[...]

Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

[...]

Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".

Один возможный способ дать корректное определение искомому "центру колокольчика" - рассмотреть гипотетический случай, когда (1) шумов нет совсем, и (2) функция измерена в каждой точке достаточно широкого интервала значений ее аргумента (т.е. с бесконечно маленьким шагом дискретизации). Что Вам нужно тогда считать "центром этого "колокольчика"" для Ваших целей? К примеру (a) значение аргумента функции в единственном максимуме этой функции на интервале измерений; или (b) первый момент функции, вычисленный по интервалу (т.е. центр тяжести графика, или среднее значение аргумента функции с весом равным значению функции); (c) положение локального центра симметрии графика функции; или что-либо другое?

При отсутствии шумов (но дискретных измерениях сигнала) и при дополнительном условии ограниченности спектра Вашей функции, одно эффектное решение для любого из определений (а), (b), (c) и некоторых других, можно получить использовав теорему Котельникова (Sampling Theorem):

Ру.Википедия: Теорема Котельникова

En.Wikipedia: Nyquist–Shannon sampling theorem

Поскольку Вы уже называете функцию спектром, упомянутое условие ограниченности спектра нужно понимать, как ограниченность во времени сигнала, для которого Ваша функция является спектром.

Подозреваю, что в предположениях теоремы Котельникова, но при наличии шумов, тоже есть интересные и полезные решения, но скорее всего для них нужно знать больше при природу шумов и их характеристики.

Что вы! Когда нам разбираться с теоремой Котельникова, а, тем более, Найквиста. Мы же не учёные, мы практики. Нам делать устройство надо - бит туда, байт туда. Если бы вы согласились, мы бы с вами договор заключили, но это, наверное, дорого будет, а мы можем заплатить только несколько тысяч долларов, не больше. Ну, десять если на несколько месяцев, но это максимум.
Котельникова - что-то припоминаю, учили мы такое, но это было давно и неправда.

[aml5691]

[...]

Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

[...]

Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".

Один возможный способ дать корректное определение искомому "центру колокольчика" - рассмотреть гипотетический случай, когда (1) шумов нет совсем, и (2) функция измерена в каждой точке достаточно широкого интервала значений ее аргумента (т.е. с бесконечно маленьким шагом дискретизации). Что Вам нужно тогда считать "центром этого "колокольчика"" для Ваших целей? К примеру (a) значение аргумента функции в единственном максимуме этой функции на интервале измерений; или (b) первый момент функции, вычисленный по интервалу (т.е. центр тяжести графика, или среднее значение аргумента функции с весом равным значению функции); (c) положение локального центра симметрии графика функции; или что-либо другое?

При отсутствии шумов (но дискретных измерениях сигнала) и при дополнительном условии ограниченности спектра Вашей функции, одно эффектное решение для любого из определений (а), (b), (c) и некоторых других, можно получить использовав теорему Котельникова (Sampling Theorem):

Ру.Википедия: Теорема Котельникова

En.Wikipedia: Nyquist–Shannon sampling theorem

Поскольку Вы уже называете функцию спектром, упомянутое условие ограниченности спектра нужно понимать, как ограниченность во времени сигнала, для которого Ваша функция является спектром.

Подозреваю, что в предположениях теоремы Котельникова, но при наличии шумов, тоже есть интересные и полезные решения, но скорее всего для них нужно знать больше при природу шумов и их характеристики.

Что вы! Когда нам разбираться с теоремой Котельникова, а, тем более, Найквиста. Мы же не учёные, мы практики. Нам делать устройство надо - бит туда, байт туда. Если бы вы согласились, мы бы с вами договор заключили, но это, наверное, дорого будет, а мы можем заплатить только несколько тысяч долларов, не больше. Ну, десять если на несколько месяцев, но это максимум.
Котельникова - что-то припоминаю, учили мы такое, но это было давно и неправда.

Если Вы не шутите и не иронизируете (и сами уже давно разобрались с возможностью применения этой теоремы), то с теоремой Котельникова (она же Nyquist-Shannon sampling theorem) Вам должно быть под силу разобраться. По крайней мере ее классическая формулировка (в отсутствии шумов/ошибок измерения) - вполне элементарна, сформулирована и доказана (в одну строчку) именно инженерами-практиками. Сложной или интересной математики в ней нет, хотя ее утверждение и может поначалу удивлять наивных людей.

Неформально, в применении к спектру сигнала, меняющегося как функция времени, теорема Котельникова утверждает, что если (i) такой сигнал ограничен по времени (т.е. начинается в некоторый момент и заканчивается когда-либо); и (ii) его спектр (преобразование Фурье) вычислен для дискретных частот, с достаточно малым шагом по частоте; то, при отсутствии шумов и ошибок измерения, этот спектр можно абсолютно точно (с нулевой ошибкой интерполяции) проинтерполировать для любых частот между дискретными частотами, для которых вычислен спектр.

Если условия этой теоремы применимы к Вашей задаче (или Вас устраивает, что они только частично применимы), то, используя такую абсолютно точную интерполяцию, можно абсолютно точно найти "центр колокольчика", для широкого класса возможных определений такого центра. Процедура такой абсолютно точной интерполяции вполне элементарна.

[DropAndDrag]

честно говоря не знаю, что можно сделать с таким сигналом. если пик должен быть один, то нет даже отношения сигнала к шуму 1.5:1.
в принципе можно найти уровень шума, построив гистограмму распределение сигналов по амплитуде и получив что-то типа гауссового распределения.
продолжу спекулировать. может быть имеет смысл применить усредняющее окно несколько раз, чтобы шум "подтянулся" к уровню шума, в надежде, что влияние шума на единственный пик станет одинаковым (=минимальным). ширину окна бы взял бы не 3, а побольше - например равным кол-ву точек, которые будут выше уровня шума в самой длинной группе, но не больше 9 или даже 7. при таком выравнивании надеюсь, что единственный пик примет симметричную форму, а может наоборот дожидаться, когда пик станет симметричным и останавливаться, посчитав, что влияние шума стала минимальным. но это все спекуляция чистой воды.

[Palych]

Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.

Это одна конкретная реализация выхожо БПФ
in.png

Ниже это статистика после прогона 1000 процессов.

Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку.

Думаю сие невозможно в принципе.
Кроме как повторять измерения пока не получится вменяемая картинка - других вариантов не вижу.
Тогда ставить задачу: как определить что измерений достаточно?

[OtecFedor]

Извините, повесил глобально. Ну очень надо.

Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...

Надо определить частоту излучателя.

Там полько амплитудная информация, фазы нет?

[Privet]

[...]

Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

[...]

Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".

Один возможный способ дать корректное определение искомому "центру колокольчика" - рассмотреть гипотетический случай, когда (1) шумов нет совсем, и (2) функция измерена в каждой точке достаточно широкого интервала значений ее аргумента (т.е. с бесконечно маленьким шагом дискретизации). Что Вам нужно тогда считать "центром этого "колокольчика"" для Ваших целей? К примеру (a) значение аргумента функции в единственном максимуме этой функции на интервале измерений; или (b) первый момент функции, вычисленный по интервалу (т.е. центр тяжести графика, или среднее значение аргумента функции с весом равным значению функции); (c) положение локального центра симметрии графика функции; или что-либо другое?

При отсутствии шумов (но дискретных измерениях сигнала) и при дополнительном условии ограниченности спектра Вашей функции, одно эффектное решение для любого из определений (а), (b), (c) и некоторых других, можно получить использовав теорему Котельникова (Sampling Theorem):

Ру.Википедия: Теорема Котельникова

En.Wikipedia: Nyquist–Shannon sampling theorem

Поскольку Вы уже называете функцию спектром, упомянутое условие ограниченности спектра нужно понимать, как ограниченность во времени сигнала, для которого Ваша функция является спектром.

Подозреваю, что в предположениях теоремы Котельникова, но при наличии шумов, тоже есть интересные и полезные решения, но скорее всего для них нужно знать больше при природу шумов и их характеристики.

Что вы! Когда нам разбираться с теоремой Котельникова, а, тем более, Найквиста. Мы же не учёные, мы практики. Нам делать устройство надо - бит туда, байт туда. Если бы вы согласились, мы бы с вами договор заключили, но это, наверное, дорого будет, а мы можем заплатить только несколько тысяч долларов, не больше. Ну, десять если на несколько месяцев, но это максимум.
Котельникова - что-то припоминаю, учили мы такое, но это было давно и неправда.

Если Вы не шутите и не иронизируете (и сами уже давно разобрались с возможностью применения этой теоремы), то с теоремой Котельникова (она же Nyquist-Shannon sampling theorem) Вам должно быть под силу разобраться. По крайней мере ее классическая формулировка (в отсутствии шумов/ошибок измерения) - вполне элементарна, сформулирована и доказана (в одну строчку) именно инженерами-практиками. Сложной или интересной математики в ней нет, хотя ее утверждение и может поначалу удивлять наивных людей.

Неформально, в применении к спектру сигнала, меняющегося как функция времени, теорема Котельникова утверждает, что если (i) такой сигнал ограничен по времени (т.е. начинается в некоторый момент и заканчивается когда-либо); и (ii) его спектр (преобразование Фурье) вычислен для дискретных частот, с достаточно малым шагом по частоте; то, при отсутствии шумов и ошибок измерения, этот спектр можно абсолютно точно (с нулевой ошибкой интерполяции) проинтерполировать для любых частот между дискретными частотами, для которых вычислен спектр.

Если условия этой теоремы применимы к Вашей задаче (или Вас устраивает, что они только частично применимы), то, используя такую абсолютно точную интерполяцию, можно абсолютно точно найти "центр колокольчика", для широкого класса возможных определений такого центра. Процедура такой абсолютно точной интерполяции вполне элементарна.

Ну, рассмешили вы меня вчера. Я занимаюсь цифровой обработкой лет эдак 40. И не просто любительски, а на глубоком профессиональном уровне. Я до сих пор имею приоритеты в России, которые в своё время открыли передо мной все двери. Я участвовал в разработках с лучшими специаристами России каждый в своей области. Нас специально отобрали для разработки в интересах МВД. Тогда всё упало и только они имели хоть какие-то деньги. И тут мне рассказывают о Теореме Котельникова. Она же Найквиста. Причуды форума.

Собственно, вы не при чём. Вы не знали кому пишите. Получилось комичная ситуация. Я просто не удержался пошутить. Не обижайтесь, пожалуйста.

[Privet]

Извините, повесил глобально. Ну очень надо.

Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...

Надо определить частоту излучателя.

Там полько амплитудная информация, фазы нет?

Окститесь! Фаза на спектре мощности?

[ALV00]

А не проще взять готовый чип для FM демодуляции? Типа R820T2. Ну или посмотреть как они устроены.

[Privet]

Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.

Это одна конкретная реализация выхожо БПФ
in.png

Ниже это статистика после прогона 1000 процессов.

Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку.

Думаю сие невозможно в принципе.
Кроме как повторять измерения пока не получится вменяемая картинка - других вариантов не вижу.
Тогда ставить задачу: как определить что измерений достаточно?

Ну, это очень даже лестно. Очень рад, что это кто-то понимает. Действительно, это всё не просто и понять с лёту суть проблемы очень тредно. Поздравляю, Вы смогли это сделать! Это не сарказм. Вы единственный с ходу сказали, что нужно искать максимум средневзвешенного значения. На последнем графике результат именно его работы.
За этими графиками год нашей работы и много теории. Я работаю с одним из лучших теоретиков в России в этой области. Он зарабатывал хорошие деньги даже тогда, когда вся наука оказалась просто в ауте и все именитые друг перед другом профессора стали никому не нужны.
У него свой бизнес с тех ещё лет. Мы параллельно тогда открыли свои бизнесы вместе в то время и долго сотрудничали. Он позвал меня помочь с моделированием.

Вопрос был довольно примитивным, но все серьёзные удачные разработки состоят из таких, казалось бы, элементарных вещей. Я не стесняюсь их задавать. Иногда студенты могут оказать серьёзную помощь в таких вещах. Надеюсь, многие, кто участвовал в реальных проектах, со мной согласятся. О наких проблемах легко рассуждать поверхностно, не вникая глубоко в детали. Когда возникает потребность решить конкретную практическую задачу, то, вдруг выясняется, что та примитивная программа, которую можно накидать за пять минут, не работает. Надо выдержать несколько условий, о которых про легковесном общем обсуждении просто опускают. О них знают, но держать их все, скажем так, в оперативной памяти, могут, поверьте, не многие. Всегда завидовал таким людям.
Я решил задать этот вопрос в надежде получить свежие идеи и, возможно, новую информацию, чтобя ещё улучнить результат. Не очен надеялся, но кое-что мы получили. Результат превысил ожидания.

Задача в первом и даже во втором приближении, как видно из графиков, вполне успешно решена, но мы постоянно ищем пути улучшения. Если народу интересно поломать голову, могу иногда кидать подобные задачки - у нас их много. Я сам это любил.

[OtecFedor]

Извините, повесил глобально. Ну очень надо.

Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...

Надо определить частоту излучателя.

Там полько амплитудная информация, фазы нет?

Окститесь! Фаза на спектре мощности?

Мошность гармоники Re^2+Im^2, есть ли отдельно Re и Im? Как был получен спектр?

[DropAndDrag]

Извините, повесил глобально. Ну очень надо.

Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...

Надо определить частоту излучателя.

Там полько амплитудная информация, фазы нет?

Окститесь! Фаза на спектре мощности?

и зачем (про окститесь). человек вскольз прочитал и пропустил про мощность.
кстати, лет 10 назад на самой большой конференции о масс-спектрометрах была презентация по использованию фазовой составляющей при обработке сигнала.

[DropAndDrag]

Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.

Это одна конкретная реализация выхожо БПФ
in.png

Ниже это статистика после прогона 1000 процессов.

Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку.

Думаю сие невозможно в принципе.
Кроме как повторять измерения пока не получится вменяемая картинка - других вариантов не вижу.
Тогда ставить задачу: как определить что измерений достаточно?

Ну, это очень даже лестно. Очень рад, что это кто-то понимает. Действительно, это всё не просто и понять с лёту суть проблемы очень тредно. Поздравляю, Вы смогли это сделать! Это не сарказм. Вы единственный с ходу сказали, что нужно искать максимум средневзвешенного значения. На последнем графике результат именно его работы.
За этими графиками год нашей работы и много теории. Я работаю с одним из лучших теоретиков в России в этой области. Он зарабатывал хорошие деньги даже тогда, когда вся наука оказалась просто в ауте и все именитые друг перед другом профессора стали никому не нужны.
У него свой бизнес с тех ещё лет. Мы параллельно тогда открыли свои бизнесы вместе в то время и долго сотрудничали. Он позвал меня помочь с моделированием.

Вопрос был довольно примитивным, но все серьёзные удачные разработки состоят из таких, казалось бы, элементарных вещей. Я не стесняюсь их задавать. Иногда студенты могут оказать серьёзную помощь в таких вещах. Надеюсь, многие, кто участвовал в реальных проектах, со мной согласятся. О наких проблемах легко рассуждать поверхностно, не вникая глубоко в детали. Когда возникает потребность решить конкретную практическую задачу, то, вдруг выясняется, что та примитивная программа, которую можно накидать за пять минут, не работает. Надо выдержать несколько условий, о которых про легковесном общем обсуждении просто опускают. О них знают, но держать их все, скажем так, в оперативной памяти, могут, поверьте, не многие. Всегда завидовал таким людям.
Я решил задать этот вопрос в надежде получить свежие идеи и, возможно, новую информацию, чтобя ещё улучнить результат. Не очен надеялся, но кое-что мы получили. Результат превысил ожидания.

Задача в первом и даже во втором приближении, как видно из графиков, вполне успешно решена, но мы постоянно ищем пути улучшения. Если народу интересно поломать голову, могу иногда кидать подобные задачки - у нас их много. Я сам это любил.

пипец и только
а нельзя было сделать по-человечески? написать, мы такие-то и растакие-то, так вот и так, если несложно и нелениво гляньте и может что-то ляпните ...
так что, мне неприятно, что меня использовали в темную

[Privet]

...
Мошность гармоники Re^2+Im^2, есть ли отдельно Re и Im? Как был получен спектр?

Да, конечно есть. Мы сначала получаем обычный результат БПФ, а потом классическипересчитываем отсчёты в мощность как p=Re^2 + Im^2