Вопрос математикам

User avatar
apex
Уже с Приветом
Posts: 2238
Joined: 24 May 2008 13:28
Location: Chicago

Re: Вопрос математикам

Post by apex »

А вот normal distribution с одним дополнительным параметром для корректировки bias. Выглядит вполне прилично.
You do not have the required permissions to view the files attached to this post.
DropAndDrag
Уже с Приветом
Posts: 6019
Joined: 11 Mar 2011 05:36

Re: Вопрос математикам

Post by DropAndDrag »

apex wrote: 27 Dec 2020 00:54 А вот normal distribution с одним дополнительным параметром для корректировки bias. Выглядит вполне прилично.
накидыванием нормальных распределений на 512-1024-2048 точки занимаются в Mossbauer детекторах. сам Mossbauer эффект один из самых точных, если не самый точный, но вот оборудование основано на механическом (!) перемещении с постоянной (!!) скоростью для получения доплеровского эффекта. Это сделать точным сложно, поэтому и точек мало. Измерения проходят неделями, чтобы получить приемлимый сигнал к шуму. кстати, если увеличить кол-во точек в 2 раза, то и время измерения надо увеличить типа 2 раза.
для того чтобы улучшить результат обработки, перед и после каждого измерения делают калибровочное измерение с известным образцом. калибровочные измерения должны сходится и одно из них используют для перекалибровки реального измерения. потом уже фиттируют нормальными распределениями, но при этом примерно представляют сколько и чего там должно быть. если же образец неизвестен, то используют другие приборы, чтобы хоть что-то и как-то узнать.
https://en.wikipedia.org/wiki/M%C3%B6ss ... ectroscopy
User avatar
Privet
Администратор
Posts: 17201
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

Palych wrote: 27 Dec 2020 00:29 Набрать экспериментальных данных побольше, скормить их нейронной сети, как-нибудь вынуть результат обучения и записать его на ПЛМ...
В любом случае данные собирать надо.
Вопрос только где взять нейронную сеть и сколько времени это займёт. Я игрался с ними, но это было лет ... дцать назад Вся задача она не такая однозначная. Результат сильно зависит от предобработки. Полный пакет экспериментов и данных создать будет не просто. Наверное, месяцы работы. Мы уже почти год с этим работаем. Не только с этим, но и над этим в том числе. Это ключевой компонент.
Привет.
Физик-Лирик
Уже с Приветом
Posts: 5106
Joined: 19 Oct 2004 01:46

Re: Вопрос математикам

Post by Физик-Лирик »

aml5691 wrote: 27 Dec 2020 00:45 Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".
Присоединяюсь к вопросу.
apex wrote: 27 Dec 2020 00:54 А вот normal distribution с одним дополнительным параметром для корректировки bias. Выглядит вполне прилично.
Есть ли какая предварительная инфа о характере распределения? Если основываться на графике и информации о "колокольчике", можно постулировать нормальный характер распределения (случайной величины) и прогнать серию тестов Колмогорова-Смирнова для сравнения распределений, подыскивая подходящие параметры нормального распределения. В приципе можно прогнать тест Шапиро для подтверждения нормальности (хотя уверен, на такой выборке нормльность подтверждена не будет). Последний тест займет пару минут прогнать, используя имеющиеся пакеты (что-то я совсем обленился). Тест Колмогорова-Смирнова основан на сравнении эмпирических распределений, а также дает оценки сходимости эмпирического распределения к реальному (сама сходимость гарантирована теоремой Гливенко-Кантелли).
Palych wrote: 26 Dec 2020 18:06 Я не математик, но в принципе по искаженным данным нельзя получить точное число.
Ответ должен выглядеть как величина плюс/минус ошибка. Мне кажется, что проблема здесь не только в шуме. Так как имеется статистическая выборка, любая величина (статистика) не может в принципе быть определена точно, поэтому должен быть оценен интервал точности (confidence interval).
Физик-Лирик
Уже с Приветом
Posts: 5106
Joined: 19 Oct 2004 01:46

Re: Вопрос математикам

Post by Физик-Лирик »

Privet wrote: 27 Dec 2020 03:59
Palych wrote: 27 Dec 2020 00:29 Набрать экспериментальных данных побольше, скормить их нейронной сети, как-нибудь вынуть результат обучения и записать его на ПЛМ...
В любом случае данные собирать надо.
Вопрос только где взять нейронную сеть и сколько времени это займёт. Я игрался с ними, но это было лет ... дцать назад Вся задача она не такая однозначная. Результат сильно зависит от предобработки. Полный пакет экспериментов и данных создать будет не просто. Наверное, месяцы работы. Мы уже почти год с этим работаем. Не только с этим, но и над этим в том числе. Это ключевой компонент.
Насколько я понимаю, предполагается применить методику машобуча. Что предлагается использовать в качестве входных параметров (переменных) и какова целевая функция (зависимая переменная)? Почему именно нейронный сети? В принципе для анализа шума можно попробовать авто-энкодер (денойзинг автоэнкодер). Вы это имели в виду?
Все таки цель определить максимум спектра (частоту и величину мощности) или же, как писали выше, один из моментов распределения?
Физик-Лирик
Уже с Приветом
Posts: 5106
Joined: 19 Oct 2004 01:46

Re: Вопрос математикам

Post by Физик-Лирик »

Выше предлагался метод скользящего окна. Обычно его используют для "тушения" высокочастотного шума (в принципе подойдет, если предположить что шум является высокочастотным). В данном примере, мне кажется количество точек спектра может оказаться недостаточным.
User avatar
Privet
Администратор
Posts: 17201
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

apex wrote: 27 Dec 2020 00:54 А вот normal distribution с одним дополнительным параметром для корректировки bias. Выглядит вполне прилично.
По одной реализации судить об удачности алгортьма невозможно.

Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.

Это одна конкретная реализация выхожо БПФ
in.png
Ниже это статистика после прогона 1000 процессов.

Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку. Ну, есть варианты, но это не предмет этого топика
avg.png
Это результат ошибки после некоторой обработки, но ещё без уточнения. Ошибки определения частоты, очевидно, кратны дискретности БПФ.
err.png
Наконец, один из вариантов ошибки после уточнения. Теперь ошибки кратны 1/8 дискретности БПФ и хорошо видно, что их распределение скучковалось к центру. Улучшение не такое кардинальное, как хотелось бы? Да, но средняя ошибка оценки частоты уменьшается, что и требовалось сделать.
errcorr.png
You do not have the required permissions to view the files attached to this post.
Привет.
User avatar
Privet
Администратор
Posts: 17201
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

aml5691 wrote: 27 Dec 2020 00:45
Privet wrote: 26 Dec 2020 14:43 [...]

Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

[...]
Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".

Один возможный способ дать корректное определение искомому "центру колокольчика" - рассмотреть гипотетический случай, когда (1) шумов нет совсем, и (2) функция измерена в каждой точке достаточно широкого интервала значений ее аргумента (т.е. с бесконечно маленьким шагом дискретизации). Что Вам нужно тогда считать "центром этого "колокольчика"" для Ваших целей? К примеру (a) значение аргумента функции в единственном максимуме этой функции на интервале измерений; или (b) первый момент функции, вычисленный по интервалу (т.е. центр тяжести графика, или среднее значение аргумента функции с весом равным значению функции); (c) положение локального центра симметрии графика функции; или что-либо другое?

При отсутствии шумов (но дискретных измерениях сигнала) и при дополнительном условии ограниченности спектра Вашей функции, одно эффектное решение для любого из определений (а), (b), (c) и некоторых других, можно получить использовав теорему Котельникова (Sampling Theorem):

Ру.Википедия: Теорема Котельникова

En.Wikipedia: Nyquist–Shannon sampling theorem

Поскольку Вы уже называете функцию спектром, упомянутое условие ограниченности спектра нужно понимать, как ограниченность во времени сигнала, для которого Ваша функция является спектром.

Подозреваю, что в предположениях теоремы Котельникова, но при наличии шумов, тоже есть интересные и полезные решения, но скорее всего для них нужно знать больше при природу шумов и их характеристики.
Что вы! Когда нам разбираться с теоремой Котельникова, а, тем более, Найквиста. Мы же не учёные, мы практики. Нам делать устройство надо - бит туда, байт туда. Если бы вы согласились, мы бы с вами договор заключили, но это, наверное, дорого будет, а мы можем заплатить только несколько тысяч долларов, не больше. Ну, десять если на несколько месяцев, но это максимум.
Котельникова - что-то припоминаю, учили мы такое, но это было давно и неправда.
Привет.
aml5691
Уже с Приветом
Posts: 832
Joined: 15 Jan 2004 18:42

Re: Вопрос математикам

Post by aml5691 »

Privet wrote: 27 Dec 2020 05:13
aml5691 wrote: 27 Dec 2020 00:45
Privet wrote: 26 Dec 2020 14:43 [...]

Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

[...]
Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".

Один возможный способ дать корректное определение искомому "центру колокольчика" - рассмотреть гипотетический случай, когда (1) шумов нет совсем, и (2) функция измерена в каждой точке достаточно широкого интервала значений ее аргумента (т.е. с бесконечно маленьким шагом дискретизации). Что Вам нужно тогда считать "центром этого "колокольчика"" для Ваших целей? К примеру (a) значение аргумента функции в единственном максимуме этой функции на интервале измерений; или (b) первый момент функции, вычисленный по интервалу (т.е. центр тяжести графика, или среднее значение аргумента функции с весом равным значению функции); (c) положение локального центра симметрии графика функции; или что-либо другое?

При отсутствии шумов (но дискретных измерениях сигнала) и при дополнительном условии ограниченности спектра Вашей функции, одно эффектное решение для любого из определений (а), (b), (c) и некоторых других, можно получить использовав теорему Котельникова (Sampling Theorem):

Ру.Википедия: Теорема Котельникова

En.Wikipedia: Nyquist–Shannon sampling theorem

Поскольку Вы уже называете функцию спектром, упомянутое условие ограниченности спектра нужно понимать, как ограниченность во времени сигнала, для которого Ваша функция является спектром.

Подозреваю, что в предположениях теоремы Котельникова, но при наличии шумов, тоже есть интересные и полезные решения, но скорее всего для них нужно знать больше при природу шумов и их характеристики.
Что вы! Когда нам разбираться с теоремой Котельникова, а, тем более, Найквиста. Мы же не учёные, мы практики. Нам делать устройство надо - бит туда, байт туда. Если бы вы согласились, мы бы с вами договор заключили, но это, наверное, дорого будет, а мы можем заплатить только несколько тысяч долларов, не больше. Ну, десять если на несколько месяцев, но это максимум.
Котельникова - что-то припоминаю, учили мы такое, но это было давно и неправда.
Если Вы не шутите и не иронизируете (и сами уже давно разобрались с возможностью применения этой теоремы), то с теоремой Котельникова (она же Nyquist-Shannon sampling theorem) Вам должно быть под силу разобраться. По крайней мере ее классическая формулировка (в отсутствии шумов/ошибок измерения) - вполне элементарна, сформулирована и доказана (в одну строчку) именно инженерами-практиками. Сложной или интересной математики в ней нет, хотя ее утверждение и может поначалу удивлять наивных людей.

Неформально, в применении к спектру сигнала, меняющегося как функция времени, теорема Котельникова утверждает, что если (i) такой сигнал ограничен по времени (т.е. начинается в некоторый момент и заканчивается когда-либо); и (ii) его спектр (преобразование Фурье) вычислен для дискретных частот, с достаточно малым шагом по частоте; то, при отсутствии шумов и ошибок измерения, этот спектр можно абсолютно точно (с нулевой ошибкой интерполяции) проинтерполировать для любых частот между дискретными частотами, для которых вычислен спектр.

Если условия этой теоремы применимы к Вашей задаче (или Вас устраивает, что они только частично применимы), то, используя такую абсолютно точную интерполяцию, можно абсолютно точно найти "центр колокольчика", для широкого класса возможных определений такого центра. Процедура такой абсолютно точной интерполяции вполне элементарна.
DropAndDrag
Уже с Приветом
Posts: 6019
Joined: 11 Mar 2011 05:36

Re: Вопрос математикам

Post by DropAndDrag »

честно говоря не знаю, что можно сделать с таким сигналом. если пик должен быть один, то нет даже отношения сигнала к шуму 1.5:1.
в принципе можно найти уровень шума, построив гистограмму распределение сигналов по амплитуде и получив что-то типа гауссового распределения.
продолжу спекулировать. может быть имеет смысл применить усредняющее окно несколько раз, чтобы шум "подтянулся" к уровню шума, в надежде, что влияние шума на единственный пик станет одинаковым (=минимальным). ширину окна бы взял бы не 3, а побольше - например равным кол-ву точек, которые будут выше уровня шума в самой длинной группе, но не больше 9 или даже 7. при таком выравнивании надеюсь, что единственный пик примет симметричную форму, а может наоборот дожидаться, когда пик станет симметричным и останавливаться, посчитав, что влияние шума стала минимальным. но это все спекуляция чистой воды.
Palych
Уже с Приветом
Posts: 13694
Joined: 16 Jan 2001 10:01

Re: Вопрос математикам

Post by Palych »

Privet wrote: 27 Dec 2020 05:01
Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.

Это одна конкретная реализация выхожо БПФ
in.png

Ниже это статистика после прогона 1000 процессов.

Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку.
Думаю сие невозможно в принципе.
Кроме как повторять измерения пока не получится вменяемая картинка - других вариантов не вижу.
Тогда ставить задачу: как определить что измерений достаточно?
OtecFedor
Уже с Приветом
Posts: 8378
Joined: 17 Oct 2001 09:01
Location: Уездный город N

Re: Вопрос математикам

Post by OtecFedor »

Privet wrote: 26 Dec 2020 14:43 Извините, повесил глобально. Ну очень надо.

Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...

Надо определить частоту излучателя.
Там полько амплитудная информация, фазы нет?
User avatar
Privet
Администратор
Posts: 17201
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

aml5691 wrote: 27 Dec 2020 05:46
Privet wrote: 27 Dec 2020 05:13
aml5691 wrote: 27 Dec 2020 00:45
Privet wrote: 26 Dec 2020 14:43 [...]

Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

[...]
Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".

Один возможный способ дать корректное определение искомому "центру колокольчика" - рассмотреть гипотетический случай, когда (1) шумов нет совсем, и (2) функция измерена в каждой точке достаточно широкого интервала значений ее аргумента (т.е. с бесконечно маленьким шагом дискретизации). Что Вам нужно тогда считать "центром этого "колокольчика"" для Ваших целей? К примеру (a) значение аргумента функции в единственном максимуме этой функции на интервале измерений; или (b) первый момент функции, вычисленный по интервалу (т.е. центр тяжести графика, или среднее значение аргумента функции с весом равным значению функции); (c) положение локального центра симметрии графика функции; или что-либо другое?

При отсутствии шумов (но дискретных измерениях сигнала) и при дополнительном условии ограниченности спектра Вашей функции, одно эффектное решение для любого из определений (а), (b), (c) и некоторых других, можно получить использовав теорему Котельникова (Sampling Theorem):

Ру.Википедия: Теорема Котельникова

En.Wikipedia: Nyquist–Shannon sampling theorem

Поскольку Вы уже называете функцию спектром, упомянутое условие ограниченности спектра нужно понимать, как ограниченность во времени сигнала, для которого Ваша функция является спектром.

Подозреваю, что в предположениях теоремы Котельникова, но при наличии шумов, тоже есть интересные и полезные решения, но скорее всего для них нужно знать больше при природу шумов и их характеристики.
Что вы! Когда нам разбираться с теоремой Котельникова, а, тем более, Найквиста. Мы же не учёные, мы практики. Нам делать устройство надо - бит туда, байт туда. Если бы вы согласились, мы бы с вами договор заключили, но это, наверное, дорого будет, а мы можем заплатить только несколько тысяч долларов, не больше. Ну, десять если на несколько месяцев, но это максимум.
Котельникова - что-то припоминаю, учили мы такое, но это было давно и неправда.
Если Вы не шутите и не иронизируете (и сами уже давно разобрались с возможностью применения этой теоремы), то с теоремой Котельникова (она же Nyquist-Shannon sampling theorem) Вам должно быть под силу разобраться. По крайней мере ее классическая формулировка (в отсутствии шумов/ошибок измерения) - вполне элементарна, сформулирована и доказана (в одну строчку) именно инженерами-практиками. Сложной или интересной математики в ней нет, хотя ее утверждение и может поначалу удивлять наивных людей.

Неформально, в применении к спектру сигнала, меняющегося как функция времени, теорема Котельникова утверждает, что если (i) такой сигнал ограничен по времени (т.е. начинается в некоторый момент и заканчивается когда-либо); и (ii) его спектр (преобразование Фурье) вычислен для дискретных частот, с достаточно малым шагом по частоте; то, при отсутствии шумов и ошибок измерения, этот спектр можно абсолютно точно (с нулевой ошибкой интерполяции) проинтерполировать для любых частот между дискретными частотами, для которых вычислен спектр.

Если условия этой теоремы применимы к Вашей задаче (или Вас устраивает, что они только частично применимы), то, используя такую абсолютно точную интерполяцию, можно абсолютно точно найти "центр колокольчика", для широкого класса возможных определений такого центра. Процедура такой абсолютно точной интерполяции вполне элементарна.
Ну, рассмешили вы меня вчера. Я занимаюсь цифровой обработкой лет эдак 40. И не просто любительски, а на глубоком профессиональном уровне. Я до сих пор имею приоритеты в России, которые в своё время открыли передо мной все двери. Я участвовал в разработках с лучшими специаристами России каждый в своей области. Нас специально отобрали для разработки в интересах МВД. Тогда всё упало и только они имели хоть какие-то деньги. И тут мне рассказывают о Теореме Котельникова. Она же Найквиста. Причуды форума.

Собственно, вы не при чём. Вы не знали кому пишите. Получилось комичная ситуация. Я просто не удержался пошутить. Не обижайтесь, пожалуйста.
Привет.
User avatar
Privet
Администратор
Posts: 17201
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

OtecFedor wrote: 27 Dec 2020 16:40
Privet wrote: 26 Dec 2020 14:43 Извините, повесил глобально. Ну очень надо.

Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...

Надо определить частоту излучателя.
Там полько амплитудная информация, фазы нет?
Окститесь! Фаза на спектре мощности? :)
Привет.
User avatar
ALV00
Уже с Приветом
Posts: 1494
Joined: 08 Mar 2002 10:01
Location: NJ

Re: Вопрос математикам

Post by ALV00 »

А не проще взять готовый чип для FM демодуляции? Типа R820T2. Ну или посмотреть как они устроены.
User avatar
Privet
Администратор
Posts: 17201
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

Palych wrote: 27 Dec 2020 16:34
Privet wrote: 27 Dec 2020 05:01
Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.

Это одна конкретная реализация выхожо БПФ
in.png

Ниже это статистика после прогона 1000 процессов.

Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку.
Думаю сие невозможно в принципе.
Кроме как повторять измерения пока не получится вменяемая картинка - других вариантов не вижу.
Тогда ставить задачу: как определить что измерений достаточно?
Ну, это очень даже лестно. Очень рад, что это кто-то понимает. Действительно, это всё не просто и понять с лёту суть проблемы очень тредно. Поздравляю, Вы смогли это сделать! Это не сарказм. Вы единственный с ходу сказали, что нужно искать максимум средневзвешенного значения. На последнем графике результат именно его работы.
За этими графиками год нашей работы и много теории. Я работаю с одним из лучших теоретиков в России в этой области. Он зарабатывал хорошие деньги даже тогда, когда вся наука оказалась просто в ауте и все именитые друг перед другом профессора стали никому не нужны.
У него свой бизнес с тех ещё лет. Мы параллельно тогда открыли свои бизнесы вместе в то время и долго сотрудничали. Он позвал меня помочь с моделированием.

Вопрос был довольно примитивным, но все серьёзные удачные разработки состоят из таких, казалось бы, элементарных вещей. Я не стесняюсь их задавать. Иногда студенты могут оказать серьёзную помощь в таких вещах. Надеюсь, многие, кто участвовал в реальных проектах, со мной согласятся. О наких проблемах легко рассуждать поверхностно, не вникая глубоко в детали. Когда возникает потребность решить конкретную практическую задачу, то, вдруг выясняется, что та примитивная программа, которую можно накидать за пять минут, не работает. Надо выдержать несколько условий, о которых про легковесном общем обсуждении просто опускают. О них знают, но держать их все, скажем так, в оперативной памяти, могут, поверьте, не многие. Всегда завидовал таким людям.
Я решил задать этот вопрос в надежде получить свежие идеи и, возможно, новую информацию, чтобя ещё улучнить результат. Не очен надеялся, но кое-что мы получили. Результат превысил ожидания.

Задача в первом и даже во втором приближении, как видно из графиков, вполне успешно решена, но мы постоянно ищем пути улучшения. Если народу интересно поломать голову, могу иногда кидать подобные задачки - у нас их много. Я сам это любил.
Привет.
OtecFedor
Уже с Приветом
Posts: 8378
Joined: 17 Oct 2001 09:01
Location: Уездный город N

Re: Вопрос математикам

Post by OtecFedor »

Privet wrote: 27 Dec 2020 16:51
OtecFedor wrote: 27 Dec 2020 16:40
Privet wrote: 26 Dec 2020 14:43 Извините, повесил глобально. Ну очень надо.

Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...

Надо определить частоту излучателя.
Там полько амплитудная информация, фазы нет?
Окститесь! Фаза на спектре мощности? :)
Мошность гармоники Re^2+Im^2, есть ли отдельно Re и Im? Как был получен спектр?
DropAndDrag
Уже с Приветом
Posts: 6019
Joined: 11 Mar 2011 05:36

Re: Вопрос математикам

Post by DropAndDrag »

Privet wrote: 27 Dec 2020 16:51
OtecFedor wrote: 27 Dec 2020 16:40
Privet wrote: 26 Dec 2020 14:43 Извините, повесил глобально. Ну очень надо.

Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...

Надо определить частоту излучателя.
Там полько амплитудная информация, фазы нет?
Окститесь! Фаза на спектре мощности? :)
и зачем (про окститесь). человек вскольз прочитал и пропустил про мощность.
кстати, лет 10 назад на самой большой конференции о масс-спектрометрах была презентация по использованию фазовой составляющей при обработке сигнала.
DropAndDrag
Уже с Приветом
Posts: 6019
Joined: 11 Mar 2011 05:36

Re: Вопрос математикам

Post by DropAndDrag »

Privet wrote: 27 Dec 2020 18:17
Palych wrote: 27 Dec 2020 16:34
Privet wrote: 27 Dec 2020 05:01
Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.

Это одна конкретная реализация выхожо БПФ
in.png

Ниже это статистика после прогона 1000 процессов.

Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку.
Думаю сие невозможно в принципе.
Кроме как повторять измерения пока не получится вменяемая картинка - других вариантов не вижу.
Тогда ставить задачу: как определить что измерений достаточно?
Ну, это очень даже лестно. Очень рад, что это кто-то понимает. Действительно, это всё не просто и понять с лёту суть проблемы очень тредно. Поздравляю, Вы смогли это сделать! Это не сарказм. Вы единственный с ходу сказали, что нужно искать максимум средневзвешенного значения. На последнем графике результат именно его работы.
За этими графиками год нашей работы и много теории. Я работаю с одним из лучших теоретиков в России в этой области. Он зарабатывал хорошие деньги даже тогда, когда вся наука оказалась просто в ауте и все именитые друг перед другом профессора стали никому не нужны.
У него свой бизнес с тех ещё лет. Мы параллельно тогда открыли свои бизнесы вместе в то время и долго сотрудничали. Он позвал меня помочь с моделированием.

Вопрос был довольно примитивным, но все серьёзные удачные разработки состоят из таких, казалось бы, элементарных вещей. Я не стесняюсь их задавать. Иногда студенты могут оказать серьёзную помощь в таких вещах. Надеюсь, многие, кто участвовал в реальных проектах, со мной согласятся. О наких проблемах легко рассуждать поверхностно, не вникая глубоко в детали. Когда возникает потребность решить конкретную практическую задачу, то, вдруг выясняется, что та примитивная программа, которую можно накидать за пять минут, не работает. Надо выдержать несколько условий, о которых про легковесном общем обсуждении просто опускают. О них знают, но держать их все, скажем так, в оперативной памяти, могут, поверьте, не многие. Всегда завидовал таким людям.
Я решил задать этот вопрос в надежде получить свежие идеи и, возможно, новую информацию, чтобя ещё улучнить результат. Не очен надеялся, но кое-что мы получили. Результат превысил ожидания.

Задача в первом и даже во втором приближении, как видно из графиков, вполне успешно решена, но мы постоянно ищем пути улучшения. Если народу интересно поломать голову, могу иногда кидать подобные задачки - у нас их много. Я сам это любил.
пипец и только :pain1:
а нельзя было сделать по-человечески? написать, мы такие-то и растакие-то, так вот и так, если несложно и нелениво гляньте и может что-то ляпните ...
так что, мне неприятно, что меня использовали в темную :food:
User avatar
Privet
Администратор
Posts: 17201
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

OtecFedor wrote: 27 Dec 2020 18:51 ...
Мошность гармоники Re^2+Im^2, есть ли отдельно Re и Im? Как был получен спектр?
Да, конечно есть. Мы сначала получаем обычный результат БПФ, а потом классическипересчитываем отсчёты в мощность как p=Re^2 + Im^2
Привет.
User avatar
Privet
Администратор
Posts: 17201
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

DropAndDrag wrote: 27 Dec 2020 19:27 ...
пипец и только :pain1:
а нельзя было сделать по-человечески? написать, мы такие-то и растакие-то, так вот и так, если несложно и нелениво гляньте и может что-то ляпните ...
так что, мне неприятно, что меня использовали в темную :food:
Простите, но вы не правы. Я в одном из самых первых постов в ответе Владу написал, что вопрос касается одной изолированной проблемы, а не глобальной проблемы обнаружения сигнала. Я также честно написал, что алгоритмы "уточнения" частоты (чего и касался вопрос) у нас есть, они работают, но мы ищем новые идеи по улучшению.
Это не по-человечески? Я же не виноват, то топик вы не читали.

Было бы очень глупо, если бы я туда включил самопрезентацию, а пришлось мне об этом сказать лишь по ходу темы, когда мне стали предлагать освоить теорему Котельникова.
Так что, извините...
Привет.
OtecFedor
Уже с Приветом
Posts: 8378
Joined: 17 Oct 2001 09:01
Location: Уездный город N

Re: Вопрос математикам

Post by OtecFedor »

Privet wrote: 27 Dec 2020 20:01
OtecFedor wrote: 27 Dec 2020 18:51 ...
Мошность гармоники Re^2+Im^2, есть ли отдельно Re и Im? Как был получен спектр?
Да, конечно есть. Мы сначала получаем обычный результат БПФ, а потом классическипересчитываем отсчёты в мощность как p=Re^2 + Im^2
Обычно это итеративный процесс, помогает априори знание сигнала, например коррелируете амплитуду и phase noise, находите кандидатов, более тщательное измерение в узком окне.
User avatar
Privet
Администратор
Posts: 17201
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

OtecFedor wrote: 27 Dec 2020 20:58
Privet wrote: 27 Dec 2020 20:01
OtecFedor wrote: 27 Dec 2020 18:51 ...
Мошность гармоники Re^2+Im^2, есть ли отдельно Re и Im? Как был получен спектр?
Да, конечно есть. Мы сначала получаем обычный результат БПФ, а потом классическипересчитываем отсчёты в мощность как p=Re^2 + Im^2
Обычно это итеративный процесс, помогает априори знание сигнала, например коррелируете амплитуду и phase noise, находите кандидатов, более тщательное измерение в узком окне.
Именно так. Сначала обрабатываем входной сигнал так, чтобы выделить нужные нам вещи, выбираем кандидатуру и, наконец, уточняем результат.
Я извиняюсь, но в деталях я описывать не могу. Мы находимся ещё в процессе подготовки материалов к публикации и решаем что подлежит к раскрытию, а что останется как ноу-хау.
Привет.
User avatar
Privet
Администратор
Posts: 17201
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

ALV00 wrote: 27 Dec 2020 17:41 А не проще взять готовый чип для FM демодуляции? Типа R820T2. Ну или посмотреть как они устроены.
Да, такие чипы сделаны очень толково, но точные алгоритмы они обычно не публикуют. Больше смотрим на статьи. Вообще, с готовыми чипами есть несколько проблем. Проект опирается на функциональность и/или характеристики, которыя ранее были недоступны для данного приложения (IoT) или это было слишком сложно и разработчики за это не брались.
1. Большинство не тянут на наши требования.
2. Проект чисто российский и использование иностранной элементной базы очень ограничено.
Привет.
OtecFedor
Уже с Приветом
Posts: 8378
Joined: 17 Oct 2001 09:01
Location: Уездный город N

Re: Вопрос математикам

Post by OtecFedor »

Privet wrote: 27 Dec 2020 21:56
OtecFedor wrote: 27 Dec 2020 20:58
Privet wrote: 27 Dec 2020 20:01
OtecFedor wrote: 27 Dec 2020 18:51 ...
Мошность гармоники Re^2+Im^2, есть ли отдельно Re и Im? Как был получен спектр?
Да, конечно есть. Мы сначала получаем обычный результат БПФ, а потом классическипересчитываем отсчёты в мощность как p=Re^2 + Im^2
Обычно это итеративный процесс, помогает априори знание сигнала, например коррелируете амплитуду и phase noise, находите кандидатов, более тщательное измерение в узком окне.
Именно так. Сначала обрабатываем входной сигнал так, чтобы выделить нужные нам вещи, выбираем кандидатуру и, наконец, уточняем результат.
Я извиняюсь, но в деталях я описывать не могу. Мы находимся ещё в процессе подготовки материалов к публикации и решаем что подлежит к раскрытию, а что останется как ноу-хау.
Ну удачи! Мои обшии совет: работая только с модулем амплитуды вы теряете (потенциально) полезную информацию.

Return to “Вопросы и новости IT”