Вопрос математикам
-
- Уже с Приветом
- Posts: 2230
- Joined: 24 May 2008 13:28
- Location: Chicago
Re: Вопрос математикам
А вот normal distribution с одним дополнительным параметром для корректировки bias. Выглядит вполне прилично.
You do not have the required permissions to view the files attached to this post.
-
- Уже с Приветом
- Posts: 5989
- Joined: 11 Mar 2011 05:36
Re: Вопрос математикам
накидыванием нормальных распределений на 512-1024-2048 точки занимаются в Mossbauer детекторах. сам Mossbauer эффект один из самых точных, если не самый точный, но вот оборудование основано на механическом (!) перемещении с постоянной (!!) скоростью для получения доплеровского эффекта. Это сделать точным сложно, поэтому и точек мало. Измерения проходят неделями, чтобы получить приемлимый сигнал к шуму. кстати, если увеличить кол-во точек в 2 раза, то и время измерения надо увеличить типа 2 раза.
для того чтобы улучшить результат обработки, перед и после каждого измерения делают калибровочное измерение с известным образцом. калибровочные измерения должны сходится и одно из них используют для перекалибровки реального измерения. потом уже фиттируют нормальными распределениями, но при этом примерно представляют сколько и чего там должно быть. если же образец неизвестен, то используют другие приборы, чтобы хоть что-то и как-то узнать.
https://en.wikipedia.org/wiki/M%C3%B6ss ... ectroscopy
-
- Администратор
- Posts: 17180
- Joined: 03 Jan 1999 10:01
- Location: Redmond, WA
Re: Вопрос математикам
Вопрос только где взять нейронную сеть и сколько времени это займёт. Я игрался с ними, но это было лет ... дцать назад Вся задача она не такая однозначная. Результат сильно зависит от предобработки. Полный пакет экспериментов и данных создать будет не просто. Наверное, месяцы работы. Мы уже почти год с этим работаем. Не только с этим, но и над этим в том числе. Это ключевой компонент.
Привет.
-
- Уже с Приветом
- Posts: 5104
- Joined: 19 Oct 2004 01:46
Re: Вопрос математикам
Присоединяюсь к вопросу.
Есть ли какая предварительная инфа о характере распределения? Если основываться на графике и информации о "колокольчике", можно постулировать нормальный характер распределения (случайной величины) и прогнать серию тестов Колмогорова-Смирнова для сравнения распределений, подыскивая подходящие параметры нормального распределения. В приципе можно прогнать тест Шапиро для подтверждения нормальности (хотя уверен, на такой выборке нормльность подтверждена не будет). Последний тест займет пару минут прогнать, используя имеющиеся пакеты (что-то я совсем обленился). Тест Колмогорова-Смирнова основан на сравнении эмпирических распределений, а также дает оценки сходимости эмпирического распределения к реальному (сама сходимость гарантирована теоремой Гливенко-Кантелли).
Ответ должен выглядеть как величина плюс/минус ошибка. Мне кажется, что проблема здесь не только в шуме. Так как имеется статистическая выборка, любая величина (статистика) не может в принципе быть определена точно, поэтому должен быть оценен интервал точности (confidence interval).
-
- Уже с Приветом
- Posts: 5104
- Joined: 19 Oct 2004 01:46
Re: Вопрос математикам
Насколько я понимаю, предполагается применить методику машобуча. Что предлагается использовать в качестве входных параметров (переменных) и какова целевая функция (зависимая переменная)? Почему именно нейронный сети? В принципе для анализа шума можно попробовать авто-энкодер (денойзинг автоэнкодер). Вы это имели в виду?Privet wrote: ↑27 Dec 2020 03:59Вопрос только где взять нейронную сеть и сколько времени это займёт. Я игрался с ними, но это было лет ... дцать назад Вся задача она не такая однозначная. Результат сильно зависит от предобработки. Полный пакет экспериментов и данных создать будет не просто. Наверное, месяцы работы. Мы уже почти год с этим работаем. Не только с этим, но и над этим в том числе. Это ключевой компонент.
Все таки цель определить максимум спектра (частоту и величину мощности) или же, как писали выше, один из моментов распределения?
-
- Уже с Приветом
- Posts: 5104
- Joined: 19 Oct 2004 01:46
Re: Вопрос математикам
Выше предлагался метод скользящего окна. Обычно его используют для "тушения" высокочастотного шума (в принципе подойдет, если предположить что шум является высокочастотным). В данном примере, мне кажется количество точек спектра может оказаться недостаточным.
-
- Администратор
- Posts: 17180
- Joined: 03 Jan 1999 10:01
- Location: Redmond, WA
Re: Вопрос математикам
По одной реализации судить об удачности алгортьма невозможно.
Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.
Это одна конкретная реализация выхожо БПФ Ниже это статистика после прогона 1000 процессов.
Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку. Ну, есть варианты, но это не предмет этого топика Это результат ошибки после некоторой обработки, но ещё без уточнения. Ошибки определения частоты, очевидно, кратны дискретности БПФ. Наконец, один из вариантов ошибки после уточнения. Теперь ошибки кратны 1/8 дискретности БПФ и хорошо видно, что их распределение скучковалось к центру. Улучшение не такое кардинальное, как хотелось бы? Да, но средняя ошибка оценки частоты уменьшается, что и требовалось сделать.
You do not have the required permissions to view the files attached to this post.
Привет.
-
- Администратор
- Posts: 17180
- Joined: 03 Jan 1999 10:01
- Location: Redmond, WA
Re: Вопрос математикам
Что вы! Когда нам разбираться с теоремой Котельникова, а, тем более, Найквиста. Мы же не учёные, мы практики. Нам делать устройство надо - бит туда, байт туда. Если бы вы согласились, мы бы с вами договор заключили, но это, наверное, дорого будет, а мы можем заплатить только несколько тысяч долларов, не больше. Ну, десять если на несколько месяцев, но это максимум.aml5691 wrote: ↑27 Dec 2020 00:45Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".
Один возможный способ дать корректное определение искомому "центру колокольчика" - рассмотреть гипотетический случай, когда (1) шумов нет совсем, и (2) функция измерена в каждой точке достаточно широкого интервала значений ее аргумента (т.е. с бесконечно маленьким шагом дискретизации). Что Вам нужно тогда считать "центром этого "колокольчика"" для Ваших целей? К примеру (a) значение аргумента функции в единственном максимуме этой функции на интервале измерений; или (b) первый момент функции, вычисленный по интервалу (т.е. центр тяжести графика, или среднее значение аргумента функции с весом равным значению функции); (c) положение локального центра симметрии графика функции; или что-либо другое?
При отсутствии шумов (но дискретных измерениях сигнала) и при дополнительном условии ограниченности спектра Вашей функции, одно эффектное решение для любого из определений (а), (b), (c) и некоторых других, можно получить использовав теорему Котельникова (Sampling Theorem):
Ру.Википедия: Теорема Котельникова
En.Wikipedia: Nyquist–Shannon sampling theorem
Поскольку Вы уже называете функцию спектром, упомянутое условие ограниченности спектра нужно понимать, как ограниченность во времени сигнала, для которого Ваша функция является спектром.
Подозреваю, что в предположениях теоремы Котельникова, но при наличии шумов, тоже есть интересные и полезные решения, но скорее всего для них нужно знать больше при природу шумов и их характеристики.
Котельникова - что-то припоминаю, учили мы такое, но это было давно и неправда.
Привет.
-
- Уже с Приветом
- Posts: 830
- Joined: 15 Jan 2004 18:42
Re: Вопрос математикам
Если Вы не шутите и не иронизируете (и сами уже давно разобрались с возможностью применения этой теоремы), то с теоремой Котельникова (она же Nyquist-Shannon sampling theorem) Вам должно быть под силу разобраться. По крайней мере ее классическая формулировка (в отсутствии шумов/ошибок измерения) - вполне элементарна, сформулирована и доказана (в одну строчку) именно инженерами-практиками. Сложной или интересной математики в ней нет, хотя ее утверждение и может поначалу удивлять наивных людей.Privet wrote: ↑27 Dec 2020 05:13Что вы! Когда нам разбираться с теоремой Котельникова, а, тем более, Найквиста. Мы же не учёные, мы практики. Нам делать устройство надо - бит туда, байт туда. Если бы вы согласились, мы бы с вами договор заключили, но это, наверное, дорого будет, а мы можем заплатить только несколько тысяч долларов, не больше. Ну, десять если на несколько месяцев, но это максимум.aml5691 wrote: ↑27 Dec 2020 00:45Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".
Один возможный способ дать корректное определение искомому "центру колокольчика" - рассмотреть гипотетический случай, когда (1) шумов нет совсем, и (2) функция измерена в каждой точке достаточно широкого интервала значений ее аргумента (т.е. с бесконечно маленьким шагом дискретизации). Что Вам нужно тогда считать "центром этого "колокольчика"" для Ваших целей? К примеру (a) значение аргумента функции в единственном максимуме этой функции на интервале измерений; или (b) первый момент функции, вычисленный по интервалу (т.е. центр тяжести графика, или среднее значение аргумента функции с весом равным значению функции); (c) положение локального центра симметрии графика функции; или что-либо другое?
При отсутствии шумов (но дискретных измерениях сигнала) и при дополнительном условии ограниченности спектра Вашей функции, одно эффектное решение для любого из определений (а), (b), (c) и некоторых других, можно получить использовав теорему Котельникова (Sampling Theorem):
Ру.Википедия: Теорема Котельникова
En.Wikipedia: Nyquist–Shannon sampling theorem
Поскольку Вы уже называете функцию спектром, упомянутое условие ограниченности спектра нужно понимать, как ограниченность во времени сигнала, для которого Ваша функция является спектром.
Подозреваю, что в предположениях теоремы Котельникова, но при наличии шумов, тоже есть интересные и полезные решения, но скорее всего для них нужно знать больше при природу шумов и их характеристики.
Котельникова - что-то припоминаю, учили мы такое, но это было давно и неправда.
Неформально, в применении к спектру сигнала, меняющегося как функция времени, теорема Котельникова утверждает, что если (i) такой сигнал ограничен по времени (т.е. начинается в некоторый момент и заканчивается когда-либо); и (ii) его спектр (преобразование Фурье) вычислен для дискретных частот, с достаточно малым шагом по частоте; то, при отсутствии шумов и ошибок измерения, этот спектр можно абсолютно точно (с нулевой ошибкой интерполяции) проинтерполировать для любых частот между дискретными частотами, для которых вычислен спектр.
Если условия этой теоремы применимы к Вашей задаче (или Вас устраивает, что они только частично применимы), то, используя такую абсолютно точную интерполяцию, можно абсолютно точно найти "центр колокольчика", для широкого класса возможных определений такого центра. Процедура такой абсолютно точной интерполяции вполне элементарна.
-
- Уже с Приветом
- Posts: 5989
- Joined: 11 Mar 2011 05:36
Re: Вопрос математикам
честно говоря не знаю, что можно сделать с таким сигналом. если пик должен быть один, то нет даже отношения сигнала к шуму 1.5:1.
в принципе можно найти уровень шума, построив гистограмму распределение сигналов по амплитуде и получив что-то типа гауссового распределения.
продолжу спекулировать. может быть имеет смысл применить усредняющее окно несколько раз, чтобы шум "подтянулся" к уровню шума, в надежде, что влияние шума на единственный пик станет одинаковым (=минимальным). ширину окна бы взял бы не 3, а побольше - например равным кол-ву точек, которые будут выше уровня шума в самой длинной группе, но не больше 9 или даже 7. при таком выравнивании надеюсь, что единственный пик примет симметричную форму, а может наоборот дожидаться, когда пик станет симметричным и останавливаться, посчитав, что влияние шума стала минимальным. но это все спекуляция чистой воды.
в принципе можно найти уровень шума, построив гистограмму распределение сигналов по амплитуде и получив что-то типа гауссового распределения.
продолжу спекулировать. может быть имеет смысл применить усредняющее окно несколько раз, чтобы шум "подтянулся" к уровню шума, в надежде, что влияние шума на единственный пик станет одинаковым (=минимальным). ширину окна бы взял бы не 3, а побольше - например равным кол-ву точек, которые будут выше уровня шума в самой длинной группе, но не больше 9 или даже 7. при таком выравнивании надеюсь, что единственный пик примет симметричную форму, а может наоборот дожидаться, когда пик станет симметричным и останавливаться, посчитав, что влияние шума стала минимальным. но это все спекуляция чистой воды.
-
- Уже с Приветом
- Posts: 13643
- Joined: 16 Jan 2001 10:01
Re: Вопрос математикам
Думаю сие невозможно в принципе.Privet wrote: ↑27 Dec 2020 05:01
Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.
Это одна конкретная реализация выхожо БПФ
in.png
Ниже это статистика после прогона 1000 процессов.
Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку.
Кроме как повторять измерения пока не получится вменяемая картинка - других вариантов не вижу.
Тогда ставить задачу: как определить что измерений достаточно?
-
- Уже с Приветом
- Posts: 8361
- Joined: 17 Oct 2001 09:01
- Location: Уездный город N
Re: Вопрос математикам
Там полько амплитудная информация, фазы нет?Privet wrote: ↑26 Dec 2020 14:43 Извините, повесил глобально. Ну очень надо.
Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.
Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...
Надо определить частоту излучателя.
-
- Администратор
- Posts: 17180
- Joined: 03 Jan 1999 10:01
- Location: Redmond, WA
Re: Вопрос математикам
Ну, рассмешили вы меня вчера. Я занимаюсь цифровой обработкой лет эдак 40. И не просто любительски, а на глубоком профессиональном уровне. Я до сих пор имею приоритеты в России, которые в своё время открыли передо мной все двери. Я участвовал в разработках с лучшими специаристами России каждый в своей области. Нас специально отобрали для разработки в интересах МВД. Тогда всё упало и только они имели хоть какие-то деньги. И тут мне рассказывают о Теореме Котельникова. Она же Найквиста. Причуды форума.aml5691 wrote: ↑27 Dec 2020 05:46Если Вы не шутите и не иронизируете (и сами уже давно разобрались с возможностью применения этой теоремы), то с теоремой Котельникова (она же Nyquist-Shannon sampling theorem) Вам должно быть под силу разобраться. По крайней мере ее классическая формулировка (в отсутствии шумов/ошибок измерения) - вполне элементарна, сформулирована и доказана (в одну строчку) именно инженерами-практиками. Сложной или интересной математики в ней нет, хотя ее утверждение и может поначалу удивлять наивных людей.Privet wrote: ↑27 Dec 2020 05:13Что вы! Когда нам разбираться с теоремой Котельникова, а, тем более, Найквиста. Мы же не учёные, мы практики. Нам делать устройство надо - бит туда, байт туда. Если бы вы согласились, мы бы с вами договор заключили, но это, наверное, дорого будет, а мы можем заплатить только несколько тысяч долларов, не больше. Ну, десять если на несколько месяцев, но это максимум.aml5691 wrote: ↑27 Dec 2020 00:45Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".
Один возможный способ дать корректное определение искомому "центру колокольчика" - рассмотреть гипотетический случай, когда (1) шумов нет совсем, и (2) функция измерена в каждой точке достаточно широкого интервала значений ее аргумента (т.е. с бесконечно маленьким шагом дискретизации). Что Вам нужно тогда считать "центром этого "колокольчика"" для Ваших целей? К примеру (a) значение аргумента функции в единственном максимуме этой функции на интервале измерений; или (b) первый момент функции, вычисленный по интервалу (т.е. центр тяжести графика, или среднее значение аргумента функции с весом равным значению функции); (c) положение локального центра симметрии графика функции; или что-либо другое?
При отсутствии шумов (но дискретных измерениях сигнала) и при дополнительном условии ограниченности спектра Вашей функции, одно эффектное решение для любого из определений (а), (b), (c) и некоторых других, можно получить использовав теорему Котельникова (Sampling Theorem):
Ру.Википедия: Теорема Котельникова
En.Wikipedia: Nyquist–Shannon sampling theorem
Поскольку Вы уже называете функцию спектром, упомянутое условие ограниченности спектра нужно понимать, как ограниченность во времени сигнала, для которого Ваша функция является спектром.
Подозреваю, что в предположениях теоремы Котельникова, но при наличии шумов, тоже есть интересные и полезные решения, но скорее всего для них нужно знать больше при природу шумов и их характеристики.
Котельникова - что-то припоминаю, учили мы такое, но это было давно и неправда.
Неформально, в применении к спектру сигнала, меняющегося как функция времени, теорема Котельникова утверждает, что если (i) такой сигнал ограничен по времени (т.е. начинается в некоторый момент и заканчивается когда-либо); и (ii) его спектр (преобразование Фурье) вычислен для дискретных частот, с достаточно малым шагом по частоте; то, при отсутствии шумов и ошибок измерения, этот спектр можно абсолютно точно (с нулевой ошибкой интерполяции) проинтерполировать для любых частот между дискретными частотами, для которых вычислен спектр.
Если условия этой теоремы применимы к Вашей задаче (или Вас устраивает, что они только частично применимы), то, используя такую абсолютно точную интерполяцию, можно абсолютно точно найти "центр колокольчика", для широкого класса возможных определений такого центра. Процедура такой абсолютно точной интерполяции вполне элементарна.
Собственно, вы не при чём. Вы не знали кому пишите. Получилось комичная ситуация. Я просто не удержался пошутить. Не обижайтесь, пожалуйста.
Привет.
-
- Администратор
- Posts: 17180
- Joined: 03 Jan 1999 10:01
- Location: Redmond, WA
Re: Вопрос математикам
Окститесь! Фаза на спектре мощности?OtecFedor wrote: ↑27 Dec 2020 16:40Там полько амплитудная информация, фазы нет?Privet wrote: ↑26 Dec 2020 14:43 Извините, повесил глобально. Ну очень надо.
Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.
Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...
Надо определить частоту излучателя.
Привет.
-
- Уже с Приветом
- Posts: 1491
- Joined: 08 Mar 2002 10:01
- Location: NJ
Re: Вопрос математикам
А не проще взять готовый чип для FM демодуляции? Типа R820T2. Ну или посмотреть как они устроены.
-
- Администратор
- Posts: 17180
- Joined: 03 Jan 1999 10:01
- Location: Redmond, WA
Re: Вопрос математикам
Ну, это очень даже лестно. Очень рад, что это кто-то понимает. Действительно, это всё не просто и понять с лёту суть проблемы очень тредно. Поздравляю, Вы смогли это сделать! Это не сарказм. Вы единственный с ходу сказали, что нужно искать максимум средневзвешенного значения. На последнем графике результат именно его работы.Palych wrote: ↑27 Dec 2020 16:34Думаю сие невозможно в принципе.Privet wrote: ↑27 Dec 2020 05:01
Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.
Это одна конкретная реализация выхожо БПФ
in.png
Ниже это статистика после прогона 1000 процессов.
Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку.
Кроме как повторять измерения пока не получится вменяемая картинка - других вариантов не вижу.
Тогда ставить задачу: как определить что измерений достаточно?
За этими графиками год нашей работы и много теории. Я работаю с одним из лучших теоретиков в России в этой области. Он зарабатывал хорошие деньги даже тогда, когда вся наука оказалась просто в ауте и все именитые друг перед другом профессора стали никому не нужны.
У него свой бизнес с тех ещё лет. Мы параллельно тогда открыли свои бизнесы вместе в то время и долго сотрудничали. Он позвал меня помочь с моделированием.
Вопрос был довольно примитивным, но все серьёзные удачные разработки состоят из таких, казалось бы, элементарных вещей. Я не стесняюсь их задавать. Иногда студенты могут оказать серьёзную помощь в таких вещах. Надеюсь, многие, кто участвовал в реальных проектах, со мной согласятся. О наких проблемах легко рассуждать поверхностно, не вникая глубоко в детали. Когда возникает потребность решить конкретную практическую задачу, то, вдруг выясняется, что та примитивная программа, которую можно накидать за пять минут, не работает. Надо выдержать несколько условий, о которых про легковесном общем обсуждении просто опускают. О них знают, но держать их все, скажем так, в оперативной памяти, могут, поверьте, не многие. Всегда завидовал таким людям.
Я решил задать этот вопрос в надежде получить свежие идеи и, возможно, новую информацию, чтобя ещё улучнить результат. Не очен надеялся, но кое-что мы получили. Результат превысил ожидания.
Задача в первом и даже во втором приближении, как видно из графиков, вполне успешно решена, но мы постоянно ищем пути улучшения. Если народу интересно поломать голову, могу иногда кидать подобные задачки - у нас их много. Я сам это любил.
Привет.
-
- Уже с Приветом
- Posts: 8361
- Joined: 17 Oct 2001 09:01
- Location: Уездный город N
Re: Вопрос математикам
Мошность гармоники Re^2+Im^2, есть ли отдельно Re и Im? Как был получен спектр?Privet wrote: ↑27 Dec 2020 16:51Окститесь! Фаза на спектре мощности?OtecFedor wrote: ↑27 Dec 2020 16:40Там полько амплитудная информация, фазы нет?Privet wrote: ↑26 Dec 2020 14:43 Извините, повесил глобально. Ну очень надо.
Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.
Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...
Надо определить частоту излучателя.
-
- Уже с Приветом
- Posts: 5989
- Joined: 11 Mar 2011 05:36
Re: Вопрос математикам
и зачем (про окститесь). человек вскольз прочитал и пропустил про мощность.Privet wrote: ↑27 Dec 2020 16:51Окститесь! Фаза на спектре мощности?OtecFedor wrote: ↑27 Dec 2020 16:40Там полько амплитудная информация, фазы нет?Privet wrote: ↑26 Dec 2020 14:43 Извините, повесил глобально. Ну очень надо.
Есть функция типа "колокольчик" сильно искажённая шумом. Это дискреты спектра мощности сигнала. Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.
Например, имеем дискреты (их много это только место "колокольчика" с максимальным выбросом):
...
частота 32, мощность 94
частота 36, мощность 75
частота 40, мощность 132
частота 44, мощность 211
частота 48, мощность 203
частота 52, мощность 114
частота 56, мощность 64
частота 60, мощность 54
...
Надо определить частоту излучателя.
кстати, лет 10 назад на самой большой конференции о масс-спектрометрах была презентация по использованию фазовой составляющей при обработке сигнала.
-
- Уже с Приветом
- Posts: 5989
- Joined: 11 Mar 2011 05:36
Re: Вопрос математикам
пипец и толькоPrivet wrote: ↑27 Dec 2020 18:17Ну, это очень даже лестно. Очень рад, что это кто-то понимает. Действительно, это всё не просто и понять с лёту суть проблемы очень тредно. Поздравляю, Вы смогли это сделать! Это не сарказм. Вы единственный с ходу сказали, что нужно искать максимум средневзвешенного значения. На последнем графике результат именно его работы.Palych wrote: ↑27 Dec 2020 16:34Думаю сие невозможно в принципе.Privet wrote: ↑27 Dec 2020 05:01
Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.
Это одна конкретная реализация выхожо БПФ
in.png
Ниже это статистика после прогона 1000 процессов.
Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку.
Кроме как повторять измерения пока не получится вменяемая картинка - других вариантов не вижу.
Тогда ставить задачу: как определить что измерений достаточно?
За этими графиками год нашей работы и много теории. Я работаю с одним из лучших теоретиков в России в этой области. Он зарабатывал хорошие деньги даже тогда, когда вся наука оказалась просто в ауте и все именитые друг перед другом профессора стали никому не нужны.
У него свой бизнес с тех ещё лет. Мы параллельно тогда открыли свои бизнесы вместе в то время и долго сотрудничали. Он позвал меня помочь с моделированием.
Вопрос был довольно примитивным, но все серьёзные удачные разработки состоят из таких, казалось бы, элементарных вещей. Я не стесняюсь их задавать. Иногда студенты могут оказать серьёзную помощь в таких вещах. Надеюсь, многие, кто участвовал в реальных проектах, со мной согласятся. О наких проблемах легко рассуждать поверхностно, не вникая глубоко в детали. Когда возникает потребность решить конкретную практическую задачу, то, вдруг выясняется, что та примитивная программа, которую можно накидать за пять минут, не работает. Надо выдержать несколько условий, о которых про легковесном общем обсуждении просто опускают. О них знают, но держать их все, скажем так, в оперативной памяти, могут, поверьте, не многие. Всегда завидовал таким людям.
Я решил задать этот вопрос в надежде получить свежие идеи и, возможно, новую информацию, чтобя ещё улучнить результат. Не очен надеялся, но кое-что мы получили. Результат превысил ожидания.
Задача в первом и даже во втором приближении, как видно из графиков, вполне успешно решена, но мы постоянно ищем пути улучшения. Если народу интересно поломать голову, могу иногда кидать подобные задачки - у нас их много. Я сам это любил.
а нельзя было сделать по-человечески? написать, мы такие-то и растакие-то, так вот и так, если несложно и нелениво гляньте и может что-то ляпните ...
так что, мне неприятно, что меня использовали в темную
-
- Администратор
- Posts: 17180
- Joined: 03 Jan 1999 10:01
- Location: Redmond, WA
Re: Вопрос математикам
Да, конечно есть. Мы сначала получаем обычный результат БПФ, а потом классическипересчитываем отсчёты в мощность как p=Re^2 + Im^2
Привет.
-
- Администратор
- Posts: 17180
- Joined: 03 Jan 1999 10:01
- Location: Redmond, WA
Re: Вопрос математикам
Простите, но вы не правы. Я в одном из самых первых постов в ответе Владу написал, что вопрос касается одной изолированной проблемы, а не глобальной проблемы обнаружения сигнала. Я также честно написал, что алгоритмы "уточнения" частоты (чего и касался вопрос) у нас есть, они работают, но мы ищем новые идеи по улучшению.DropAndDrag wrote: ↑27 Dec 2020 19:27 ...
пипец и только
а нельзя было сделать по-человечески? написать, мы такие-то и растакие-то, так вот и так, если несложно и нелениво гляньте и может что-то ляпните ...
так что, мне неприятно, что меня использовали в темную
Это не по-человечески? Я же не виноват, то топик вы не читали.
Было бы очень глупо, если бы я туда включил самопрезентацию, а пришлось мне об этом сказать лишь по ходу темы, когда мне стали предлагать освоить теорему Котельникова.
Так что, извините...
Привет.
-
- Уже с Приветом
- Posts: 8361
- Joined: 17 Oct 2001 09:01
- Location: Уездный город N
Re: Вопрос математикам
Обычно это итеративный процесс, помогает априори знание сигнала, например коррелируете амплитуду и phase noise, находите кандидатов, более тщательное измерение в узком окне.
-
- Администратор
- Posts: 17180
- Joined: 03 Jan 1999 10:01
- Location: Redmond, WA
Re: Вопрос математикам
Именно так. Сначала обрабатываем входной сигнал так, чтобы выделить нужные нам вещи, выбираем кандидатуру и, наконец, уточняем результат.
Я извиняюсь, но в деталях я описывать не могу. Мы находимся ещё в процессе подготовки материалов к публикации и решаем что подлежит к раскрытию, а что останется как ноу-хау.
Привет.
-
- Администратор
- Posts: 17180
- Joined: 03 Jan 1999 10:01
- Location: Redmond, WA
Re: Вопрос математикам
Да, такие чипы сделаны очень толково, но точные алгоритмы они обычно не публикуют. Больше смотрим на статьи. Вообще, с готовыми чипами есть несколько проблем. Проект опирается на функциональность и/или характеристики, которыя ранее были недоступны для данного приложения (IoT) или это было слишком сложно и разработчики за это не брались.
1. Большинство не тянут на наши требования.
2. Проект чисто российский и использование иностранной элементной базы очень ограничено.
Привет.
-
- Уже с Приветом
- Posts: 8361
- Joined: 17 Oct 2001 09:01
- Location: Уездный город N
Re: Вопрос математикам
Ну удачи! Мои обшии совет: работая только с модулем амплитуды вы теряете (потенциально) полезную информацию.Privet wrote: ↑27 Dec 2020 21:56Именно так. Сначала обрабатываем входной сигнал так, чтобы выделить нужные нам вещи, выбираем кандидатуру и, наконец, уточняем результат.
Я извиняюсь, но в деталях я описывать не могу. Мы находимся ещё в процессе подготовки материалов к публикации и решаем что подлежит к раскрытию, а что останется как ноу-хау.