Вопрос математикам

aml5691
Уже с Приветом
Posts: 835
Joined: 15 Jan 2004 18:42

Re: Вопрос математикам

Post by aml5691 »

Privet wrote: 27 Dec 2020 16:44
aml5691 wrote: 27 Dec 2020 05:46
Privet wrote: 27 Dec 2020 05:13
aml5691 wrote: 27 Dec 2020 00:45
Privet wrote: 26 Dec 2020 14:43 [...]

Надо определить самым точным образом (с точностью выше шага дискрет) определить центр этого "колокольчика". Какой математический аппарат может это сделать.

[...]
Чтобы какой-либо "математический аппарат" мог бы это сделать, нужно, как минимум, знать, что подразумевается под "центром этого "колокольчика"".

Один возможный способ дать корректное определение искомому "центру колокольчика" - рассмотреть гипотетический случай, когда (1) шумов нет совсем, и (2) функция измерена в каждой точке достаточно широкого интервала значений ее аргумента (т.е. с бесконечно маленьким шагом дискретизации). Что Вам нужно тогда считать "центром этого "колокольчика"" для Ваших целей? К примеру (a) значение аргумента функции в единственном максимуме этой функции на интервале измерений; или (b) первый момент функции, вычисленный по интервалу (т.е. центр тяжести графика, или среднее значение аргумента функции с весом равным значению функции); (c) положение локального центра симметрии графика функции; или что-либо другое?

При отсутствии шумов (но дискретных измерениях сигнала) и при дополнительном условии ограниченности спектра Вашей функции, одно эффектное решение для любого из определений (а), (b), (c) и некоторых других, можно получить использовав теорему Котельникова (Sampling Theorem):

Ру.Википедия: Теорема Котельникова

En.Wikipedia: Nyquist–Shannon sampling theorem

Поскольку Вы уже называете функцию спектром, упомянутое условие ограниченности спектра нужно понимать, как ограниченность во времени сигнала, для которого Ваша функция является спектром.

Подозреваю, что в предположениях теоремы Котельникова, но при наличии шумов, тоже есть интересные и полезные решения, но скорее всего для них нужно знать больше при природу шумов и их характеристики.
Что вы! Когда нам разбираться с теоремой Котельникова, а, тем более, Найквиста. Мы же не учёные, мы практики. Нам делать устройство надо - бит туда, байт туда. Если бы вы согласились, мы бы с вами договор заключили, но это, наверное, дорого будет, а мы можем заплатить только несколько тысяч долларов, не больше. Ну, десять если на несколько месяцев, но это максимум.
Котельникова - что-то припоминаю, учили мы такое, но это было давно и неправда.
Если Вы не шутите и не иронизируете (и сами уже давно разобрались с возможностью применения этой теоремы), то с теоремой Котельникова (она же Nyquist-Shannon sampling theorem) Вам должно быть под силу разобраться. По крайней мере ее классическая формулировка (в отсутствии шумов/ошибок измерения) - вполне элементарна, сформулирована и доказана (в одну строчку) именно инженерами-практиками. Сложной или интересной математики в ней нет, хотя ее утверждение и может поначалу удивлять наивных людей.

Неформально, в применении к спектру сигнала, меняющегося как функция времени, теорема Котельникова утверждает, что если (i) такой сигнал ограничен по времени (т.е. начинается в некоторый момент и заканчивается когда-либо); и (ii) его спектр (преобразование Фурье) вычислен для дискретных частот, с достаточно малым шагом по частоте; то, при отсутствии шумов и ошибок измерения, этот спектр можно абсолютно точно (с нулевой ошибкой интерполяции) проинтерполировать для любых частот между дискретными частотами, для которых вычислен спектр.

Если условия этой теоремы применимы к Вашей задаче (или Вас устраивает, что они только частично применимы), то, используя такую абсолютно точную интерполяцию, можно абсолютно точно найти "центр колокольчика", для широкого класса возможных определений такого центра. Процедура такой абсолютно точной интерполяции вполне элементарна.
Ну, рассмешили вы меня вчера. Я занимаюсь цифровой обработкой лет эдак 40. И не просто любительски, а на глубоком профессиональном уровне. Я до сих пор имею приоритеты в России, которые в своё время открыли передо мной все двери. Я участвовал в разработках с лучшими специаристами России каждый в своей области. Нас специально отобрали для разработки в интересах МВД. Тогда всё упало и только они имели хоть какие-то деньги. И тут мне рассказывают о Теореме Котельникова. Она же Найквиста. Причуды форума.

Собственно, вы не при чём. Вы не знали кому пишите. Получилось комичная ситуация. Я просто не удержался пошутить. Не обижайтесь, пожалуйста.

Министерству Внутренних Дел Российской Федерации все-таки повезло, что над их задачами работают такие опытные эксперты как Вы! Не будь Вас, и попадись МВД РФ какому-нибудь лихому математику, тот бы им точно продал теорему Котельникова и не за несколько тысяч долларов, а гораздо дороже! :) Будете иметь дело с математиками - держите ухо востро! За этим народом нужен глаз да глаз - на ходу подметки режут, суки.

По сути дела: это обсуждение было бы более эффективным, если бы Вы потратили небольшую долю своего огромного опыта на то, чтобы корректно сформулировать задачу для математиков. В первую очередь - что все-таки понимается под "центром колокольчика"? Конечно нужно также знать, что известно о свойствах самого сигнала и его шума/помех/ошибок измерения. Иначе это все становится похожим на очередную статью о "тренировке нейронных сетей" по последним заветам Стива с Илоном, с квадратиками и кружочками соединенными стрелками, с графиками с ненадписанными осями и фотографиями кошек.

В частности - можно ли все-таки восстановить непрерывный спектр используя теорему Котельникова и найти "центр колокольчика" (что бы это не означало) этого спектра с произвольно малой ошибкой? Если нет, то интересно - почему? Сигнал (или сигнал+шумы/помехи/ошибки измерения) не ограничен по времени? "Центр колокольчика" нужно найти для сигнала без шума/помех/ошибок, а они слишком велики? Спектр может быть измерен только с шагом, меньшим чем частота Найквиста? Восстановление непрерывного спектра почему-либо не помогает найти "центр колокольчика"? То, что спектр - это только амплитуда преобразования Фурье вроде бы не должно мешать применить теорему Котельникова к нему.
Oleg Co
Уже с Приветом
Posts: 7911
Joined: 19 May 2008 22:10
Location: BY->DEU->SFBA

Re: Вопрос математикам

Post by Oleg Co »

Privet wrote: 27 Dec 2020 05:01 Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку. Ну, есть варианты, но это не предмет этого топика
Если речь не о поиске "того, не знаю чего", то обычно есть какое-то представление о сигнале, который ищется. Например - имеет он форму функции Гаусса или Лоренца, какой ширины. Если это известно, то можно попробовать fit эту функцию в исходные данные после уменьшения шумов. Хотя в том примере, что вы привели, на глаз есть пара подходящих вариантов.
User avatar
Privet
Администратор
Posts: 17527
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

OtecFedor wrote: 27 Dec 2020 22:33 ...
Ну удачи! Мои обшии совет: работая только с модулем амплитуды вы теряете (потенциально) полезную информацию.
Спасибо за пожелание!

Как в данном приложении можно использовать фазу? У близких "палок" она близка. Пару шагов в сторону от пика и всё уже тонет в шуме.
Привет.
User avatar
Privet
Администратор
Posts: 17527
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

aml5691 wrote: 27 Dec 2020 23:31 ...
В частности - можно ли все-таки восстановить непрерывный спектр используя теорему Котельникова и найти "центр колокольчика" (что бы это не означало) этого спектра с произвольно малой ошибкой? Если нет, то интересно - почему? Сигнал (или сигнал+шумы/помехи/ошибки измерения) не ограничен по времени? "Центр колокольчика" нужно найти для сигнала без шума/помех/ошибок, а они слишком велики? Спектр может быть измерен только с шагом, меньшим чем частота Найквиста? Восстановление непрерывного спектра почему-либо не помогает найти "центр колокольчика"? То, что спектр - это только амплитуда преобразования Фурье вроде бы не должно мешать применить теорему Котельникова к нему.
Восстановление непрерывного спектра это часть теоремы Котельникова. Если сигнал оцифрован, то никакой большей информации из него извлечь не получится. Надо только не потерять то, что есть, что мы и пытаемся сделать. Если восстанавливать цифровым способом, то это фильтация на большей частоте. Мы это делаем, но не для восстановления, а для отстройки от aliasing компонент. Так построены большинство цифровых чипов радиоприёмников (например, GSM) - последовательная децимация до рабочей частоты. С практической точки зрения работать с огромным числом компонент, если нужна только малая часть - непозволительная роскошь. Большее число отсчётов в нужном месте, конечно, дают больше возможностей, но, если иметь в виду БПФ, то разрешение обратно пропорционально времени наблюдения, по которому мы ограничены. Приходится идти на компромиссы по всему. В двух словах описать невозможно.

Вы считаете, что вопрос был сформулирован недостаточно корректно? "Колокольчики" сильно отличаются друг от друга? Их форма зависит от формы окна, но в таких шумах они друг от друга практически не отличаются и на результат не влияют. В любой статье sin(x)/x принимается как разумная аппроксимация для такого типа проблем. Я же о подходах к решению спрашивал, а не о готовом решении, которое настолько точное, что зависит от конкретной формы "колокольчика". К сожалению, это распространённая ошибка - концентрация на второстепенных вещах.
Зато Palych с лёту понял проблему. Снимаю шляпу! Всегда по доброму завидовал тем, кто на это способен..
Привет.
User avatar
Privet
Администратор
Posts: 17527
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

Privet wrote: 28 Dec 2020 13:21
OtecFedor wrote: 27 Dec 2020 22:33 ...
Ну удачи! Мои обшии совет: работая только с модулем амплитуды вы теряете (потенциально) полезную информацию.
Спасибо за пожелание!

Как в данном приложении можно использовать фазу? У близких "палок" она близка. Пару шагов в сторону от пика и всё уже тонет в шуме.
Возможно, здесь есть недопонимание. Если говорить вообще о процессе обнаружения, то фаза используется, но на другой стадии. Конкретно для уточнения частоты фаза не используется.
Привет.
User avatar
VladDod
Уже с Приветом
Posts: 55959
Joined: 06 May 2001 09:01

Re: Вопрос математикам

Post by VladDod »

Privet wrote: 26 Dec 2020 19:41 Влад, всё было бы просто, если бы мы имели возможность наблюдать сигнал длительное время для накопления его энергии, чтобы выделить его из шума. В приложении к этому неплохо было бы иметь неограниченные вычислительные ресурсы. Тогда любой учебник в зубы и задача становится не сложнее студентческого практического задания. Увы, мы обложены ограничениями со всех сторон. Сделать шаг сетки БПФ мельче не получается. Не проходим по быстродействию. И прочее и прочее.
Извиняюсь за выпадение в реал. Похоже было положено начало новой традиции, "ходить с друзьями в баню на НГ".
Короче, порешал заданное на досуге. Благо значение максимума не принципиально, как я понял, важно только его расположение на абсциссе.
Данные взял из первого поста. У меня получился такой колокольчик с максимумом в точке 45.8 с погрешностью около 0.1.

Вы не могли бы озвучить ответ к задачке, кстати? :oops:

Колокольчик получился такой.
Screenshot from 2020-12-30 05-12-16.jpg
зы ... от уровня фильтрации положение максимума не слишком меняется.
Screenshot from 2020-12-30 03-53-22.jpg
ззы ... графики проложены относительно полинома 4 степени.
в реале супруги редко бывают друзьями, так как их отношения подпорчены сексом (с)Роза
Плавали-Знаем! (C)
Oleg Co
Уже с Приветом
Posts: 7911
Joined: 19 May 2008 22:10
Location: BY->DEU->SFBA

Re: Вопрос математикам

Post by Oleg Co »

VladDod wrote: 02 Jan 2021 20:33
Privet wrote: 26 Dec 2020 19:41 Влад, всё было бы просто, если бы мы имели возможность наблюдать сигнал длительное время для накопления его энергии, чтобы выделить его из шума. В приложении к этому неплохо было бы иметь неограниченные вычислительные ресурсы. Тогда любой учебник в зубы и задача становится не сложнее студентческого практического задания. Увы, мы обложены ограничениями со всех сторон. Сделать шаг сетки БПФ мельче не получается. Не проходим по быстродействию. И прочее и прочее.
Короче, порешал заданное на досуге. Благо значение максимума не принципиально, как я понял, важно только его расположение на абсциссе.
Данные взял из первого поста. У меня получился такой колокольчик с максимумом в точке 45.8 с погрешностью около 0.1.

Вы не могли бы озвучить ответ к задачке, кстати? :oops:
Насколько я понял - ответа нет. Реальные данные приведены на второй странице в сообщении Привета. Там такие шумы, что нереально извлечь то, что хочется из одного скана/измерения.
zVlad
Уже с Приветом
Posts: 16206
Joined: 30 Apr 2003 16:43

Re: Вопрос математикам

Post by zVlad »

Privet wrote: 27 Dec 2020 18:17
Palych wrote: 27 Dec 2020 16:34
Privet wrote: 27 Dec 2020 05:01
Вот немножко того с чем мы имеем дело. В данном случае сигнал/шум = 6 дБ.

Это одна конкретная реализация выхожо БПФ
in.png

Ниже это статистика после прогона 1000 процессов.

Усреднённый спектр выглядит уже вполне красиво, но нам от этого не легче. Определить сигнал ьы должны по одному блоку.
Думаю сие невозможно в принципе.
Кроме как повторять измерения пока не получится вменяемая картинка - других вариантов не вижу.
Тогда ставить задачу: как определить что измерений достаточно?
Ну, это очень даже лестно. Очень рад, что это кто-то понимает. Действительно, это всё не просто и понять с лёту суть проблемы очень тредно. Поздравляю, Вы смогли это сделать! Это не сарказм. Вы единственный с ходу сказали, что нужно искать максимум средневзвешенного значения. На последнем графике результат именно его работы.
За этими графиками год нашей работы и много теории. Я работаю с одним из лучших теоретиков в России в этой области. Он зарабатывал хорошие деньги даже тогда, когда вся наука оказалась просто в ауте и все именитые друг перед другом профессора стали никому не нужны.
У него свой бизнес с тех ещё лет. Мы параллельно тогда открыли свои бизнесы вместе в то время и долго сотрудничали. Он позвал меня помочь с моделированием.

Вопрос был довольно примитивным, но все серьёзные удачные разработки состоят из таких, казалось бы, элементарных вещей. Я не стесняюсь их задавать. Иногда студенты могут оказать серьёзную помощь в таких вещах. Надеюсь, многие, кто участвовал в реальных проектах, со мной согласятся. О наких проблемах легко рассуждать поверхностно, не вникая глубоко в детали. Когда возникает потребность решить конкретную практическую задачу, то, вдруг выясняется, что та примитивная программа, которую можно накидать за пять минут, не работает. Надо выдержать несколько условий, о которых про легковесном общем обсуждении просто опускают. О них знают, но держать их все, скажем так, в оперативной памяти, могут, поверьте, не многие. Всегда завидовал таким людям.
Я решил задать этот вопрос в надежде получить свежие идеи и, возможно, новую информацию, чтобя ещё улучнить результат. Не очен надеялся, но кое-что мы получили. Результат превысил ожидания.

Задача в первом и даже во втором приближении, как видно из графиков, вполне успешно решена, но мы постоянно ищем пути улучшения. Если народу интересно поломать голову, могу иногда кидать подобные задачки - у нас их много. Я сам это любил.

Я просмотрел бегло весь топик и нигде не увидел исходной постановки задачи, ее физической сущности. Речь идет только о каких-то сигналах с шумами, но под это подходит слишком широкой спектр задач с разными физическими моделями стоящими за ними. Может это секрет?

Когда то давным давно я занимался математическим аппаратом наблюдения и управленеия в условиях неопределенности (шум это оно и есть в первом приближении, но не только шум). Этот аппарат/метод был более интелектуальным чем действия с усреднениями, фильтрациями и корреляциями т.е стохастическими характеристиками.

Не занаю подходит ли тот метод здесь. Не достаточно информации о физической сущности измеряемого. Но если подходит то полагаю точность могла бы быть повешена существенно.
aml5691
Уже с Приветом
Posts: 835
Joined: 15 Jan 2004 18:42

Re: Вопрос математикам

Post by aml5691 »

zVlad wrote: 03 Jan 2021 19:51
Я просмотрел бегло весь топик и нигде не увидел исходной постановки задачи, ее физической сущности. Речь идет только о каких-то сигналах с шумами, но под это подходит слишком широкой спектр задач с разными физическими моделями стоящими за ними. Может это секрет?

Когда то давным давно я занимался математическим аппаратом наблюдения и управленеия в условиях неопределенности (шум это оно и есть в первом приближении, но не только шум). Этот аппарат/метод был более интелектуальным чем действия с усреднениями, фильтрациями и корреляциями т.е стохастическими характеристиками.

Не занаю подходит ли тот метод здесь. Не достаточно информации о физической сущности измеряемого. Но если подходит то полагаю точность могла бы быть повешена существенно.
Поддерживаю замечание zVlad об отсутствии постановки задачи в данной теме. Ни свойства сигнала, ни свойства шума не определены, и не дано точное определение того, что же все таки ищется ("центр колокольчика"). Возможно также нужно об'яснить способ измерения сигнала. Подозреваю, что исходный сигнал - непрерывен, но он измеряется устройством, которое интегрирует исходный непрерывный сигнал по равноотстоящим интервалам измерения, выдавая в результате "дискретный" сигнал, по которому и вычисляется спектр.

Чтобы помочь все-таки сформулировать задачу, спрошу - пусть даны 2 "черных ящика", каждый из которых принимает на вход входные данные задачи (например исходный сигнал с шумами) и выдает одно единственное число - частоту, соответствующую "ценру колокольчика" (что бы это не означало). Для некоего данного сигнала, как можно установить, какой из этих двух черных ящиков более точно определил эту частоту "центра колокольчика"?
aml5691
Уже с Приветом
Posts: 835
Joined: 15 Jan 2004 18:42

Re: Вопрос математикам

Post by aml5691 »

aml5691 wrote: 04 Jan 2021 10:53
zVlad wrote: 03 Jan 2021 19:51
Я просмотрел бегло весь топик и нигде не увидел исходной постановки задачи, ее физической сущности. Речь идет только о каких-то сигналах с шумами, но под это подходит слишком широкой спектр задач с разными физическими моделями стоящими за ними. Может это секрет?

Когда то давным давно я занимался математическим аппаратом наблюдения и управленеия в условиях неопределенности (шум это оно и есть в первом приближении, но не только шум). Этот аппарат/метод был более интелектуальным чем действия с усреднениями, фильтрациями и корреляциями т.е стохастическими характеристиками.

Не занаю подходит ли тот метод здесь. Не достаточно информации о физической сущности измеряемого. Но если подходит то полагаю точность могла бы быть повешена существенно.
Поддерживаю замечание zVlad об отсутствии постановки задачи в данной теме. Ни свойства сигнала, ни свойства шума не определены, и не дано точное определение того, что же все таки ищется ("центр колокольчика"). Возможно также нужно об'яснить способ измерения сигнала. Подозреваю, что исходный сигнал - непрерывен, но он измеряется устройством, которое интегрирует исходный непрерывный сигнал по равноотстоящим интервалам измерения, выдавая в результате "дискретный" сигнал, по которому и вычисляется спектр.

Чтобы помочь все-таки сформулировать задачу, спрошу - пусть даны 2 "черных ящика", каждый из которых принимает на вход входные данные задачи (например исходный сигнал с шумами) и выдает одно единственное число - частоту, соответствующую "ценру колокольчика" (что бы это не означало). Для некоего данного сигнала, как можно установить, какой из этих двух черных ящиков более точно определил эту частоту "центра колокольчика"?

Добавлю еще, что в текущей постановке задача сводится к следующему. Имеется вещественнозначная функция одного вещественного аргумента, определенная только в наборе дискретных (равноотстоящих?) точек на некоем отрезке. У этой функции есть локальный максимум - "колокольчик". Требуется найти "центр колокольчика" (который может быть и между дискретными точками, в которых определена функция). Конкретное определение того, что является "центром колокольчика" постановщиками задачи считается несущественной и второстепенной информацией, потому что все такие колокольчики для них выглядят примерно одинаково - примерно как sinc(x). От математиков требуется найти "центр колокольчика" как можно точнее!

В такой постановке, конечно же никакой математик никакого решения дать не сможет, по крайней мере и прежде всего потому, что в условии задачи отсутствует точное определение того, что нужно найти - "центра колокольчика". Как результат отсутствия такого определения, предлагаемые решения невозможно верифицировать. Подозреваю также, что для решения задачи нужно знать больше о функции, которая образует "колокольчик". То, что эта функция является спектром некоего сигнала само по себе не дает никакой дополнительной информации об этой функции, если о свойствах сигнала ничего не известно или не дано.

Конструктивно, могу посоветовать две вещи:

1. Нужно говорить с математиками, которые решали подобные задачи. У них должны быть представления, о том, какими могут быть дополнительные условия и параметры задачи, они могут обсудить их варианты и решить задачу или по крайней мере корректно ее сформулировать.

2. Другой подход - как выше предлагает zVlad, может иметь смысл рассказать о физическом смысле задачи. Что представляет из себя исходный сигнал, зачем нужно знать "центр колокольчика" и как он будет использоваться? Если есть понимание этих вопросов, и понимание свойств сигнала (и возможно шумов), то грамотный математик возможно по крайней мере сможет сформулировать задачу, а может быть и решить ее.



Как пример об'яснения физического смысла: в упомянавшейся в обсуждении выше масс-спектрометрии и задаче определения положения пиков в масс-спектрограммах, исходный (идеальный) масс-спектр образца состоит из дискретных бесконечно тонких пиков. Положение этих пиков по оси Х соответствует определенным значениям удельного (по массе) заряда ионов образовавшихся из образца (или обратной величины, массы деленной на заряд). Высоты пиков (значение по оси Y) - концентрации ионов с таким удельным зарядом. Чтобы не путаться, отмечу, что масс-спектрограмма не является преобразованием Фурье какого-либо сигнала. В результате неидеальности процесса измерения (конечный размер электрода в детекторе, неоднородное распределение ионов по скоростям на входе в масс-анализатор и т.п.), в измеренной масс-спектрограмме каждый из пиков размазывается, и вместо дискретных пиков получается (квази)непрерывная измеренная масс-спектрограмма. По этой (квази)непрерывной масс-спектрограмме нужно восстановить положение и высоту исходных дискретных пиков исходный (идеальный) масс-спектр. Зная свойства и параметры неидеальности процесса измерения (размер электрода, распределение ионов по скоростям), можно предлагать различные методы нахождения таких дискретных пиков в исходном, идеальном масс-спектре. См. https://en.wikipedia.org/wiki/Mass_spectrometry
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: Вопрос математикам

Post by tessob »

Privet wrote: 26 Dec 2020 14:43Извините, повесил глобально. Ну очень надо.
Не уверен, что правильно понял проблему, но если нам нужно просто получить функцию Гауса максимально приближенную к тем точкам, которые у вас есть, то нужно ввести функцию ошибки, которую и нужно оптимизировать. В качестве такой функции, например, можно взять сумму квадратов отклонений ваших точек от гауссианы. Далее итеративно подбирать параметры Гауссианы (их 2) до тех пор пока функция ошибки будет улучшаться. Решение “в лоб” - покоординатный спуск. Более продвинутое решение - градиентный спуск. Нужно будет еще подобрать функцию “затухания” размера шага и критерий остановки (например, количество шагов или размер шага). Алгоритм получается итеративный, но учитывая, что точек у вас мало и функция Гауса не сильно сложная, работать будет довольно быстро, но все же это не аналитическое решение.

Вместо Гауссианы можно взять любую другую функцию на ваш вкус.
User avatar
VladDod
Уже с Приветом
Posts: 55959
Joined: 06 May 2001 09:01

Re: Вопрос математикам

Post by VladDod »

tessob wrote: 11 Jan 2021 09:21 ... итеративно подбирать параметры Гауссианы (их 2) до тех пор пока функция ошибки будет улучшаться. Решение “в лоб” - покоординатный спуск. Более продвинутое решение - градиентный спуск. .
тогда лучше метод "Нелдера-Мида". https://ru.wikipedia.org/wiki/%D0%9C%D0 ... 0%B4%D0%B0
функция от "параметров Гауссианы ", запросто будет иметь "овражный" или сильно "зашумленный" характер по которому "градиентный спуск" просто не пройдет.
в реале супруги редко бывают друзьями, так как их отношения подпорчены сексом (с)Роза
Плавали-Знаем! (C)
User avatar
Privet
Администратор
Posts: 17527
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

Извиняюсь, я выпал из топика на некоторое время. Я не проверял его, т.к. думал, что он уже затух. У нас выяснилось, что алгоритм, который мы использовали до этого, не подходит и это держало всю работу. Был аврал.
Вообще, я спрашивал только о методах, но попробую описать задачу полнее. Наши алгоритмы, как вы понимаете, я не могу, к сожалению, описывать детально.

Задача: Необходимо определить частоту несущей (чистый гармонический сигнал в полосе 1960 Гц) с точностью не хуже 2 Гц за время не превышающее 140 мс. На чистом шуму обнаружитель несущей должен давать не более На входе в реальной системе стоит фильтр Баттерворта 6-го порядка. Отношение С/Ш в данной полосу составляет 6 дБ. Распределение шума - нормальное. При моделировании используется ФНЧ Баттерворта со срезом на частоте 980 Гц. Частота дискретизации в системе 1953 Гц. Процессор Cortex-3M 40mHz. БПФ 256 точек выполняет примерно за 4мс. Из этого можно прикинуть сколько времени займёт БПФ на другое число точек.

Кажется, всё. Если чего-то забыл - напомните.
Вот наш результат: Боковые палки отстоят от центральной применео на 1 Гц. Красные линии это границы допустимого интервала.
FreqDiff.png
FreqDiffOrig.png
You do not have the required permissions to view the files attached to this post.
Привет.
User avatar
Sergunka
Уже с Приветом
Posts: 34212
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Вопрос математикам

Post by Sergunka »

Privet wrote: 25 Jan 2021 23:48 Кажется, всё. Если чего-то забыл - напомните.
Еще было бы неплохо указать двигаются объекты или нет.
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Privet
Администратор
Posts: 17527
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

Вчера подкорректировал пост и... уснул, не нажав submit.
Sergunka wrote: 26 Jan 2021 04:35
Privet wrote: 25 Jan 2021 23:48 Кажется, всё. Если чего-то забыл - напомните.
Еще было бы неплохо указать двигаются объекты или нет.
Нет не двигаются. Это было бы уж слишком.
Привет.
OtecFedor
Уже с Приветом
Posts: 8361
Joined: 17 Oct 2001 09:01
Location: Уездный город N

Re: Вопрос математикам

Post by OtecFedor »

Privet wrote: 25 Jan 2021 23:48 Извиняюсь, я выпал из топика на некоторое время. Я не проверял его, т.к. думал, что он уже затух. У нас выяснилось, что алгоритм, который мы использовали до этого, не подходит и это держало всю работу. Был аврал.
Вообще, я спрашивал только о методах, но попробую описать задачу полнее. Наши алгоритмы, как вы понимаете, я не могу, к сожалению, описывать детально.

Задача: Необходимо определить частоту несущей (чистый гармонический сигнал в полосе 1960 Гц) с точностью не хуже 2 Гц за время не превышающее 140 мс. На чистом шуму обнаружитель несущей должен давать не более На входе в реальной системе стоит фильтр Баттерворта 6-го порядка. Отношение С/Ш в данной полосу составляет 6 дБ.
У вас фундаментальная спектральная точность df = 1/0.14 (140 ms) = 7.1 Hz, плюс высокии шум, по-моему 2 Hz ето перебор
User avatar
Privet
Администратор
Posts: 17527
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

aml5691 wrote: 06 Jan 2021 06:32 ... Ни свойства сигнала, ни свойства шума не определены, и не дано точное определение того, что же все таки ищется ("центр колокольчика"). Возможно также нужно об'яснить способ измерения сигнала. Подозреваю, что исходный сигнал - непрерывен, но он измеряется устройством, которое интегрирует исходный непрерывный сигнал по равноотстоящим интервалам измерения, выдавая в результате "дискретный" сигнал, по которому и вычисляется спектр...
То, что вы пишете это не наука, а наукообразие - гора квазинаучной лексики, которая абсолютно ничего не добавляют к тому, что можно коротко сказать самыми простыми словами. В данном случае достаточно лишь знать, что "колокольчик" симметричен с двух сторон.
Привет.
User avatar
Komissar
Уже с Приветом
Posts: 65202
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Вопрос математикам

Post by Komissar »

Privet wrote: 26 Jan 2021 23:54
aml5691 wrote: 06 Jan 2021 06:32 ... Ни свойства сигнала, ни свойства шума не определены, и не дано точное определение того, что же все таки ищется ("центр колокольчика"). Возможно также нужно об'яснить способ измерения сигнала. Подозреваю, что исходный сигнал - непрерывен, но он измеряется устройством, которое интегрирует исходный непрерывный сигнал по равноотстоящим интервалам измерения, выдавая в результате "дискретный" сигнал, по которому и вычисляется спектр...
То, что вы пишете это не наука, а наукообразие - гора квазинаучной лексики, которая абсолютно ничего не добавляют к тому, что можно коротко сказать самыми простыми словами.
+100. "Наука умеет много гитик". В химии за такое обливают кислотой. Концентрированной.
User avatar
Privet
Администратор
Posts: 17527
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

OtecFedor wrote: 26 Jan 2021 23:36 ...
У вас фундаментальная спектральная точность df = 1/0.14 (140 ms) = 7.1 Hz, плюс высокии шум, по-моему 2 Hz ето перебор
Разрешение БПФ 7.6 Гц. Мы его успеваем взять 36 раз с шагом каждые 8 отсчётов, которые берутся на частоте 1953 Гц.

Поправил: не 10, а 36 раз. Обнаружитель включается до появления сигнала. Каждые 8 отсчётов мы получаем результат БПФ. Т.е. отсчёты задвигаются в БПФ.
Привет.
OtecFedor
Уже с Приветом
Posts: 8361
Joined: 17 Oct 2001 09:01
Location: Уездный город N

Re: Вопрос математикам

Post by OtecFedor »

Privet wrote: 27 Jan 2021 00:15
OtecFedor wrote: 26 Jan 2021 23:36 ...
У вас фундаментальная спектральная точность df = 1/0.14 (140 ms) = 7.1 Hz, плюс высокии шум, по-моему 2 Hz ето перебор
Разрешение БПФ 7.6 Гц. Мы его успеваем взять 36 раз с шагом каждые 8 отсчётов, которые берутся на частоте 1953 Гц.

Поправил: не 10, а 36 раз. Обнаружитель включается до появления сигнала. Каждые 8 отсчётов мы получаем результат БПФ. Т.е. отсчёты задвигаются в БПФ.
Если время измерения 140 мс, то частота сигнала определена с точностью 7.1 Гц, у вас просто нет достаточо исходнои информации, не важно как точно вы ее меряете, ну что-то вроде принципа Геизенберга штоли, енергия - время. Или вы вы набирате 8 раз по 140 мс?
User avatar
Privet
Администратор
Posts: 17527
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

VladDod wrote: 02 Jan 2021 20:33 ...Данные взял из первого поста. У меня получился такой колокольчик с максимумом в точке 45.8 с погрешностью около 0.1.

Вы не могли бы озвучить ответ к задачке, кстати? :oops:

Колокольчик получился такой.

...
Примерно так и есть. Мы думали о полиномиальной аппроксимации - классическое решение такой задачи, но оно требует бОльшего числа операций.
Привет.
User avatar
Privet
Администратор
Posts: 17527
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

OtecFedor wrote: 27 Jan 2021 00:50
Privet wrote: 27 Jan 2021 00:15
OtecFedor wrote: 26 Jan 2021 23:36 ...
У вас фундаментальная спектральная точность df = 1/0.14 (140 ms) = 7.1 Hz, плюс высокии шум, по-моему 2 Hz ето перебор
Разрешение БПФ 7.6 Гц. Мы его успеваем взять 36 раз с шагом каждые 8 отсчётов, которые берутся на частоте 1953 Гц.

Поправил: не 10, а 36 раз. Обнаружитель включается до появления сигнала. Каждые 8 отсчётов мы получаем результат БПФ. Т.е. отсчёты задвигаются в БПФ.
Если время измерения 140 мс, то частота сигнала определена с точностью 7.1 Гц, у вас просто нет достаточо исходнои информации, не важно как точно вы ее меряете, ну что-то вроде принципа Геизенберга штоли, енергия - время. Или вы вы набирате 8 раз по 140 мс?
Принцип Гайзенберга. В немецком "ei" читаются как "ай". Также, как и Эйнштейна в природе не существовало.
Вы, вероятно, путаете точность измерения времени появления импульса и частоту наблюдаемого сигнала, но и в этом случае Вы не правы, если характеристики системы известны и стабильны.
Привет.
OtecFedor
Уже с Приветом
Posts: 8361
Joined: 17 Oct 2001 09:01
Location: Уездный город N

Re: Вопрос математикам

Post by OtecFedor »

Privet wrote: 27 Jan 2021 01:06
OtecFedor wrote: 27 Jan 2021 00:50
Privet wrote: 27 Jan 2021 00:15
OtecFedor wrote: 26 Jan 2021 23:36 ...
У вас фундаментальная спектральная точность df = 1/0.14 (140 ms) = 7.1 Hz, плюс высокии шум, по-моему 2 Hz ето перебор
Разрешение БПФ 7.6 Гц. Мы его успеваем взять 36 раз с шагом каждые 8 отсчётов, которые берутся на частоте 1953 Гц.

Поправил: не 10, а 36 раз. Обнаружитель включается до появления сигнала. Каждые 8 отсчётов мы получаем результат БПФ. Т.е. отсчёты задвигаются в БПФ.
Если время измерения 140 мс, то частота сигнала определена с точностью 7.1 Гц, у вас просто нет достаточо исходнои информации, не важно как точно вы ее меряете, ну что-то вроде принципа Геизенберга штоли, енергия - время. Или вы вы набирате 8 раз по 140 мс?
Принцип Гайзенберга. В немецком "ei" читаются как "ай". Также, как и Эйнштейна в природе не существовало.
Вы, вероятно, путаете точность измерения времени появления импульса и частоту наблюдаемого сигнала, но и в этом случае Вы не правы, если характеристики системы известны и стабильны.
Это вопрос доступности информации. Если вся информация что есть- появился сигнал в окне 140 мс то будет как я сказал.

Если ещё есть а-приори знание о сигнале, т.е. дополнительная информация, то в общем случае это не так, но как повлияет это на точность с ходу сказать трудно
User avatar
Privet
Администратор
Posts: 17527
Joined: 03 Jan 1999 10:01
Location: Redmond, WA

Re: Вопрос математикам

Post by Privet »

OtecFedor wrote: 27 Jan 2021 01:20 ...
Если ещё есть а-приори знание о сигнале, т.е. дополнительная информация, то в общем случае это не так, но как повлияет это на точность с ходу сказать трудно
В нашем случае вопрос не в сигнале (сигнал - одна чистая гармоника), а в том, каким мы его видим после прохождения через систему. Плюс в том, что выбор системы за нами.
Привет.
Oleg Co
Уже с Приветом
Posts: 7911
Joined: 19 May 2008 22:10
Location: BY->DEU->SFBA

Re: Вопрос математикам

Post by Oleg Co »

Privet wrote: 27 Jan 2021 02:22
OtecFedor wrote: 27 Jan 2021 01:20 ...
Если ещё есть а-приори знание о сигнале, т.е. дополнительная информация, то в общем случае это не так, но как повлияет это на точность с ходу сказать трудно
В нашем случае вопрос не в сигнале (сигнал - одна чистая гармоника), а в том, каким мы его видим после прохождения через систему. Плюс в том, что выбор системы за нами.
Как-то сильно напомнило В круге первом Солженицина. Спец-связь Путину разрабатываете?

Return to “Вопросы и новости IT”