IT горячка в Сиэттле, эпизод 2

[IvanGrozniy]

Сейчас у всех удаленка. Зачем же ее искать в наше время. Думаю после данного исторически показательного кризиса и, как следствие, карантина, корпорации посчитают затраты на аренду офисов и разрешат людям побольше времени на удаленке.
А в Техасе и в других южных штатах я не уживусь, так как много времени на улице люблю проводить. В ваших Аризонах и Техасах все сидят по домам, когда на улице жарит солнце - не для меня. Меня уже сто раз туда в жару зазывают, сулят дешевые фанерные домики и большие денежные горы от всевозможных экономий, но в епеня ехать не хоца У меня есть золотое правило: чем дешевле жизнь на определенной территории, тем остойней это место для проживания. Его еще никто опровергнуть не смог!
Вот в Монако бы я жил, однако. Там хорошо. Но нищебродов туда не пускают, нужно как минимум 2 млн евро на счете показать, чтобы вид на жительство получить... Хотя не знаю, может программистов как-то спонсируют там?

[BigSpender]

Очередной вопрос к специалистам. Теперь уже на тему Deep Learning.
В общем, работаю над домашним проектом. Есть определенный потенциал к монетизации даже.
Построил пайплайн для сбора данных с Интернета. Количество входных элементов в нейронную сеть для тренировки будет составлять 1 млн штук (можно попробовать упростить до 500 тысяч в случае чего). Каждый объект будет содержать около 50 тысяч фишек (features). Допустим, у меня будет один скрытый слой в нейронке размером 50 тысяч нейронов (можно попробать упростить до 1000 ради сохранения скорости и размера используемой памяти). Выходной слой - 1000 (тысяча) классификаций с ответами "да" и "нет".
То есть получится матрица параметров для скрытого слоя размерности около 50 тысяч на 1 миллион вещественных чисел. Вектором скаляров B преенебрегаем для данного примера. Для выходного слоя матрица будет 1 тысяча на 50 тысяч.
Конечная цель - натренировать модель и создать программку для айфона для прикольных и полезных предсказаний для пользователей. То есть, челдобречик на телефоне загружает фотку, а модель ему предсказывает что-то в зависимости от контента фотки.
В общем два пути реализации:
1. Натренированная модель хранится на моем сервере. Клиентская прога загружает фотку на сервер и сервер выдает предсказание клиентовской программе. Минус в том, что нужно платить за хостинг и домен. Не хочется.
2. Натренированная модель хранится в самой айфоновской программе и программа сама уже анализирует фотку. Минус в том, что я не знаю как реализовать это все в Objective C. Глянул на документацию эплвского SDK для мобильных устройст с поддержкой ML и с нейронными сетями. Как всегда у них все запутано и нужно долго разбираться с бутылкой, даже чтобы просто понять, можно ли теориетически эту SDK использовать для просчитанной большой нейронной сети.
Кто-нибудь сталкивался со вторым пунктом? Такое возможно реализовать через эпловский SDK?

Если модель сделана под Tensorflow, то можно попробовать сконвертирировать под Tensorflow lite. Получившуюся модель можно сжать и оптимизировать с помощью квантования и потом уже запускать на iOS и Android.
https://www.tensorflow.org/lite/guide/get_started

Правда есть ограничения и не каждую модель можно так просто сконвертировать. https://www.tensorflow.org/lite/guide/ops_compatibility

Вот неплохая статья:https://towardsdatascience.com/tensorfl ... 4703297267

[Физик-Лирик]

Построил пайплайн для сбора данных с Интернета. Количество входных элементов в нейронную сеть для тренировки будет составлять 1 млн штук (можно попробовать упростить до 500 тысяч в случае чего). Каждый объект будет содержать около 50 тысяч фишек (features). Допустим, у меня будет один скрытый слой в нейронке размером 50 тысяч нейронов (можно попробать упростить до 1000 ради сохранения скорости и размера используемой памяти). Выходной слой - 1000 (тысяча) классификаций с ответами "да" и "нет".
То есть получится матрица параметров для скрытого слоя размерности около 50 тысяч на 1 миллион вещественных чисел. Вектором скаляров B преенебрегаем для данного примера. Для выходного слоя матрица будет 1 тысяча на 50 тысяч.
Конечная цель - натренировать модель и создать программку для айфона для прикольных и полезных предсказаний для пользователей. То есть, челдобречик на телефоне загружает фотку, а модель ему предсказывает что-то в зависимости от контента фотки.

1) Формулировки задач есть или из-за "монетезации" это тщательно скрывается?
2) 50 тысяч "фишек" - это после или до применения энкодера? Если речь идет об "1 миллион вещественны чисел", то я как понимаю - первое, или вообще категорийных пременных нет?
3) Прилагательное "вещественных" перед "чисел" какую несет смысловую нагрузку?
4) Есть сильное чувство, что реальная задача сводится к элементарному (ну, может, и не совсем к элементарному ) программированию. Попробуйте развеять мои сомнения .

[voyager3]

Сейчас у всех удаленка. Зачем же ее искать в наше время. Думаю после данного исторически показательного кризиса и, как следствие, карантина, корпорации посчитают затраты на аренду офисов и разрешат людям побольше времени на удаленке.

Те, что считают затраты на аренду офисов, вряд ли могут что-то приличное предложить. А от гуглобуков удалёнки не дождёмся . Я б давно в реднековские дебри свалил, подвернись что-то приличное и с долгосрочной перспективой.

[IvanGrozniy]

Построил пайплайн для сбора данных с Интернета. Количество входных элементов в нейронную сеть для тренировки будет составлять 1 млн штук (можно попробовать упростить до 500 тысяч в случае чего). Каждый объект будет содержать около 50 тысяч фишек (features). Допустим, у меня будет один скрытый слой в нейронке размером 50 тысяч нейронов (можно попробать упростить до 1000 ради сохранения скорости и размера используемой памяти). Выходной слой - 1000 (тысяча) классификаций с ответами "да" и "нет".
То есть получится матрица параметров для скрытого слоя размерности около 50 тысяч на 1 миллион вещественных чисел. Вектором скаляров B преенебрегаем для данного примера. Для выходного слоя матрица будет 1 тысяча на 50 тысяч.
Конечная цель - натренировать модель и создать программку для айфона для прикольных и полезных предсказаний для пользователей. То есть, челдобречик на телефоне загружает фотку, а модель ему предсказывает что-то в зависимости от контента фотки.

1) Формулировки задач есть или из-за "монетезации" это тщательно скрывается?
2) 50 тысяч "фишек" - это после или до применения энкодера? Если речь идет об "1 миллион вещественны чисел", то я как понимаю - первое, или вообще категорийных пременных нет?
3) Прилагательное "вещественных" перед "чисел" какую несет смысловую нагрузку?
4) Есть сильное чувство, что реальная задача сводится к элементарному (ну, может, и не совсем к элементарному ) программированию. Попробуйте развеять мои сомнения .

1. Пока скрывается. Программу напишу, если все будет работать как задумано, то скину подробности с примерами. На данный момент пайплайн уже накачал 400 тысяч примеров. Осталось совсем ничего - 600 тысяч. 5 простаивающих компьютеров пашут в поте лица уже с воскресенья - надеюсь сетевики меня не заловят из-за всплеска трафика
2. 50 тысяч уже после разворачивания в вектора. 1000 категорийных (классификаций) переменных.
3. Что много памяти будет занимать. По грубым подсчетам может быть не менее 50 гигов в памяти для расчетов. Наверное, нужно количество нейрогон уменьшать в первую очередь.
4. Программирования как такого мало и есть алгоритмы конечно. Но вот нумпай может распараллеливать перемножение матриц и считает в 300 раз быстрее,чем в цикле просто запрограммировать. Пользователь айфончика ждать не будет когда я миллиарды чисел перемножать в цикле в ручную буду. Исходя из этого требования и нужно что-то подобное нумпаю на iOS.

[IvanGrozniy]

Очередной вопрос к специалистам. Теперь уже на тему Deep Learning.
В общем, работаю над домашним проектом. Есть определенный потенциал к монетизации даже.
Построил пайплайн для сбора данных с Интернета. Количество входных элементов в нейронную сеть для тренировки будет составлять 1 млн штук (можно попробовать упростить до 500 тысяч в случае чего). Каждый объект будет содержать около 50 тысяч фишек (features). Допустим, у меня будет один скрытый слой в нейронке размером 50 тысяч нейронов (можно попробать упростить до 1000 ради сохранения скорости и размера используемой памяти). Выходной слой - 1000 (тысяча) классификаций с ответами "да" и "нет".
То есть получится матрица параметров для скрытого слоя размерности около 50 тысяч на 1 миллион вещественных чисел. Вектором скаляров B преенебрегаем для данного примера. Для выходного слоя матрица будет 1 тысяча на 50 тысяч.
Конечная цель - натренировать модель и создать программку для айфона для прикольных и полезных предсказаний для пользователей. То есть, челдобречик на телефоне загружает фотку, а модель ему предсказывает что-то в зависимости от контента фотки.
В общем два пути реализации:
1. Натренированная модель хранится на моем сервере. Клиентская прога загружает фотку на сервер и сервер выдает предсказание клиентовской программе. Минус в том, что нужно платить за хостинг и домен. Не хочется.
2. Натренированная модель хранится в самой айфоновской программе и программа сама уже анализирует фотку. Минус в том, что я не знаю как реализовать это все в Objective C. Глянул на документацию эплвского SDK для мобильных устройст с поддержкой ML и с нейронными сетями. Как всегда у них все запутано и нужно долго разбираться с бутылкой, даже чтобы просто понять, можно ли теориетически эту SDK использовать для просчитанной большой нейронной сети.
Кто-нибудь сталкивался со вторым пунктом? Такое возможно реализовать через эпловский SDK?

Если модель сделана под Tensorflow, то можно попробовать сконвертирировать под Tensorflow lite. Получившуюся модель можно сжать и оптимизировать с помощью квантования и потом уже запускать на iOS и Android.
https://www.tensorflow.org/lite/guide/get_started

Правда есть ограничения и не каждую модель можно так просто сконвертировать. https://www.tensorflow.org/lite/guide/ops_compatibility

Вот неплохая статья:https://towardsdatascience.com/tensorfl ... 4703297267

Спасибо за подсказку! Почитаю про этот TensorFlow на досуге.

[Физик-Лирик]

1. Пока скрывается. Программу напишу, если все будет работать как задумано, то скину подробности с примерами. На данный момент пайплайн уже накачал 400 тысяч примеров. Осталось совсем ничего - 600 тысяч. 5 простаивающих компьютеров пашут в поте лица уже с воскресенья - надеюсь сетевики меня не заловят из-за всплеска трафика
2. 50 тысяч уже после разворачивания в вектора. 1000 категорийных (классификаций) переменных.
3. Что много памяти будет занимать. По грубым подсчетам может быть не менее 50 гигов в памяти для расчетов. Наверное, нужно количество нейрогон уменьшать в первую очередь.
4. Программирования как такого мало и есть алгоритмы конечно. Но вот нумпай может распараллеливать перемножение матриц и считает в 300 раз быстрее,чем в цикле просто запрограммировать. Пользователь айфончика ждать не будет когда я миллиарды чисел перемножать в цикле в ручную буду. Исходя из этого требования и нужно что-то подобное нумпаю на iOS.

1) Качайте, качайте
2) Чтобы сказал великий К. С. Станиславский по этому поводу? Вот и я о том же.
3) 50 гигов - это мощно.
4) На какой библиотеки фигачите? На Керасе? На какой платформе? Какой нетворк используете? Если образы распознаете, то конволюционный? Чтобы оценить маштаб задуманного, нужны формулировки.

[IvanGrozniy]

Блин, я совсем забыл что вы - теоретик. Спутал вас с практиком - зря время тратил на ответы

[Физик-Лирик]

Блин, я совсем забыл что вы - теоретик. Спутал вас с практиком - зря время тратил на ответы

Так ответы вам нужны. Я и так все это знаю. Чего, увы, не скажу о вас. Не поняли вы моих вопросов.

[IvanGrozniy]

Блин, я совсем забыл что вы - теоретик. Спутал вас с практиком - зря время тратил на ответы

Так ответы вам нужны. Я и так все это знаю. Чего, увы, не скажу о вас. Не поняли вы моих вопросов.

Перелистните на предыдущую страницу. От вас не единого ответа не получено, который можно было применить на практике. На один вопрос, спрашиваете дестяки других "уточняющих и намекающих" вопросов... Я, конечно, понимаю, что теоретикам интересно общаться в таком ключе, но в данном случае мне нужен был практический ответ. Вот уважаемый voyager3 его дал на данной странице. Кратко и доходчиво. Вот и читать начал информацию по его ссылке. Может быть даже книжку приобрету по теме...
А вас я просто перепутал с другим участником и развернул тему поподробней. Когда же совета не последовало, я вспонмил ваш ник и понял что зря потратил время на ответы

[Физик-Лирик]

Перелистните на предыдущую страницу. От вас не единого ответа не получено, который можно было применить на практике. На один вопрос, спрашиваете дестяки других "уточняющих и намекающих" вопросов... Я, конечно, понимаю, что теоретикам интересно общаться в таком ключе, но в данном случае мне нужен был практический ответ. Вот уважаемый voyager3 его дал на данной странице. Кратко и доходчиво. Вот и читать начал информацию по его ссылке. Может быть даже книжку приобрету по теме...
А вас я просто перепутал с другим участником и развернул тему поподробней. Когда же совета не последовало, я вспонмил ваш ник и понял что зря потратил время на ответы

Зря вы обижаетесь. Давайте разберемся. Я вам сформулировал ряд вопросов (возможно, в несколько заувалированной форме), например, про вещественные числа, категорийные переменные и 50 тысяч "фичес". Похоже, я свои вопросы слишком заувалировал. Т.к. вы не описали постановки задачи и данные, я сужу лишь по обрывочныму тексту. Заранее извиняюсь, но у меня есть большие подозрения, что в этой части у вас (как бы помягче сказать) есть некоторое недопонимание. Если под этим и понимается "теоретик", тогда, да, я - теоретик, т.к. предпочитаю четкие постановки вопросов и четкий дизайн задачи перед написанием тонны кода. Если под "практический ответ" имеется в виду прогон полумиллиона данных с 50 тысячами входных переменных без ясного ответа на вопрос, а надо ли на самом деле это делать, тогда я действительно не практик. Увы, не всегда находят общий язык ученый и инженер, даже если последний честно прослушал онлайн курс по машобучу. Надеюсь, без обид.

[kyk]

Давайте разберемся.

Как учит Коммисар, tax return вас рассудит

[IvanGrozniy]

Перелистните на предыдущую страницу. От вас не единого ответа не получено, который можно было применить на практике. На один вопрос, спрашиваете дестяки других "уточняющих и намекающих" вопросов... Я, конечно, понимаю, что теоретикам интересно общаться в таком ключе, но в данном случае мне нужен был практический ответ. Вот уважаемый voyager3 его дал на данной странице. Кратко и доходчиво. Вот и читать начал информацию по его ссылке. Может быть даже книжку приобрету по теме...
А вас я просто перепутал с другим участником и развернул тему поподробней. Когда же совета не последовало, я вспонмил ваш ник и понял что зря потратил время на ответы

Зря вы обижаетесь. Давайте разберемся. Я вам сформулировал ряд вопросов (возможно, в несколько заувалированной форме), например, про вещественные числа, категорийные переменные и 50 тысяч "фичес". Похоже, я свои вопросы слишком заувалировал. Т.к. вы не описали постановки задачи и данные, я сужу лишь по обрывочныму тексту. Заранее извиняюсь, но у меня есть большие подозрения, что в этой части у вас (как бы помягче сказать) есть некоторое недопонимание. Если под этим и понимается "теоретик", тогда, да, я - теоретик, т.к. предпочитаю четкие постановки вопросов и четкий дизайн задачи перед написанием тонны кода. Если под "практический ответ" имеется в виду прогон полумиллиона данных с 50 тысячами входных переменных без ясного ответа на вопрос, а надо ли на самом деле это делать, тогда я действительно не практик. Увы, не всегда находят общий язык ученый и инженер, даже если последний честно прослушал онлайн курс по машобучу. Надеюсь, без обид.

Да что на вас обижаться-то? Как в том фильме Along Came Polly: зачем обижаться на гипопотама? Его натура неизменна
Вот клипец на тему есть

А так-то вопрос был простой - как можно использовать натренированную модель на мобильной телефоне от Эпла. Все ваши вопросы ни к чему в данном контексте - я здесь публиковать научные работы, либо диссертации защищать не собираюсь.

[Физик-Лирик]

А так-то вопрос был простой - как можно использовать натренированную модель на мобильной телефоне от Эпла. Все ваши вопросы ни к чему в данном контексте - я здесь публиковать научные работы, либо диссертации защищать не собираюсь.

Если мои вопросы были ни к чему, тогда зачем вы стали давать на них ответы и ввязались в изначально проигрышную для вас дискуссию (проигрышную в обоих смыслах: вы не получили от меня ответа на свои вопросы и в тоже время обнажили пробелы в ваших знаниях по машуобучу)? Как говориться, "промолчишь - за ..." Не следует пренебрегать народной мудростью.

[Сказочник]

Перелистните на предыдущую страницу. От вас не единого ответа не получено, который можно было применить на практике. На один вопрос, спрашиваете дестяки других "уточняющих и намекающих" вопросов... Я, конечно, понимаю, что теоретикам интересно общаться в таком ключе, но в данном случае мне нужен был практический ответ. Вот уважаемый voyager3 его дал на данной странице. Кратко и доходчиво. Вот и читать начал информацию по его ссылке. Может быть даже книжку приобрету по теме...
А вас я просто перепутал с другим участником и развернул тему поподробней. Когда же совета не последовало, я вспонмил ваш ник и понял что зря потратил время на ответы

Зря вы обижаетесь. Давайте разберемся. Я вам сформулировал ряд вопросов (возможно, в несколько заувалированной форме), например, про вещественные числа, категорийные переменные и 50 тысяч "фичес". Похоже, я свои вопросы слишком заувалировал. Т.к. вы не описали постановки задачи и данные, я сужу лишь по обрывочныму тексту. Заранее извиняюсь, но у меня есть большие подозрения, что в этой части у вас (как бы помягче сказать) есть некоторое недопонимание. Если под этим и понимается "теоретик", тогда, да, я - теоретик, т.к. предпочитаю четкие постановки вопросов и четкий дизайн задачи перед написанием тонны кода. Если под "практический ответ" имеется в виду прогон полумиллиона данных с 50 тысячами входных переменных без ясного ответа на вопрос, а надо ли на самом деле это делать, тогда я действительно не практик. Увы, не всегда находят общий язык ученый и инженер, даже если последний честно прослушал онлайн курс по машобучу. Надеюсь, без обид.

Вот так в духе корпоративной переписки:
http://lurkmore.to/%D0%92%D1%81%D0%B5_% ... 1%8F%D0%BD Надеюсь, без обид.