IT горячка в Сиэттле, эпизод 2

[IvanGrozniy]

Очередной вопрос к специалистам. Теперь уже на тему Deep Learning.
В общем, работаю над домашним проектом. Есть определенный потенциал к монетизации даже.
Построил пайплайн для сбора данных с Интернета. Количество входных элементов в нейронную сеть для тренировки будет составлять 1 млн штук (можно попробовать упростить до 500 тысяч в случае чего). Каждый объект будет содержать около 50 тысяч фишек (features). Допустим, у меня будет один скрытый слой в нейронке размером 50 тысяч нейронов (можно попробать упростить до 1000 ради сохранения скорости и размера используемой памяти). Выходной слой - 1000 (тысяча) классификаций с ответами "да" и "нет".
То есть получится матрица параметров для скрытого слоя размерности около 50 тысяч на 1 миллион вещественных чисел. Вектором скаляров B преенебрегаем для данного примера. Для выходного слоя матрица будет 1 тысяча на 50 тысяч.
Конечная цель - натренировать модель и создать программку для айфона для прикольных и полезных предсказаний для пользователей. То есть, челдобречик на телефоне загружает фотку, а модель ему предсказывает что-то в зависимости от контента фотки.
В общем два пути реализации:
1. Натренированная модель хранится на моем сервере. Клиентская прога загружает фотку на сервер и сервер выдает предсказание клиентовской программе. Минус в том, что нужно платить за хостинг и домен. Не хочется.
2. Натренированная модель хранится в самой айфоновской программе и программа сама уже анализирует фотку. Минус в том, что я не знаю как реализовать это все в Objective C. Глянул на документацию эплвского SDK для мобильных устройст с поддержкой ML и с нейронными сетями. Как всегда у них все запутано и нужно долго разбираться с бутылкой, даже чтобы просто понять, можно ли теориетически эту SDK использовать для просчитанной большой нейронной сети.
Кто-нибудь сталкивался со вторым пунктом? Такое возможно реализовать через эпловский SDK?

Если модель сделана под Tensorflow, то можно попробовать сконвертирировать под Tensorflow lite. Получившуюся модель можно сжать и оптимизировать с помощью квантования и потом уже запускать на iOS и Android.
https://www.tensorflow.org/lite/guide/get_started

Правда есть ограничения и не каждую модель можно так просто сконвертировать. https://www.tensorflow.org/lite/guide/ops_compatibility

Вот неплохая статья:https://towardsdatascience.com/tensorfl ... 4703297267

Спасибо за подсказку! Почитаю про этот TensorFlow на досуге.

[Физик-Лирик]

1. Пока скрывается. Программу напишу, если все будет работать как задумано, то скину подробности с примерами. На данный момент пайплайн уже накачал 400 тысяч примеров. Осталось совсем ничего - 600 тысяч. 5 простаивающих компьютеров пашут в поте лица уже с воскресенья - надеюсь сетевики меня не заловят из-за всплеска трафика
2. 50 тысяч уже после разворачивания в вектора. 1000 категорийных (классификаций) переменных.
3. Что много памяти будет занимать. По грубым подсчетам может быть не менее 50 гигов в памяти для расчетов. Наверное, нужно количество нейрогон уменьшать в первую очередь.
4. Программирования как такого мало и есть алгоритмы конечно. Но вот нумпай может распараллеливать перемножение матриц и считает в 300 раз быстрее,чем в цикле просто запрограммировать. Пользователь айфончика ждать не будет когда я миллиарды чисел перемножать в цикле в ручную буду. Исходя из этого требования и нужно что-то подобное нумпаю на iOS.

1) Качайте, качайте
2) Чтобы сказал великий К. С. Станиславский по этому поводу? Вот и я о том же.
3) 50 гигов - это мощно.
4) На какой библиотеки фигачите? На Керасе? На какой платформе? Какой нетворк используете? Если образы распознаете, то конволюционный? Чтобы оценить маштаб задуманного, нужны формулировки.

[IvanGrozniy]

Блин, я совсем забыл что вы - теоретик. Спутал вас с практиком - зря время тратил на ответы

[Физик-Лирик]

Блин, я совсем забыл что вы - теоретик. Спутал вас с практиком - зря время тратил на ответы

Так ответы вам нужны. Я и так все это знаю. Чего, увы, не скажу о вас. Не поняли вы моих вопросов.

[IvanGrozniy]

Блин, я совсем забыл что вы - теоретик. Спутал вас с практиком - зря время тратил на ответы

Так ответы вам нужны. Я и так все это знаю. Чего, увы, не скажу о вас. Не поняли вы моих вопросов.

Перелистните на предыдущую страницу. От вас не единого ответа не получено, который можно было применить на практике. На один вопрос, спрашиваете дестяки других "уточняющих и намекающих" вопросов... Я, конечно, понимаю, что теоретикам интересно общаться в таком ключе, но в данном случае мне нужен был практический ответ. Вот уважаемый voyager3 его дал на данной странице. Кратко и доходчиво. Вот и читать начал информацию по его ссылке. Может быть даже книжку приобрету по теме...
А вас я просто перепутал с другим участником и развернул тему поподробней. Когда же совета не последовало, я вспонмил ваш ник и понял что зря потратил время на ответы

[Физик-Лирик]

Перелистните на предыдущую страницу. От вас не единого ответа не получено, который можно было применить на практике. На один вопрос, спрашиваете дестяки других "уточняющих и намекающих" вопросов... Я, конечно, понимаю, что теоретикам интересно общаться в таком ключе, но в данном случае мне нужен был практический ответ. Вот уважаемый voyager3 его дал на данной странице. Кратко и доходчиво. Вот и читать начал информацию по его ссылке. Может быть даже книжку приобрету по теме...
А вас я просто перепутал с другим участником и развернул тему поподробней. Когда же совета не последовало, я вспонмил ваш ник и понял что зря потратил время на ответы

Зря вы обижаетесь. Давайте разберемся. Я вам сформулировал ряд вопросов (возможно, в несколько заувалированной форме), например, про вещественные числа, категорийные переменные и 50 тысяч "фичес". Похоже, я свои вопросы слишком заувалировал. Т.к. вы не описали постановки задачи и данные, я сужу лишь по обрывочныму тексту. Заранее извиняюсь, но у меня есть большие подозрения, что в этой части у вас (как бы помягче сказать) есть некоторое недопонимание. Если под этим и понимается "теоретик", тогда, да, я - теоретик, т.к. предпочитаю четкие постановки вопросов и четкий дизайн задачи перед написанием тонны кода. Если под "практический ответ" имеется в виду прогон полумиллиона данных с 50 тысячами входных переменных без ясного ответа на вопрос, а надо ли на самом деле это делать, тогда я действительно не практик. Увы, не всегда находят общий язык ученый и инженер, даже если последний честно прослушал онлайн курс по машобучу. Надеюсь, без обид.

[kyk]

Давайте разберемся.

Как учит Коммисар, tax return вас рассудит

[IvanGrozniy]

Перелистните на предыдущую страницу. От вас не единого ответа не получено, который можно было применить на практике. На один вопрос, спрашиваете дестяки других "уточняющих и намекающих" вопросов... Я, конечно, понимаю, что теоретикам интересно общаться в таком ключе, но в данном случае мне нужен был практический ответ. Вот уважаемый voyager3 его дал на данной странице. Кратко и доходчиво. Вот и читать начал информацию по его ссылке. Может быть даже книжку приобрету по теме...
А вас я просто перепутал с другим участником и развернул тему поподробней. Когда же совета не последовало, я вспонмил ваш ник и понял что зря потратил время на ответы

Зря вы обижаетесь. Давайте разберемся. Я вам сформулировал ряд вопросов (возможно, в несколько заувалированной форме), например, про вещественные числа, категорийные переменные и 50 тысяч "фичес". Похоже, я свои вопросы слишком заувалировал. Т.к. вы не описали постановки задачи и данные, я сужу лишь по обрывочныму тексту. Заранее извиняюсь, но у меня есть большие подозрения, что в этой части у вас (как бы помягче сказать) есть некоторое недопонимание. Если под этим и понимается "теоретик", тогда, да, я - теоретик, т.к. предпочитаю четкие постановки вопросов и четкий дизайн задачи перед написанием тонны кода. Если под "практический ответ" имеется в виду прогон полумиллиона данных с 50 тысячами входных переменных без ясного ответа на вопрос, а надо ли на самом деле это делать, тогда я действительно не практик. Увы, не всегда находят общий язык ученый и инженер, даже если последний честно прослушал онлайн курс по машобучу. Надеюсь, без обид.

Да что на вас обижаться-то? Как в том фильме Along Came Polly: зачем обижаться на гипопотама? Его натура неизменна
Вот клипец на тему есть

А так-то вопрос был простой - как можно использовать натренированную модель на мобильной телефоне от Эпла. Все ваши вопросы ни к чему в данном контексте - я здесь публиковать научные работы, либо диссертации защищать не собираюсь.

[Физик-Лирик]

А так-то вопрос был простой - как можно использовать натренированную модель на мобильной телефоне от Эпла. Все ваши вопросы ни к чему в данном контексте - я здесь публиковать научные работы, либо диссертации защищать не собираюсь.

Если мои вопросы были ни к чему, тогда зачем вы стали давать на них ответы и ввязались в изначально проигрышную для вас дискуссию (проигрышную в обоих смыслах: вы не получили от меня ответа на свои вопросы и в тоже время обнажили пробелы в ваших знаниях по машуобучу)? Как говориться, "промолчишь - за ..." Не следует пренебрегать народной мудростью.

[Сказочник]

Перелистните на предыдущую страницу. От вас не единого ответа не получено, который можно было применить на практике. На один вопрос, спрашиваете дестяки других "уточняющих и намекающих" вопросов... Я, конечно, понимаю, что теоретикам интересно общаться в таком ключе, но в данном случае мне нужен был практический ответ. Вот уважаемый voyager3 его дал на данной странице. Кратко и доходчиво. Вот и читать начал информацию по его ссылке. Может быть даже книжку приобрету по теме...
А вас я просто перепутал с другим участником и развернул тему поподробней. Когда же совета не последовало, я вспонмил ваш ник и понял что зря потратил время на ответы

Зря вы обижаетесь. Давайте разберемся. Я вам сформулировал ряд вопросов (возможно, в несколько заувалированной форме), например, про вещественные числа, категорийные переменные и 50 тысяч "фичес". Похоже, я свои вопросы слишком заувалировал. Т.к. вы не описали постановки задачи и данные, я сужу лишь по обрывочныму тексту. Заранее извиняюсь, но у меня есть большие подозрения, что в этой части у вас (как бы помягче сказать) есть некоторое недопонимание. Если под этим и понимается "теоретик", тогда, да, я - теоретик, т.к. предпочитаю четкие постановки вопросов и четкий дизайн задачи перед написанием тонны кода. Если под "практический ответ" имеется в виду прогон полумиллиона данных с 50 тысячами входных переменных без ясного ответа на вопрос, а надо ли на самом деле это делать, тогда я действительно не практик. Увы, не всегда находят общий язык ученый и инженер, даже если последний честно прослушал онлайн курс по машобучу. Надеюсь, без обид.

Вот так в духе корпоративной переписки:
http://lurkmore.to/%D0%92%D1%81%D0%B5_% ... 1%8F%D0%BD Надеюсь, без обид.

[Lisa]

А так-то вопрос был простой - как можно использовать натренированную модель на мобильной телефоне от Эпла. Все ваши вопросы ни к чему в данном контексте - я здесь публиковать научные работы, либо диссертации защищать не собираюсь.

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

[Мальчик-Одуванчик]

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

Тот кто громче кричит.

[Lisa]

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

Тот кто громче кричит.

Если это и работает, то очень недолго.

[vdfs]

В идеальном мире, где менеджеры умные и технически грамотные.

[Lisa]

В идеальном мире, где менеджеры умные и технически грамотные.

Достаточно просто умных.

[Сказочник]

А так-то вопрос был простой - как можно использовать натренированную модель на мобильной телефоне от Эпла. Все ваши вопросы ни к чему в данном контексте - я здесь публиковать научные работы, либо диссертации защищать не собираюсь.

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

Ихний начальник

[Lisa]

А так-то вопрос был простой - как можно использовать натренированную модель на мобильной телефоне от Эпла. Все ваши вопросы ни к чему в данном контексте - я здесь публиковать научные работы, либо диссертации защищать не собираюсь.

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

Ихний начальник

С таким подходом вообще ничего изучать и уметь не надо. Зазубрить ответы на сотню типовых задачек и вперёд.

[Сказочник]

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

Ихний начальник

С таким подходом вообще ничего изучать и уметь не надо. Зазубрить ответы на сотню типовых задачек и вперёд.

Увы, это не так просто как вам кажется. Тут применяют совсем другую технологию.

[Lisa]

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

Ихний начальник

С таким подходом вообще ничего изучать и уметь не надо. Зазубрить ответы на сотню типовых задачек и вперёд.

Увы, это не так просто как вам кажется. Тут применяют совсем другую технологию.

Тут это где?

[Херовимчик]

А так-то вопрос был простой - как можно использовать натренированную модель на мобильной телефоне от Эпла. Все ваши вопросы ни к чему в данном контексте - я здесь публиковать научные работы, либо диссертации защищать не собираюсь.

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

Ихний начальник

С таким подходом вообще ничего изучать и уметь не надо. Зазубрить ответы на сотню типовых задачек и вперёд.

так это.... литкод преуспел в этом не зря же на него такая мода!

[Мальчик-Одуванчик]

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

Тот кто громче кричит.

Если это и работает, то очень недолго.

Если еще подлизнуть умеет, то быстро в начальники выбьется.

[Lisa]

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

Тот кто громче кричит.

Если это и работает, то очень недолго.

Если еще подлизнуть умеет, то быстро в начальники выбьется.

В каких интересных местах вы работаете.

[voyager3]

Вот уважаемый voyager3 его дал на данной странице.

То BigSpender был. Я мышиным обучением не занимаюсь, хвала Аллаху, милостивому, милосердному.

[IvanGrozniy]

Есть два типа датасаев. Одни освоили пару технологий и применяют их ко всем подряд данным. Другие сначала выясняют бизнес задачу, а потом подбирают для неё подходящую технологию. Как вы думаете, кто из них более успешен?

Тот кто громче кричит.

Если это и работает, то очень недолго.

Если еще подлизнуть умеет, то быстро в начальники выбьется.

Точно подмечено. У меня такой сейчас начальник. Можно сказать, что он меня вдохновил на подготовку резюме и на старт поисков новой работы Интересно, его понизят, когда я свалю с работы (меня даже в отпуск на неделю из-за незаменимости боятся отпускать в последнее время).

[Сабина]

Стартапы, продолжающие активно нанимать