IT горячка в Сиэттле, эпизод 2

User avatar
IvanGrozniy
Уже с Приветом
Posts: 10407
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

ie wrote: 10 Feb 2020 17:16
IvanGrozniy wrote: 10 Feb 2020 16:52 Закрывает водила трейлер
да.. это прикольно. и насколько легко/сложно такое запрограмировать?
Ну наши специалисты по разводу кругами перед клиентами уже 17-ую версию выпускают и хвалятся что 17-ая версия самая точная. По-моему полтора года этой фичей занимаются. Но по моему субъективному мнению у них не хватает мат аппарата, чтобы нормально сделать с первых приближениях вот и мучаются. Изначально для обучения системы указанной первой они взяли несколько сот фотографий из архивов, прошлись по ним и отметили на глазок на сколько процентов заполнен трейлер. Реально работы мало проделано и с Azure это модель просто имплементируется и просто трениреутся. Много знать не нужно.
Я им недавно предложил помощь в создании другой модели, чтобы предсказывать столкновения машин базируясь на нашей базе данных от сенсоров машины. Пока думают...
Также мне рассказывали, как они пытались просчитать другую модель - привели интерна-аналитика на лето. Она просчитывала-просчитывала все на настоящих данных. В конце-концов создала никчемную модель и предсказывала событие почти с 50% вероятностью угадывания. То есть говорит, что водила накосячит и угадывала только в половине случаев. Пример того, как не нужно было делать :D Модель убили.
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: IT горячка в Сиэттле, эпизод 2

Post by Lisa »

IvanGrozniy wrote: 10 Feb 2020 16:52 Да ладно вас, разошлись здесь :) У меня на работе конкретное применение этого алгоритма присутствует. Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте. Как-раз и реализованы расчеты нажатием мышек в этом облаке Azure.
По хорошему если, ваш водила перед погрузкой каждую коробку должен отсканить. Тогда система точно знает, полный трейлер или не полный. А если совсем по хорошему, то система перед погрузкой считает какие коробки в какой трейлер грузить чтобы полупустых не было. Без всяких новомодных ML :)
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10407
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

Lisa wrote: 10 Feb 2020 17:51
IvanGrozniy wrote: 10 Feb 2020 16:52 Да ладно вас, разошлись здесь :) У меня на работе конкретное применение этого алгоритма присутствует. Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте. Как-раз и реализованы расчеты нажатием мышек в этом облаке Azure.
По хорошему если, ваш водила перед погрузкой каждую коробку должен отсканить. Тогда система точно знает, полный трейлер или не полный. А если совсем по хорошему, то система перед погрузкой считает какие коробки в какой трейлер грузить чтобы полупустых не было. Без всяких новомодных ML :)
Это не наш водила. Мы продаем элеткронные коробочки с модемом для машин компаниям, элеткроника всю возможную инфу собирает и отправляет на сервера. Инфу по содержимому посылок нам точно никто не даст. :D
Компании-клиенты у нас разные. У кого всего 2 машины, у кого сотни. Не все могут тратить большие деньги и время на сканер для содержимого груза.
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: IT горячка в Сиэттле, эпизод 2

Post by tessob »

IvanGrozniy wrote: 10 Feb 2020 16:52Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте.
Я по-правде не понимаю где тут бизнес-велью. Представьте себя на месте менеджера, которому пришло сообщение, что какой-то трак недозагружен. Что вы собираетесь делать? Примете-ли Вы волевое решение переложить коробки из трака идущего в Чикаго, в трак идущий в Сиэтл? Ну, чтоб другие эффективные менеджеры уже там дальше с этим разбирались. :lol:

Второе, что я не понимаю – это откуда взялись коробки. Весь цивилизованный мир обычно решает это с помощью транспортных поддонов, например в стандартную фуру их помещается ровно 33 штуки. Это у вас PoC какой-то, или что за задача такая странная?
IvanGrozniy wrote: 10 Feb 2020 17:24Модель убили.
Возможно ее модель просто пожертвовала собой, чтоб спасти чей-то бизнес! Самопожертвование -- это, мне кажется, вершина Искусственного интеллекта! :lol:

А если серьезно, то самые распространенные грабли, на которые наступают многие дата-сатанисты на прикладных проектах – это использование в качестве исходных данных данные, которые они не понимают. То есть, простым языком – это как писать классификатор “кошек и собак” по фотографиям, но в качестве исходных параметров использовать размер файла и дату снимка. Звучить глупо, но это просто повальное увлечение сегодня. :lol:
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: IT горячка в Сиэттле, эпизод 2

Post by tessob »

city_girl wrote: 10 Feb 2020 15:40Что люди уже совсем деградировали - неспособны ввести название бренда и предмета, который хотят купить?
Подозреваю, что тут людей никто особо в расчет не берет. Обычно подобным развлекают инвесторов.
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10407
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 18:30
IvanGrozniy wrote: 10 Feb 2020 16:52Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте.
Я по-правде не понимаю где тут бизнес-велью. Представьте себя на месте менеджера, которому пришло сообщение, что какой-то трак недозагружен. Что вы собираетесь делать? Примете-ли Вы волевое решение переложить коробки из трака идущего в Чикаго, в трак идущий в Сиэтл? Ну, чтоб другие эффективные менеджеры уже там дальше с этим разбирались. :lol:

Второе, что я не понимаю – это откуда взялись коробки. Весь цивилизованный мир обычно решает это с помощью транспортных поддонов, например в стандартную фуру их помещается ровно 33 штуки. Это у вас PoC какой-то, или что за задача такая странная?
IvanGrozniy wrote: 10 Feb 2020 17:24Модель убили.
Возможно ее модель просто пожертвовала собой, чтоб спасти чей-то бизнес! Самопожертвование -- это, мне кажется, вершина Искусственного интеллекта! :lol:

А если серьезно, то самые распространенные грабли, на которые наступают многие дата-сатанисты на прикладных проектах – это использование в качестве исходных данных данные, которые они не понимают. То есть, простым языком – это как писать классификатор “кошек и собак” по фотографиям, но в качестве исходных параметров использовать размер файла и дату снимка. Звучить глупо, но это просто повальное увлечение сегодня. :lol:
Нам с вами не понять как люди умеющие размахивать руками заманивая абстрактными обещаниями могут продать слона клиенту, у которого в общем-то аллергия на животных :D Откуда взялись коробки я не знаю. Хозяин-барин - хочет коробки пихает в свой прицеп, а хочет россыпью сыпет гайки на пол трейла и потом везет куда-нибудь.
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: IT горячка в Сиэттле, эпизод 2

Post by Сабина »

IvanGrozniy wrote: 10 Feb 2020 15:31
Сабина wrote: 10 Feb 2020 14:01 Бывший хороший менеджер ( которого индюк заменил) ушёл в Амазон недавно. В Вижуал серч, когда фоткаешь что надо и тебе это находят на Амазоне. Говорит что тим очень сильный - Принстоны всякие и Стенфорды, круть одним словом
В Azure тоже есть подобная библиотечка/API распознавание объектов и брендов. Стоит денег. Я не знаю, если AWS предлагает уже такое или нет. Возможно бывший коллега как раз этим и занимается.
https://azure.microsoft.com/en-us/servi ... er-vision/
Computer Vision

Automatically identify more than 10,000 objects and 25 languages. Streamline processes across multiple scenarios, such as robotic process automation and digital asset management, with rich data extraction from images.

А давно менеджер в Амазоне работает?
Неоавно
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10407
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 18:30 А если серьезно, то самые распространенные грабли, на которые наступают многие дата-сатанисты на прикладных проектах – это использование в качестве исходных данных данные, которые они не понимают. То есть, простым языком – это как писать классификатор “кошек и собак” по фотографиям, но в качестве исходных параметров использовать размер файла и дату снимка. Звучить глупо, но это просто повальное увлечение сегодня. :lol:
Я согласен с вашей точкой зрения. Но конкретно в данном примере размер файла может быть важен! Я посмотрел фотки кошек и собак в Гугле. В основном фотки кошек в помещении делаются, а фотки собак наоборот - на улице. То есть величина размера файла возможно полезна в такой модели, так как компрессии файлов будет больше для фоток в помещениях :D
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: IT горячка в Сиэттле, эпизод 2

Post by tessob »

IvanGrozniy wrote: 10 Feb 2020 18:59Нам с вами не понять как люди умеющие размахивать руками заманивая абстрактными обещаниями могут продать слона клиенту, у которого в общем-то аллергия на животных :D Откуда взялись коробки я не знаю. Хозяин-барин - хочет коробки пихает в свой прицеп, а хочет россыпью сыпет гайки на пол трейла и потом везет куда-нибудь.
У вас еще и склад – “самострой” какой-то с ручной погрузкой? Подумайте, просто используя механизированную погрузку вы сможете отпускать с каждых ворот по фуре каждые 15-20 минут. Это без всякого ML увеличит оборачиваемость запасов раз в 40-50 раз. И водителю погрузчика не обязательно иметь PHD. Попробуйте предложить это барину. :D
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: IT горячка в Сиэттле, эпизод 2

Post by tessob »

IvanGrozniy wrote: 10 Feb 2020 19:28То есть величина размера файла возможно полезна в такой модели, так как компрессии файлов будет больше для фоток в помещениях :D
Вы возможно упускаете такой момент, что каждый пиксель, грубо говоря, закодирован тремя числами. То, какой будет окончательный размер файла, зависит от алгоритма сжатия. Большинство распространенных форматов являются сжатыми "с потерями" и я думаю, что вам может потребоваться еще одна модель, которая будет предсказывать сделан ли снимок в помещении или на улице. :D
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10407
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 19:35
IvanGrozniy wrote: 10 Feb 2020 18:59Нам с вами не понять как люди умеющие размахивать руками заманивая абстрактными обещаниями могут продать слона клиенту, у которого в общем-то аллергия на животных :D Откуда взялись коробки я не знаю. Хозяин-барин - хочет коробки пихает в свой прицеп, а хочет россыпью сыпет гайки на пол трейла и потом везет куда-нибудь.
У вас еще и склад – “самострой” какой-то с ручной погрузкой? Подумайте, просто используя механизированную погрузку вы сможете отпускать с каждых ворот по фуре каждые 15-20 минут. Это без всякого ML увеличит оборачиваемость запасов раз в 40-50 раз. И водителю погрузчика не обязательно иметь PHD. Попробуйте предложить это барину. :D
Еще раз повторюсь, что это не у нас. Перечетайте мой пост на предыдущей страницы повнимательней.
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10407
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 19:42
IvanGrozniy wrote: 10 Feb 2020 19:28То есть величина размера файла возможно полезна в такой модели, так как компрессии файлов будет больше для фоток в помещениях :D
Вы возможно упускаете такой момент, что каждый пиксель, грубо говоря, закодирован тремя числами. То, какой будет окончательный размер файла, зависит от алгоритма сжатия. Большинство распространенных форматов являются сжатыми "с потерями" и я думаю, что вам может потребоваться еще одна модель, которая будет предсказывать сделан ли снимок в помещении или на улице. :D
Вы похоже не понимаете принципы компрессии. Рекомендую почитать чего-нибудь. Меня в свое время просветила компрессия по алгоритму Хоффмана. Сейчас ее вроде на компьютерных науках в обязетальном порядке преподают. Кстати, есть в Амазоне задачка на интервью на дизайн с идеей компрессии. В упрощенном варианте - когда идут нули и единицы одним стримом, и когда нулей больше единиц, то можно размер стрима уменьшить. Нужно просто записать координаты начального нуля и координаты последнего нуля, если среди них только нули. Так же и с картинками поступают. Если большой участок фотки одного цвета, то достаточно границы этого цвета запомнить в несколько байтов и одним байтом один цвет. Не нужно все пикселям "прописывать по 3 байта". Размер файла заметно уменьшается. :umnik1:
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: IT горячка в Сиэттле, эпизод 2

Post by Lisa »

IvanGrozniy wrote: 10 Feb 2020 18:25
Lisa wrote: 10 Feb 2020 17:51
IvanGrozniy wrote: 10 Feb 2020 16:52 Да ладно вас, разошлись здесь :) У меня на работе конкретное применение этого алгоритма присутствует. Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте. Как-раз и реализованы расчеты нажатием мышек в этом облаке Azure.
По хорошему если, ваш водила перед погрузкой каждую коробку должен отсканить. Тогда система точно знает, полный трейлер или не полный. А если совсем по хорошему, то система перед погрузкой считает какие коробки в какой трейлер грузить чтобы полупустых не было. Без всяких новомодных ML :)
Это не наш водила. Мы продаем элеткронные коробочки с модемом для машин компаниям, элеткроника всю возможную инфу собирает и отправляет на сервера. Инфу по содержимому посылок нам точно никто не даст. :D
Компании-клиенты у нас разные. У кого всего 2 машины, у кого сотни. Не все могут тратить большие деньги и время на сканер для содержимого груза.
А, понятно. Зачем это нужно все равно не понятно :)
Сканер баркода каждого груза занимает пару секунд, и вряд ли он будет дороже ваших коробочек. Содержимое грузов знать не нужно, только размер.
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: IT горячка в Сиэттле, эпизод 2

Post by tessob »

IvanGrozniy wrote: 10 Feb 2020 19:48Вы похоже не понимаете принципы компрессии. Рекомендую почитать чего-нибудь. Меня в свое время просветила компрессия по алгоритму Хоффмана. Сейчас ее вроде на компьютерных науках в обязетальном порядке преподают. Кстати, есть в Амазоне задачка на интервью на дизайн с идеей компрессии. В упрощенном варианте - когда идут нули и единицы одним стримом, и когда нулей больше единиц, то можно размер стрима уменьшить. Нужно просто записать координаты начального нуля и координаты последнего нуля, если среди них только нули. Так же и с картинками поступают. Если большой участок фотки одного цвета, то достаточно границы этого цвета запомнить в несколько байтов и одним байтом один цвет. Не нужно все пикселям "прописывать по 3 байта". Размер файла заметно уменьшается. :umnik1:
Да, я не большой специалист в компрессии изображений, мне эта тема не была никогда интересна, но я не понимаю другого -- чем все то, что Вы написали Вам поможет, если у Вас два числа (размер файла и дата)? :food:
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10407
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 20:13
IvanGrozniy wrote: 10 Feb 2020 19:48Вы похоже не понимаете принципы компрессии. Рекомендую почитать чего-нибудь. Меня в свое время просветила компрессия по алгоритму Хоффмана. Сейчас ее вроде на компьютерных науках в обязетальном порядке преподают. Кстати, есть в Амазоне задачка на интервью на дизайн с идеей компрессии. В упрощенном варианте - когда идут нули и единицы одним стримом, и когда нулей больше единиц, то можно размер стрима уменьшить. Нужно просто записать координаты начального нуля и координаты последнего нуля, если среди них только нули. Так же и с картинками поступают. Если большой участок фотки одного цвета, то достаточно границы этого цвета запомнить в несколько байтов и одним байтом один цвет. Не нужно все пикселям "прописывать по 3 байта". Размер файла заметно уменьшается. :umnik1:
Да, я не большой специалист в компрессии изображений, мне эта тема не была никогда интересна, но я не понимаю другого -- чем все то, что Вы написали Вам поможет, если у Вас два числа (размер файла и дата)? :food:
Задача - нужно определить: текушая фотка с котом или с собакой? Мы знаем, что чаще всего кошек фотают в помещении. Поэтому, если вы определили, что текующая фотка в помещении с каким-то животным на ней, то с большой вероятностью на ней кот, а не собака. Так же мы можем предположить, что фотки сделанные в помещении будут заметно отличаться размеров файлов от фоток сделанных на улице, как раз по причине большей компрессии при наличии меньшего набора цветов в целом и более больших одноцетовых объектов фона на фотографии помещения. Поэтому можно рассуждать, что если фотка опеределнного разрешения меньше размера файла (фотки в помещении) фотки такого же разрешения для собак (фотка на улице), то значит на этой фотке (маленького размера файла) это кот с большой вероятностью!
Я не говорю, что размер файла нужно всегда принимать к расчету в такой модели. Я просто хочу показать, что есть рациональность в использовании некоторых атрибутов, которые невооруженному взгляду кажутся бесполезными. :gen1:

Return to “Работа и Карьера в IT”