IT горячка в Сиэттле, эпизод 2

User avatar
IvanGrozniy
Уже с Приветом
Posts: 10503
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 18:30
IvanGrozniy wrote: 10 Feb 2020 16:52Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте.
Я по-правде не понимаю где тут бизнес-велью. Представьте себя на месте менеджера, которому пришло сообщение, что какой-то трак недозагружен. Что вы собираетесь делать? Примете-ли Вы волевое решение переложить коробки из трака идущего в Чикаго, в трак идущий в Сиэтл? Ну, чтоб другие эффективные менеджеры уже там дальше с этим разбирались. :lol:

Второе, что я не понимаю – это откуда взялись коробки. Весь цивилизованный мир обычно решает это с помощью транспортных поддонов, например в стандартную фуру их помещается ровно 33 штуки. Это у вас PoC какой-то, или что за задача такая странная?
IvanGrozniy wrote: 10 Feb 2020 17:24Модель убили.
Возможно ее модель просто пожертвовала собой, чтоб спасти чей-то бизнес! Самопожертвование -- это, мне кажется, вершина Искусственного интеллекта! :lol:

А если серьезно, то самые распространенные грабли, на которые наступают многие дата-сатанисты на прикладных проектах – это использование в качестве исходных данных данные, которые они не понимают. То есть, простым языком – это как писать классификатор “кошек и собак” по фотографиям, но в качестве исходных параметров использовать размер файла и дату снимка. Звучить глупо, но это просто повальное увлечение сегодня. :lol:
Нам с вами не понять как люди умеющие размахивать руками заманивая абстрактными обещаниями могут продать слона клиенту, у которого в общем-то аллергия на животных :D Откуда взялись коробки я не знаю. Хозяин-барин - хочет коробки пихает в свой прицеп, а хочет россыпью сыпет гайки на пол трейла и потом везет куда-нибудь.
User avatar
Сабина
Уже с Приветом
Posts: 19045
Joined: 11 Jan 2012 09:25
Location: CA

Re: IT горячка в Сиэттле, эпизод 2

Post by Сабина »

IvanGrozniy wrote: 10 Feb 2020 15:31
Сабина wrote: 10 Feb 2020 14:01 Бывший хороший менеджер ( которого индюк заменил) ушёл в Амазон недавно. В Вижуал серч, когда фоткаешь что надо и тебе это находят на Амазоне. Говорит что тим очень сильный - Принстоны всякие и Стенфорды, круть одним словом
В Azure тоже есть подобная библиотечка/API распознавание объектов и брендов. Стоит денег. Я не знаю, если AWS предлагает уже такое или нет. Возможно бывший коллега как раз этим и занимается.
https://azure.microsoft.com/en-us/servi ... er-vision/
Computer Vision

Automatically identify more than 10,000 objects and 25 languages. Streamline processes across multiple scenarios, such as robotic process automation and digital asset management, with rich data extraction from images.

А давно менеджер в Амазоне работает?
Неоавно
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10503
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 18:30 А если серьезно, то самые распространенные грабли, на которые наступают многие дата-сатанисты на прикладных проектах – это использование в качестве исходных данных данные, которые они не понимают. То есть, простым языком – это как писать классификатор “кошек и собак” по фотографиям, но в качестве исходных параметров использовать размер файла и дату снимка. Звучить глупо, но это просто повальное увлечение сегодня. :lol:
Я согласен с вашей точкой зрения. Но конкретно в данном примере размер файла может быть важен! Я посмотрел фотки кошек и собак в Гугле. В основном фотки кошек в помещении делаются, а фотки собак наоборот - на улице. То есть величина размера файла возможно полезна в такой модели, так как компрессии файлов будет больше для фоток в помещениях :D
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: IT горячка в Сиэттле, эпизод 2

Post by tessob »

IvanGrozniy wrote: 10 Feb 2020 18:59Нам с вами не понять как люди умеющие размахивать руками заманивая абстрактными обещаниями могут продать слона клиенту, у которого в общем-то аллергия на животных :D Откуда взялись коробки я не знаю. Хозяин-барин - хочет коробки пихает в свой прицеп, а хочет россыпью сыпет гайки на пол трейла и потом везет куда-нибудь.
У вас еще и склад – “самострой” какой-то с ручной погрузкой? Подумайте, просто используя механизированную погрузку вы сможете отпускать с каждых ворот по фуре каждые 15-20 минут. Это без всякого ML увеличит оборачиваемость запасов раз в 40-50 раз. И водителю погрузчика не обязательно иметь PHD. Попробуйте предложить это барину. :D
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: IT горячка в Сиэттле, эпизод 2

Post by tessob »

IvanGrozniy wrote: 10 Feb 2020 19:28То есть величина размера файла возможно полезна в такой модели, так как компрессии файлов будет больше для фоток в помещениях :D
Вы возможно упускаете такой момент, что каждый пиксель, грубо говоря, закодирован тремя числами. То, какой будет окончательный размер файла, зависит от алгоритма сжатия. Большинство распространенных форматов являются сжатыми "с потерями" и я думаю, что вам может потребоваться еще одна модель, которая будет предсказывать сделан ли снимок в помещении или на улице. :D
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10503
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 19:35
IvanGrozniy wrote: 10 Feb 2020 18:59Нам с вами не понять как люди умеющие размахивать руками заманивая абстрактными обещаниями могут продать слона клиенту, у которого в общем-то аллергия на животных :D Откуда взялись коробки я не знаю. Хозяин-барин - хочет коробки пихает в свой прицеп, а хочет россыпью сыпет гайки на пол трейла и потом везет куда-нибудь.
У вас еще и склад – “самострой” какой-то с ручной погрузкой? Подумайте, просто используя механизированную погрузку вы сможете отпускать с каждых ворот по фуре каждые 15-20 минут. Это без всякого ML увеличит оборачиваемость запасов раз в 40-50 раз. И водителю погрузчика не обязательно иметь PHD. Попробуйте предложить это барину. :D
Еще раз повторюсь, что это не у нас. Перечетайте мой пост на предыдущей страницы повнимательней.
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10503
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 19:42
IvanGrozniy wrote: 10 Feb 2020 19:28То есть величина размера файла возможно полезна в такой модели, так как компрессии файлов будет больше для фоток в помещениях :D
Вы возможно упускаете такой момент, что каждый пиксель, грубо говоря, закодирован тремя числами. То, какой будет окончательный размер файла, зависит от алгоритма сжатия. Большинство распространенных форматов являются сжатыми "с потерями" и я думаю, что вам может потребоваться еще одна модель, которая будет предсказывать сделан ли снимок в помещении или на улице. :D
Вы похоже не понимаете принципы компрессии. Рекомендую почитать чего-нибудь. Меня в свое время просветила компрессия по алгоритму Хоффмана. Сейчас ее вроде на компьютерных науках в обязетальном порядке преподают. Кстати, есть в Амазоне задачка на интервью на дизайн с идеей компрессии. В упрощенном варианте - когда идут нули и единицы одним стримом, и когда нулей больше единиц, то можно размер стрима уменьшить. Нужно просто записать координаты начального нуля и координаты последнего нуля, если среди них только нули. Так же и с картинками поступают. Если большой участок фотки одного цвета, то достаточно границы этого цвета запомнить в несколько байтов и одним байтом один цвет. Не нужно все пикселям "прописывать по 3 байта". Размер файла заметно уменьшается. :umnik1:
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: IT горячка в Сиэттле, эпизод 2

Post by Lisa »

IvanGrozniy wrote: 10 Feb 2020 18:25
Lisa wrote: 10 Feb 2020 17:51
IvanGrozniy wrote: 10 Feb 2020 16:52 Да ладно вас, разошлись здесь :) У меня на работе конкретное применение этого алгоритма присутствует. Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте. Как-раз и реализованы расчеты нажатием мышек в этом облаке Azure.
По хорошему если, ваш водила перед погрузкой каждую коробку должен отсканить. Тогда система точно знает, полный трейлер или не полный. А если совсем по хорошему, то система перед погрузкой считает какие коробки в какой трейлер грузить чтобы полупустых не было. Без всяких новомодных ML :)
Это не наш водила. Мы продаем элеткронные коробочки с модемом для машин компаниям, элеткроника всю возможную инфу собирает и отправляет на сервера. Инфу по содержимому посылок нам точно никто не даст. :D
Компании-клиенты у нас разные. У кого всего 2 машины, у кого сотни. Не все могут тратить большие деньги и время на сканер для содержимого груза.
А, понятно. Зачем это нужно все равно не понятно :)
Сканер баркода каждого груза занимает пару секунд, и вряд ли он будет дороже ваших коробочек. Содержимое грузов знать не нужно, только размер.
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: IT горячка в Сиэттле, эпизод 2

Post by tessob »

IvanGrozniy wrote: 10 Feb 2020 19:48Вы похоже не понимаете принципы компрессии. Рекомендую почитать чего-нибудь. Меня в свое время просветила компрессия по алгоритму Хоффмана. Сейчас ее вроде на компьютерных науках в обязетальном порядке преподают. Кстати, есть в Амазоне задачка на интервью на дизайн с идеей компрессии. В упрощенном варианте - когда идут нули и единицы одним стримом, и когда нулей больше единиц, то можно размер стрима уменьшить. Нужно просто записать координаты начального нуля и координаты последнего нуля, если среди них только нули. Так же и с картинками поступают. Если большой участок фотки одного цвета, то достаточно границы этого цвета запомнить в несколько байтов и одним байтом один цвет. Не нужно все пикселям "прописывать по 3 байта". Размер файла заметно уменьшается. :umnik1:
Да, я не большой специалист в компрессии изображений, мне эта тема не была никогда интересна, но я не понимаю другого -- чем все то, что Вы написали Вам поможет, если у Вас два числа (размер файла и дата)? :food:
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10503
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 20:13
IvanGrozniy wrote: 10 Feb 2020 19:48Вы похоже не понимаете принципы компрессии. Рекомендую почитать чего-нибудь. Меня в свое время просветила компрессия по алгоритму Хоффмана. Сейчас ее вроде на компьютерных науках в обязетальном порядке преподают. Кстати, есть в Амазоне задачка на интервью на дизайн с идеей компрессии. В упрощенном варианте - когда идут нули и единицы одним стримом, и когда нулей больше единиц, то можно размер стрима уменьшить. Нужно просто записать координаты начального нуля и координаты последнего нуля, если среди них только нули. Так же и с картинками поступают. Если большой участок фотки одного цвета, то достаточно границы этого цвета запомнить в несколько байтов и одним байтом один цвет. Не нужно все пикселям "прописывать по 3 байта". Размер файла заметно уменьшается. :umnik1:
Да, я не большой специалист в компрессии изображений, мне эта тема не была никогда интересна, но я не понимаю другого -- чем все то, что Вы написали Вам поможет, если у Вас два числа (размер файла и дата)? :food:
Задача - нужно определить: текушая фотка с котом или с собакой? Мы знаем, что чаще всего кошек фотают в помещении. Поэтому, если вы определили, что текующая фотка в помещении с каким-то животным на ней, то с большой вероятностью на ней кот, а не собака. Так же мы можем предположить, что фотки сделанные в помещении будут заметно отличаться размеров файлов от фоток сделанных на улице, как раз по причине большей компрессии при наличии меньшего набора цветов в целом и более больших одноцетовых объектов фона на фотографии помещения. Поэтому можно рассуждать, что если фотка опеределнного разрешения меньше размера файла (фотки в помещении) фотки такого же разрешения для собак (фотка на улице), то значит на этой фотке (маленького размера файла) это кот с большой вероятностью!
Я не говорю, что размер файла нужно всегда принимать к расчету в такой модели. Я просто хочу показать, что есть рациональность в использовании некоторых атрибутов, которые невооруженному взгляду кажутся бесполезными. :gen1:
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: IT горячка в Сиэттле, эпизод 2

Post by tessob »

IvanGrozniy wrote: 10 Feb 2020 20:26Задача - нужно определить: ...
Сдается мне, что топор размер файла не главный ингридиент в вашем решении. :wink:
User avatar
IvanGrozniy
Уже с Приветом
Posts: 10503
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: IT горячка в Сиэттле, эпизод 2

Post by IvanGrozniy »

tessob wrote: 10 Feb 2020 21:55
IvanGrozniy wrote: 10 Feb 2020 20:26Задача - нужно определить: ...
Сдается мне, что топор размер файла не главный ингридиент в вашем решении. :wink:
Кончено же нет! Это только один из столбиков таблички для расчетов. В машинном изучением называют по научному - одно пространство. Надо еще много столбиков/пространств придумывать. Наверное, нужно еще алгоритм по распознаванию объектов использовать. Например, можно указать на фотках усов в случае котов :) Еще форму тела… Но это неинтересная модель. Гораздо интересней придумать модель, в какой день начальник прийдет злой, а в какой добрый, чтобы ему под горячую руку не попадаться :)
Notghin
Уже с Приветом
Posts: 659
Joined: 23 Jan 2020 01:06

Re: IT горячка в Сиэттле, эпизод 2

Post by Notghin »

Кстати мы склад как раз недавно делали. Вот такой вот (city_girl не смотреть, а то там автоматизация, можно и деградировать ненароком. :nono#: )

phpBB [video]
city_girl
Уже с Приветом
Posts: 37504
Joined: 09 Jun 2010 15:58
Location: LT-RU-NY

Re: IT горячка в Сиэттле, эпизод 2

Post by city_girl »

Notghin wrote: 11 Feb 2020 03:00 Кстати мы склад как раз недавно делали. Вот такой вот (city_girl не смотреть, а то там автоматизация, можно и деградировать ненароком. :nono#: )
Вы к своему унитазу автоматическую клизму прикрутить не забыли? А то вдруг лишнюю минуту дольше просидите и перенапряжетесь
/ban 1 day/
Big Cheese
Уже с Приветом
Posts: 1211
Joined: 02 Jul 2000 09:01
Location: SFBA

Re: IT горячка в Сиэттле, эпизод 2

Post by Big Cheese »

Dweller wrote: 04 Feb 2020 09:34 Т.е. чуть больше полляма в год и никаких опций.
Поздравляю!
Dweller wrote: 04 Feb 2020 09:34 Пришла пора сказать прощай нынешнему работодателю через 2.5 года усердного труда
Если не секрет, чем первый эпизод горячки для Вас закончился?
Dweller wrote: Наверное рискну и пойду в стартап, там триста по текущему консервативному валюэшн, ну т. Е. Как если бы она уже была паблик и давали rsu. Минус что нельзя будет сбежать не заплатив налоги за выкуп акций т.е. надо будет сидеть до экзита.
cfn
Уже с Приветом
Posts: 1074
Joined: 26 Dec 2016 19:08

Re: IT горячка в Сиэттле, эпизод 2

Post by cfn »

city_girl wrote: 11 Feb 2020 04:06
Notghin wrote: 11 Feb 2020 03:00 Кстати мы склад как раз недавно делали. Вот такой вот (city_girl не смотреть, а то там автоматизация, можно и деградировать ненароком. :nono#: )
Вы к своему унитазу автоматическую клизму прикрутить не забыли? А то вдруг лишнюю минуту дольше просидите и перенапряжетесь
Без пошлости никак нельзя?
rtogan
Уже с Приветом
Posts: 1654
Joined: 13 Dec 2011 11:24

Re: IT горячка в Сиэттле, эпизод 2

Post by rtogan »

cfn wrote: 11 Feb 2020 05:33
city_girl wrote: 11 Feb 2020 04:06
Notghin wrote: 11 Feb 2020 03:00 Кстати мы склад как раз недавно делали. Вот такой вот (city_girl не смотреть, а то там автоматизация, можно и деградировать ненароком. :nono#: )
Вы к своему унитазу автоматическую клизму прикрутить не забыли? А то вдруг лишнюю минуту дольше просидите и перенапряжетесь
Без пошлости никак нельзя?
Справедливости ради, стоит заметить, что товарищ первым хамить начал без всякой на то причины ;)
cfn
Уже с Приветом
Posts: 1074
Joined: 26 Dec 2016 19:08

Re: IT горячка в Сиэттле, эпизод 2

Post by cfn »

rtogan wrote: 11 Feb 2020 06:24
cfn wrote: 11 Feb 2020 05:33
city_girl wrote: 11 Feb 2020 04:06
Notghin wrote: 11 Feb 2020 03:00 Кстати мы склад как раз недавно делали. Вот такой вот (city_girl не смотреть, а то там автоматизация, можно и деградировать ненароком. :nono#: )
Вы к своему унитазу автоматическую клизму прикрутить не забыли? А то вдруг лишнюю минуту дольше просидите и перенапряжетесь
Без пошлости никак нельзя?
Справедливости ради, стоит заметить, что товарищ первым хамить начал без всякой на то причины ;)
Она уже 2 поста успела удалить, так что неизвестно кто начал. К тому же она женщина, не комильфо такие слова употреблять.
User avatar
Dweller
Уже с Приветом
Posts: 12258
Joined: 20 Dec 2000 10:01
Location: Bellevue, WA

Re: IT горячка в Сиэттле, эпизод 2

Post by Dweller »

Big Cheese wrote: 11 Feb 2020 05:24
Dweller wrote: 04 Feb 2020 09:34 Пришла пора сказать прощай нынешнему работодателю через 2.5 года усердного труда
Если не секрет, чем первый эпизод горячки для Вас закончился?
Dweller wrote: Наверное рискну и пойду в стартап, там триста по текущему консервативному валюэшн, ну т. Е. Как если бы она уже была паблик и давали rsu. Минус что нельзя будет сбежать не заплатив налоги за выкуп акций т.е. надо будет сидеть до экзита.
Компания так и не вышла пока в IPO и ждать надоело. Выкуп опций продлили на два года но естественно конвертнули в non ISO т к уже я не их работник. Т е налоговой экономии не будет но и риска от преждевременного выкупа тоже нет.

По сравнению с предыдущим поиском могу сказать что в прошлый раз гораздо хуже готовился и искал только возле дома пешком. В этот раз расширил круг и вот теперь придётся ездить на автобусе :( всего 40 минут от двери до двери, но все равно это неприятно. Надеюсь хотя бы день из дома, со временем может и два, как пойдёт.
User avatar
Dweller
Уже с Приветом
Posts: 12258
Joined: 20 Dec 2000 10:01
Location: Bellevue, WA

Re: IT горячка в Сиэттле, эпизод 2

Post by Dweller »

Если бы пошёл в servicenow то было бы лучше чем в стартапе т к их сток вырос за эти 2.5 года с 100 до 330! Но там группа не особо понравилась и надо было бы ездить минут 15-20 на машине а хотелось пешком по белвью :)
andreyi
Новичок
Posts: 56
Joined: 03 Nov 2007 15:25

Re: IT горячка в Сиэттле, эпизод 2

Post by andreyi »

IvanGrozniy wrote: 10 Feb 2020 20:26 Я не говорю, что размер файла нужно всегда принимать к расчету в такой модели. Я просто хочу показать, что есть рациональность в использовании некоторых атрибутов, которые невооруженному взгляду кажутся бесполезными. :gen1:
Если только в ситуации, когда фоточки делаем мы сами по строгим правилам. Если файлы jpeg - то это сжатие с потерями, и там параметр quality гораздо сильнее влияет на размер файла, чем сложность сцены.
User avatar
liamkin
Уже с Приветом
Posts: 2601
Joined: 19 Jun 2003 20:22
Location: USA

Re: IT горячка в Сиэттле, эпизод 2

Post by liamkin »

andreyi wrote: 11 Feb 2020 15:11
IvanGrozniy wrote: 10 Feb 2020 20:26 Я не говорю, что размер файла нужно всегда принимать к расчету в такой модели. Я просто хочу показать, что есть рациональность в использовании некоторых атрибутов, которые невооруженному взгляду кажутся бесполезными. :gen1:
Если только в ситуации, когда фоточки делаем мы сами по строгим правилам. Если файлы jpeg - то это сжатие с потерями, и там параметр quality гораздо сильнее влияет на размер файла, чем сложность сцены.
Я вам дам задачу из жизни автомобилей - как белую стену отличить от свободной дороги?
Notghin
Уже с Приветом
Posts: 659
Joined: 23 Jan 2020 01:06

Re: IT горячка в Сиэттле, эпизод 2

Post by Notghin »

liamkin wrote: 11 Feb 2020 15:53
andreyi wrote: 11 Feb 2020 15:11
IvanGrozniy wrote: 10 Feb 2020 20:26 Я не говорю, что размер файла нужно всегда принимать к расчету в такой модели. Я просто хочу показать, что есть рациональность в использовании некоторых атрибутов, которые невооруженному взгляду кажутся бесполезными. :gen1:
Если только в ситуации, когда фоточки делаем мы сами по строгим правилам. Если файлы jpeg - то это сжатие с потерями, и там параметр quality гораздо сильнее влияет на размер файла, чем сложность сцены.
Я вам дам задачу из жизни автомобилей - как белую стену отличить от свободной дороги?
Вы лучше решите почему (city_girl, дальше не читай, опасность автоматизации!) адаптивный круиз не видит стоячих машин.
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: IT горячка в Сиэттле, эпизод 2

Post by tessob »

liamkin wrote: 11 Feb 2020 15:53Я вам дам задачу из жизни автомобилей - как белую стену отличить от свободной дороги?
Лидаром?
User avatar
liamkin
Уже с Приветом
Posts: 2601
Joined: 19 Jun 2003 20:22
Location: USA

Re: IT горячка в Сиэттле, эпизод 2

Post by liamkin »

tessob wrote: 11 Feb 2020 17:00
liamkin wrote: 11 Feb 2020 15:53Я вам дам задачу из жизни автомобилей - как белую стену отличить от свободной дороги?
Лидаром?
читерство. Надо образ распознать. Подсказываю - стерео-вижн может помочь.

Return to “Работа и Карьера в IT”