IT горячка в Сиэттле, эпизод 2

[Chessplayer]

Не говоря уже о том, что понятие нелинейности вовсе не необходимо для построения нейронной сети. Можно использовать linear activation function. Не то, чтобы это была хорошая идея, но нейронная сеть от этого не перестанет быть нейронной сетью.

Чтобы у вас на этот счёт не было заблуждений, я рекомендую посмотреть одну из вводных лекций Andrew Ng про нейронки (я серьёзно). Он там в деталях объясняет зачем нужна нелинейность и показывает как без нее сеть любой глубины схлопнется в обычную линейную регрессию.

[alex_127]

Не говоря уже о том, что понятие нелинейности вовсе не необходимо для построения нейронной сети. Можно использовать linear activation function. Не то, чтобы это была хорошая идея, но нейронная сеть от этого не перестанет быть нейронной сетью.

Чтобы у вас на этот счёт не было заблуждений, я рекомендую посмотреть одну из вводных лекций Andrew Ng про нейронки (я серьёзно). Он там в деталях объясняет зачем нужна нелинейность и показывает как без нее сеть любой глубины схлопнется в обычную линейную регрессию.

No shit )

Наша дискуссия напоминает разговоры с инженерами на работе. Собственно, потому и разговариваю. Набираю опыт коммуникации. Я обычно сразу договариваюсь с ними, что я не учу их как строить cloud, а они не учат меня моделированию. Но иногда молодежь из консалтинговых фирм с горящими глазами приходит и начинает втирать менеджменту про AI. Который решит все наши вопросы за умеренную плату. Тогда приходится напоминать начальству о том, что в то время, когда молодежь учила курс Andrew Ng, я его преподавала, после чего успела поработать на внедрении сакральной магии AI в паре - тройке контор, с переменным успехом.

Но такие разговоры я не люблю. Они скучные и выдают мой возраст.

я несколько раз таких вытаскивал на разговор с Alex Smola. хвосты были поджаты до правильного размера (и морковкой). но это была не молодежь...

[alex_127]

я несколько раз таких вытаскивал на разговор с Alex Smola. хвосты были поджаты до правильного размера (и морковкой). но это была не молодежь...

В смысле? Вы работали с Alex Smola? Везет же людям.

я ничего не знаю про ML/AI. Но какое-то время мы с ним были под одним начальством, так что встречались. вместе не работали. ну может одна-две совместных cross-product features.

[Sergunka]

я несколько раз таких вытаскивал на разговор с Alex Smola. хвосты были поджаты до правильного размера (и морковкой). но это была не молодежь...

В смысле? Вы работали с Alex Smola? Везет же людям.

я ничего не знаю про ML/AI. Но какое-то время мы с ним были под одним начальством, так что встречались. вместе не работали. ну может одна-две совместных cross-product features.

Ух-ты! А я работал в одном отделе с разработчиками Клипера сидели рядом

[alex_127]

я несколько раз таких вытаскивал на разговор с Alex Smola. хвосты были поджаты до правильного размера (и морковкой). но это была не молодежь...

В смысле? Вы работали с Alex Smola? Везет же людям.

я ничего не знаю про ML/AI. Но какое-то время мы с ним были под одним начальством, так что встречались. вместе не работали. ну может одна-две совместных cross-product features.

Ух-ты! А я работал в одном отделе с разработчиками Клипера сидели рядом

а я с тем кто FoxPro сделал быстрым!
рядом не сидели - отдельные оффисы, может помните...

[Sergunka]

я несколько раз таких вытаскивал на разговор с Alex Smola. хвосты были поджаты до правильного размера (и морковкой). но это была не молодежь...

В смысле? Вы работали с Alex Smola? Везет же людям.

я ничего не знаю про ML/AI. Но какое-то время мы с ним были под одним начальством, так что встречались. вместе не работали. ну может одна-две совместных cross-product features.

Ух-ты! А я работал в одном отделе с разработчиками Клипера сидели рядом

а я с тем кто FoxPro сделал быстрым!
рядом не сидели - отдельные оффисы, может помните...

Да про это Тери и Тим мне на второй день рассказали (в 2003 году), что Майкрософт купил индексацию у Фокс Про так как хозяева Клипера не сошлись в цене с МС. а так у Вас был шанс сидеть с ними

[alex_127]

В смысле? Вы работали с Alex Smola? Везет же людям.

я ничего не знаю про ML/AI. Но какое-то время мы с ним были под одним начальством, так что встречались. вместе не работали. ну может одна-две совместных cross-product features.

Ух-ты! А я работал в одном отделе с разработчиками Клипера сидели рядом

а я с тем кто FoxPro сделал быстрым!
рядом не сидели - отдельные оффисы, может помните...

Да про это Тери и Тим мне на второй день рассказали (в 2003 году), что Майкрософт купил индексацию у Фокс Про так как хозяева Клипера не сошлись в цене с МС. а так у Вас был шанс сидеть с ними

там были войны... честно скажу - слышал только отголоски, сам в этом не участвовал...

[Notghin]

Не говоря уже о том, что понятие нелинейности вовсе не необходимо для построения нейронной сети. Можно использовать linear activation function. Не то, чтобы это была хорошая идея, но нейронная сеть от этого не перестанет быть нейронной сетью.

Чтобы у вас на этот счёт не было заблуждений, я рекомендую посмотреть одну из вводных лекций Andrew Ng про нейронки (я серьёзно). Он там в деталях объясняет зачем нужна нелинейность и показывает как без нее сеть любой глубины схлопнется в обычную линейную регрессию.

No shit )

Наша дискуссия напоминает разговоры с инженерами на работе. Собственно, потому и разговариваю. Набираю опыт коммуникации. Я обычно сразу договариваюсь с ними, что я не учу их как строить cloud, а они не учат меня моделированию. Но иногда молодежь из консалтинговых фирм с горящими глазами приходит и начинает втирать менеджменту про AI. Который решит все наши вопросы за умеренную плату. Тогда приходится напоминать начальству о том, что в то время, когда молодежь учила курс Andrew Ng, я его преподавала, после чего успела поработать на внедрении сакральной магии AI в паре - тройке контор, с переменным успехом.

Но такие разговоры я не люблю. Они скучные и выдают мой возраст.

http://news.bigmir.net/ukraine/1941412- ... amom-efire

[Ann4Ann]

Ну ОК, я понимаю что ВМ там раздают, но чтобы меня совсем переубедить в их конкурентноспособности - можно озвучить названия тех самые product offerings от них ?
Кафка например. Зашла к ним как то на стенд - дайте говорю про Кафку. Выдали три флаера со словами event hubs, рассказать про это на стенде никто не мог внятно, конференция называлась Кафка саммит . Больше я про это не слышала нигде и никогда.
То что у нас на работе в Ажуре - самопал поверх ВМs. Наверное дешево и сердито, и можно это все поддерживать кровью и потом программеров, гордо крича что мы cloud agnostic. Можно ли там построить хорошую и надежную data pipeline с минимаьными затратами труда на plumbing и максимальным выхлопом ? I do not think so

Вот на чем вы гоняли "мелочевку типа Спарк" в AWS и куда ее потом в Ажур перенесли ?

ой. если вам все надо "как лего", то я пас. у нас был "самопал". прекрасно все работало. никто кровь никому не пускал... поддерживать как то не надо было, оно просто работало и все. тут все как с программированием, или умеют, или нет.

[IvanGrozniy]

я несколько раз таких вытаскивал на разговор с Alex Smola. хвосты были поджаты до правильного размера (и морковкой). но это была не молодежь...

В смысле? Вы работали с Alex Smola? Везет же людям.

я ничего не знаю про ML/AI. Но какое-то время мы с ним были под одним начальством, так что встречались. вместе не работали. ну может одна-две совместных cross-product features.

Вы ему случайно вопрос не задавали, зачем он променялся на коврижки Амазону.

[fruit6]

я несколько раз таких вытаскивал на разговор с Alex Smola. хвосты были поджаты до правильного размера (и морковкой). но это была не молодежь...

В смысле? Вы работали с Alex Smola? Везет же людям.

я ничего не знаю про ML/AI. Но какое-то время мы с ним были под одним начальством, так что встречались. вместе не работали. ну может одна-две совместных cross-product features.

Вы ему случайно вопрос не задавали, зачем он променялся на коврижки Амазону.

Он там начальник на прогрессивном очень интересном направлении. Больше не скажу.

[alex_127]

Вы ему случайно вопрос не задавали, зачем он променялся на коврижки Амазону.

-Эй, герой,- кричали мне,- переходи на Тёмную сторону! У нас есть печеньки!
В ответ я обычно доставал из рюкзачка бутерброд с колбасой и демонстративно его поедал. Нашли тоже, чем приманивать! У нас, Светлых, всегда со снабжением полный порядок. А тут какие-то печеньки... смешно даже!
Однако, со временем я смеяться перестал. Нет, с нашей стороны по-прежнему всё было замечательно. Свой паёк я получал бесперебойно и мог при желании на всякий выпад Тёмных продемонстрировать то рябчика, то ананас, то ещё какие-нибудь деликатесы. Они же неизменно предлагали свои печеньки. Это было странно. Нет, я сознавал, конечно, что и у нас далеко не каждый может себе позволить закусывать рябчиков ананасами, но это же только справедливо! Кто-то получает меньше, кто-то больше, но в целом все довольны, голодающих нет. И строй самый лучший, и экономика процветает. А с Тёмной стороны, и это всем известно, мрак и беззаконие, и разруха, и коррупция, и военная диктатура... ужас что там творится! И всё-таки, всё-таки... у любого Тёмного всегда есть печеньки. Пусть символический, но прожиточный минимум. Каждому, без исключения. Даже при том, что не хватает подчас других, столь же или даже более необходимых вещей - лекарств, жилья, да хотя бы и тех же боеприпасов - но печеньки есть всегда. Для всех, без обмана. Это внушало уважение. И настал день, когда в ответ на обычный окрик "Эй, Светлый, не хочешь к нам? У нас есть печеньки!" я вдруг неожиданно для себя, но совершенно искренне ответил "хочу!"
С той поры я на Тёмной стороне. Да, приходится несладко. Да, у нас тут бывают проблемы. Да, иногда я с тоской вспоминаю своих рябчиков и бутерброды. Ну и что с того? Зато у меня есть печеньки! Всегда! Полные карманы! Пусть любая Светлая сволочь разбудит меня среди ночи и спросит: "Ну, и где..?" - я всегда готов их показать. По первому требованию! Печеньки у Тёмной стороны не кончатся никогда!
Есть их категорически запрещено.

(c) https://bormor.livejournal.com/773720.html

[mikeG]

Есть их категорически запрещено.

А знаменитые бананы тоже есть низзя?

[alex_127]

Есть их категорически запрещено.

А знаменитые бананы тоже есть низзя?

бананы - это в уши. open space, есть издержки.

[Chessplayer]

Не говоря уже о том, что понятие нелинейности вовсе не необходимо для построения нейронной сети. Можно использовать linear activation function. Не то, чтобы это была хорошая идея, но нейронная сеть от этого не перестанет быть нейронной сетью.

Чтобы у вас на этот счёт не было заблуждений, я рекомендую посмотреть одну из вводных лекций Andrew Ng про нейронки (я серьёзно). Он там в деталях объясняет зачем нужна нелинейность и показывает как без нее сеть любой глубины схлопнется в обычную линейную регрессию.

No shit )

Наша дискуссия напоминает разговоры с инженерами на работе. Собственно, потому и разговариваю. Набираю опыт коммуникации. Я обычно сразу договариваюсь с ними, что я не учу их как строить cloud, а они не учат меня моделированию. Но иногда молодежь из консалтинговых фирм с горящими глазами приходит и начинает втирать менеджменту про AI. Который решит все наши вопросы за умеренную плату. Тогда приходится напоминать начальству о том, что в то время, когда молодежь учила курс Andrew Ng, я его преподавала, после чего успела поработать на внедрении сакральной магии AI в паре - тройке контор, с переменным успехом.

Но такие разговоры я не люблю. Они скучные и выдают мой возраст.

Ну в общем дело ваше. Только не удивляйтесь потом, что если ваш AI использует нейронки с "linear activation functions", то "успех будет переменным"

[IvanGrozniy]

...

...

Уважаемые господа, столкнулся с проблемой обсчета нейро-сети. Есть 5000 опытов с размерностью 400 каждый. Сделал нейронную сеть с 3 слоями (1 скрытый) в программе GNU Octave. Вроде работает все, но вот незадача - градиенты в 50 итераций и минимизация оценочной функции обсчитываются 10 минут на домашнем компьютере. Хотелось бы побыстрей как-нибудь. В наличии есть работающая мощная графическая карта AMD Radeon HD 7900. Есть ли какие-нибудь способы, чтобы вызвать функции, типа fmincg и fminunc просчитывались на GPU? Есть ли альтенативы библиотек в других инструментах для использоавния GPU.
Спасибо.

[M. Ridcully]

AMD Radeon HD 7900.

ИМХО лучше купить что-нить от Nvidia. CUDA практически все основные фреймворки может ускорять, а OpenCL (или чего там сейчас у AMD?) это, скорее, экзотика.

[Chessplayer]

GPU берите от Nvidia (можно на eBay для начала). DL на AMD никто не делает. Ну и уж заодно сразу переходите на Python, как курс Нг-а закончите.
Я рекоменую stack: Linux+CUDA+Python+Pytorch

[Sergunka]

GPU берите от Nvidia (можно на eBay для начала). DL на AMD никто не делает. Ну и уж заодно сразу переходите на Python, как курс Нг-а закончите.
Я рекоменую stack: Linux+CUDA+Python+Pytorch

Я питоч на юбунту запустил вроде нормально работает. Там был мелкий геморрой связанный с разными версиями, но вполне терпимо все разрулилось. Да так же надо добавить чтоб диск был SSD и за одно неплохо бы процессоров штук 12.

[Notghin]

GPU берите от Nvidia (можно на eBay для начала). DL на AMD никто не делает. Ну и уж заодно сразу переходите на Python, как курс Нг-а закончите.
Я рекоменую stack: Linux+CUDA+Python+Pytorch

Я питоч на юбунту запустил вроде нормально работает. Там был мелкий геморрой связанный с разными версиями, но вполне терпимо все разрулилось. Да так же надо добавить чтоб диск был NVME и за одно неплохо бы процессоров штук 12.

[Chessplayer]

GPU берите от Nvidia (можно на eBay для начала). DL на AMD никто не делает. Ну и уж заодно сразу переходите на Python, как курс Нг-а закончите.
Я рекоменую stack: Linux+CUDA+Python+Pytorch

Я питоч на юбунту запустил вроде нормально работает. Там был мелкий геморрой связанный с разными версиями, но вполне терпимо все разрулилось. Да так же надо добавить чтоб диск был SSD и за одно неплохо бы процессоров штук 12.

Pytorch при установке вроде говорит с какими версиями он совместим.

Для одной GPU 4-х процессоров должно хватить. 12 - это 3 потянет.

[IvanGrozniy]

GPU берите от Nvidia (можно на eBay для начала). DL на AMD никто не делает. Ну и уж заодно сразу переходите на Python, как курс Нг-а закончите.
Я рекоменую stack: Linux+CUDA+Python+Pytorch

Посмотрел, что можно сразу 2 карты поставить одновременно: AMD и Nvidia. Какую карту Nvidia посоветовать с хорошим соотношением цены и скорости подсчета операций с матрицами, чтобы работала гораздо быстрей современных процессоров? Спасибо.

[Uzito]

Посмотрел, что можно сразу 2 карты поставить одновременно: AMD и Nvidia. Какую карту Nvidia посоветовать с хорошим соотношением цены и скорости подсчета операций с матрицами, чтобы работала гораздо быстрей современных процессоров? Спасибо.

nVidia RTX 2080 Ti дорого, 1080 Ti чуточку дешевле, чуточку медленнее.

[blak_box]

Топикстартер, Вы на работу-то вышли?

[Chessplayer]

Посмотрел, что можно сразу 2 карты поставить одновременно: AMD и Nvidia. Какую карту Nvidia посоветовать с хорошим соотношением цены и скорости подсчета операций с матрицами, чтобы работала гораздо быстрей современных процессоров? Спасибо.

Не зная ваших целей сложно что-то советовать, но в целом 1080Ti, я думаю, лучше всего на данный момент. На eBay можно взять за разумные деньги.