как работает это фигня?

[Гоша Хороший]

вот, взял я курс на каком-то ресурсе. закончил его и мне тут же предлагают следующий курс.

как они знают какой следуюший курс мне взять? как работает это фигня и как ее реализовать?

пока выжу 3 идеи:

* ручная работа: заносим в базу данных курс + следуюшие курсы -> выбираем следующий незаконченный курс
* ключевые словы: заносим в базу данных курс + ключевые слова и их вес -> находим курс с самым высоким баллом
* история других пациентов: если 100 человек взяли курс А, а потом 90 из них взяли курс Б и только 10 из низ взяли курс Ю, то челу, который только-что закончил курс А логично предложить курс Б

[Sergunka]

Prediction analytics. У меня даже есть статейка на эту тему со всем по другому печальному поводу кредитные карточки - каково вероятность, что платеж обман.
https://vyatkins.wordpress.com/2020/06/ ... t-and-gbt/

Собственно в статье есть ссылки на классические случаи разбора поведения модели Random Forest (RF) and Gradient Boosted Tree (GBT). Я просто тупо в статье сравниваю их какова там
Как говорится добро пожаловать

Обычно все ламеры после освоения общей теории идут на https://www.kaggle.com/ осваивать горизонты и шестизначные зарплаты

[Гоша Хороший]

Prediction analytics

спасибо

Sergunka, я прочитал 1-е предложение в вашей статье, но половину слов пришлось гуглить. к тому же, мне не нравится слово random, да и dataset у вас уже был готовый, а у меня ничего нет.

нам дают на работе поиграться (но недолго [пока не выгонят]) с тем, что тебе интересно. я выбрал эту задачку хотя ниразу подобными делами не занимался. все с нуля надо делать.

пока план такой: data warehouse -> data -> cube -> query

но хотел начать с конца и ответить на вопрос: какие данные нужны чтобы подобрать следуюший курс? ключевые слова? история? алгоритм?

[Lisa]

Кмк, в данном случае не надо мудрствовать. Создатель курса скорее всего при создании говорит на какую тему он рекомендует следущий курс. А дальше выбирать из имеющихся по, например, рейтингу, или курс того же преподавателя. Можно ещё подгрузить программу универа и посмотреть что там следующее.
Незачем угадывать то, что известно и так.

[Sergunka]

Prediction analytics

спасибо

Sergunka, я прочитал 1-е предложение в вашей статье, но половину слов пришлось гуглить. к тому же, мне не нравится слово random, да и dataset у вас уже был готовый, а у меня ничего нет.

нам дают на работе поиграться (но недолго [пока не выгонят]) с тем, что тебе интересно. я выбрал эту задачку хотя ниразу подобными делами не занимался. все с нуля надо делать.

пока план такой: data warehouse -> data -> cube -> query

но хотел начать с конца и ответить на вопрос: какие данные нужны чтобы подобрать следуюший курс? ключевые слова? история? алгоритм?

Вам надо взять классический разобранный пример гуглить надо по prediction analytics. На самом деле Вам скорее всего нужен курс по задачам классификации + хорошо бы понимать как тренируется модель на выбранном Вами алгоритме и как работает supervised learning vs unsupervised learning.

В Вашем конкретном примере Вы пропускаете многие детали. К прмеру нужно знать возраст и пол так же неплохо знать профессию и опыт работы и тд.

Когда начнете обучать модель, то на тестовых данных сразу будет видно как у модели увеличивается точность при введение нового параметра feature

То что можно построить на простых данных весовую функцию это понятно, но это даже не прошлый век это времена еще до малой теоремы Ферма

[Гоша Хороший]

Кмк, в данном случае не надо мудрствовать. Создатель курса скорее всего при создании говорит на какую тему он рекомендует следущий курс. А дальше выбирать из имеющихся по, например, рейтингу, или курс того же преподавателя. Можно ещё подгрузить программу универа и посмотреть что там следующее.
Незачем угадывать то, что известно и так.

что "не надо мудрствовать" - согласен, да и идея про "курсы того же преподавателя и программу универа" - хорошая. только у нас, похоже, инструкторы в универах не работают и у них максимум 1-2 курса, и они не предлагают курс другого инструктора. ничего не известно, но ваш алгоритм вписывается в мой 1-й - ручная работа (заполнение базы данных)

[Гоша Хороший]

То что можно построить на простых данных весовую функцию это понятно, но это даже не прошлый век это времена еще до малой теоремы Ферма

у нас в компании первобытно-общинный строй в плане AI/ML. мне хотелось бы для начала сделать что-то "простенькое и со вкусом" (тут я согласен с Lisa), а потом дальше думать.

про то как "тренировать модель" - у нас нет никаких данных пока. но будем стараться

[Мальчик-Одуванчик]

То что можно построить на простых данных весовую функцию это понятно, но это даже не прошлый век это времена еще до малой теоремы Ферма

у нас в компании первобытно-общинный строй в плане AI/ML. мне хотелось бы для начала сделать что-то "простенькое и со вкусом" (тут я согласен с Lisa), а потом дальше думать.

про то как "тренировать модель" - у нас нет никаких данных пока. но будем стараться

Самое простое наверное и будет самым оптимальным. Пока что и натренировынные модели предлагают откровенную хрень.
Я как-то взял на udemy курс, который меня не впечатлил, несмотря на кучу хвалебок.
И теперь они постоянно напоминают о себе рекомендациями одна хуже другой.

[tessob]

То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

Там всего два актуальных алгоритма:
1. fp-growth
2. Сингулярное разложение

А predictive analytics - это скорее маркетинговый термин вводящий в заблуждение. Это все равно, что писать сайт на user experience.

[Гоша Хороший]

Самое простое наверное и будет самым оптимальным. Пока что и натренировынные модели предлагают откровенную хрень.
Я как-то взял на udemy курс, который меня не впечатлил, несмотря на кучу хвалебок.
И теперь они постоянно напоминают о себе рекомендациями одна хуже другой.

я тут на Netflix кнопочку заметил, которая сама за тебя фильмы выбирает. несколько раз попользовался, вроде бы ничего - фильмы до конца досмотрел. когда сам выбираешь - по полчаса уходит на выбор, а потом через 5 минут выключаешь.

понял, что фильмы надо активно лайкать, чтобы нетфликс твои интересы изучил, а может еще и дизлайкать. но я этого не делаю, просто останавливаю видео. думаю, нетфликс сам догадается, что мне оно не понравилось

[Гоша Хороший]

То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

значит, я на правильном пути. у нас есть система звездочек для курса, но о студенте знаем только ФИО и email.

коллаборативная фильтрация - звучит романтично

[tessob]

у нас есть система звездочек для курса, но о студенте знаем только ФИО и email

Этого достаточно. Важно, чтобы у значительного числа студентов было выбрано более одного курса. Иначе получится фигня.

[Сабина]

То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

Там всего два актуальных алгоритма:
1. fp-growth
2. Сингулярное разложение

А predictive analytics - это скорее маркетинговый термин вводящий в заблуждение. Это все равно, что писать сайт на user experience.

+1. Это из раздела recommendations systems
https://blog.statsbot.co/recommendation ... 67f39ac9a3

[Lisa]

То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

Там всего два актуальных алгоритма:
1. fp-growth
2. Сингулярное разложение

А predictive analytics - это скорее маркетинговый термин вводящий в заблуждение. Это все равно, что писать сайт на user experience.

Это имеет смысл в случае, когда информация неизвестна и ее надо угадать по косвенным признакам. Например, многие после курса по плетению корзинок берут курс по вышиванию крестиком. А если после курса Алгебра I рекомендуют взять Алгебра II, то тут не надо мудрствовать и приумножать сущности, а надо просто эту информацию собрать, тем более что это совсем несложно сделать.

[Гоша Хороший]

+1. Это из раздела recommendations systems
https://blog.statsbot.co/recommendation ... 67f39ac9a3

спасибо, Сабина! очень доходчиво написано, зачитался и по ссылкам пробежался.

да, похоже, что алгоритмы очевидные и весь вопрос в данных и моделях.

у нас сейчас данные в зачаточном состоянии, но думаю насосать кое-что персональное из Google Analytics и по интересу/ключевым словам предложить 1-й курс, а затем уже и collaborative algorithm включать

[Гоша Хороший]

Это имеет смысл в случае, когда информация неизвестна и ее надо угадать по косвенным признакам. Например, многие после курса по плетению корзинок берут курс по вышиванию крестиком. А если после курса Алгебра I рекомендуют взять Алгебра II, то тут не надо мудрствовать и приумножать сущности, а надо просто эту информацию собрать, тем более что это совсем несложно сделать.

а как предожить 1-й курс и что брать после алгебры 10?

чтобы продать юзеру что-нибудь ненужное надо хоты бы знать его интересы/ключевые слова

[valchkou]

чтобы продать юзеру что-нибудь ненужное надо хоты бы знать его интересы/ключевые слова

у меня в голове созрело 2 простых способа.
1) создатель курса сам определяет последовательность. Возможно есть другие курсы коорые соотв по похожим критериям
2) наиболее популярный курс Б(топ 3) у тех кто взял курс А. Обычный счётчик + граф.

[Lisa]

Это имеет смысл в случае, когда информация неизвестна и ее надо угадать по косвенным признакам. Например, многие после курса по плетению корзинок берут курс по вышиванию крестиком. А если после курса Алгебра I рекомендуют взять Алгебра II, то тут не надо мудрствовать и приумножать сущности, а надо просто эту информацию собрать, тем более что это совсем несложно сделать.

а как предожить 1-й курс и что брать после алгебры 10?

чтобы продать юзеру что-нибудь ненужное надо хоты бы знать его интересы/ключевые слова

У вас классы разрозненные и логически между собой не связанные? Или же части одного или нескольких курсов?

[Сабина]

+1. Это из раздела recommendations systems
https://blog.statsbot.co/recommendation ... 67f39ac9a3

спасибо, Сабина! очень доходчиво написано, зачитался и по ссылкам пробежался.

да, похоже, что алгоритмы очевидные и весь вопрос в данных и моделях.

у нас сейчас данные в зачаточном состоянии, но думаю насосать кое-что персональное из Google Analytics и по интересу/ключевым словам предложить 1-й курс, а затем уже и collaborative algorithm включать

Я тут писала про хороший класс от Стенфорда, он в онлайне, всем доступен сейчас. Из него вы выйдете с готовыми Colab ноутбуками по всем ключевым концепциям ML для бизнеса от одного из лучших data scientists from Google - viewtopic.php?p=7434966#p7434966

Класс стоит 500 что ли, но может вам контора оплатит. Он ещё там приглашает спикеров - NASA, Zillow etc рассказать о текущих проектах

[Гоша Хороший]

У вас классы разрозненные и логически между собой не связанные? Или же части одного или нескольких курсов?

да, курсы все разрозненные и они хостятся на 3rd party server(CMS). у нас нет доступа к этой базе данных (только через admin tool or api). это курсы от разных компаний и даже чтобы найти автора надо парсить текст.

на этой неделе сделал data warehouse, залил туда данные и создал 3 модели на эс-ку-эле модели очень грубые, но у меня была задача : proof of concept. наши манагеры хотели оутсорсить этот проект, но я вызвался все сделать сам, сказал что-то типа "дайте мне автомат и пошлите в горячую точку". по-крайней мере, было интересно работать эти 2 недели, да и манагерам, похоже, результат понравился (хотя, может врут)

если пойдет в продакшн, то модели надо настраивать. у меня модели на SQL и запросы к data warehouse. построил также cube, но пока не вижу смысла с ним работать (и так все быстро). хочется сделать что-то умное, решить систему линейных уравнений, но пока еще не понимаю каких, хотя у меня есть матрица: user-course-enrollment, найти корреляцию - но между чем и чем?

собственно вопрос: если продолжать настраивать модель, то в каком направлении двигаться: SQL, Cube/MDX, C#, Python/R, Neural Networks, ...?

[Гоша Хороший]

но может вам контора оплатит

у нас контора правильная

[Lisa]

У вас классы разрозненные и логически между собой не связанные? Или же части одного или нескольких курсов?

да, курсы все разрозненные и они хостятся на 3rd party server(CMS). у нас нет доступа к этой базе данных (только через admin tool or api). это курсы от разных компаний и даже чтобы найти автора надо парсить текст.

на этой неделе сделал data warehouse, залил туда данные и создал 3 модели на эс-ку-эле модели очень грубые, но у меня была задача : proof of concept. наши манагеры хотели оутсорсить этот проект, но я вызвался все сделать сам, сказал что-то типа "дайте мне автомат и пошлите в горячую точку". по-крайней мере, было интересно работать эти 2 недели, да и манагерам, похоже, результат понравился (хотя, может врут)

если пойдет в продакшн, то модели надо настраивать. у меня модели на SQL и запросы к data warehouse. построил также cube, но пока не вижу смысла с ним работать (и так все быстро). хочется сделать что-то умное, решить систему линейных уравнений, но пока еще не понимаю каких, хотя у меня есть матрица: user-course-enrollment, найти корреляцию - но между чем и чем?

собственно вопрос: если продолжать настраивать модель, то в каком направлении двигаться: SQL, Cube/MDX, C#, Python/R, Neural Networks, ...?

Вам нужно сначала разобраться с методикой, а потом подбирать под нее технологии.
Возможно, можно обойтись простым частотным анализом, те кто брал класс А, также брали классы Б, В, Г. Вы смотрели, там какая-то частотная зависимость?
Вообще, какая цель этого проекта? Увеличить продажи классов?

[Гоша Хороший]

Вам нужно сначала разобраться с методикой, а потом подбирать под нее технологии.
Возможно, можно обойтись простым частотным анализом, те кто брал класс А, также брали классы Б, В, Г. Вы смотрели, там какая-то частотная зависимость?
Вообще, какая цель этого проекта? Увеличить продажи классов?

Lisa, все уже разобрано, подобрано, сделано, реализовано и одобрено менеджерами. вам спасибо за участие.

хотелось бы надеяться, что цель проекта гуманная - помочь юзеру, но похоже, что надо просто "продать что-нибудь ненужное". хотя одно другому не мешает

кароче, как сказал Сергунька (или хотел сказать): "куй железный пока горячий". и тут я с ним абсолютно согласен.

есть у меня "три модели на эс-ку-эле", но на мой взляд - это детский сад. реальные пацаны решают линейные уравнения и ищут корреляцию, а для этого лучше юзать Python or R. отсюда и вопросы.

как настраивать модель? пошлем е-мейлы. кто посмотрел курс и зааплаился - маладец - ставим плюсик (курсу), а кто посмотрел курс и послал лесом - курсу минусик. где-то так

[Lisa]

У меня такое ощущение, что вам просто хочется прикрутить модную технологию, безотносительно реальной необходимости
В таком случае все равно на чем делать, берите то, что вам больше хочется изучить.

[BabkaNaDvoe]

Prediction analytics. У меня даже есть статейка на эту тему со всем по другому печальному поводу кредитные карточки - каково вероятность, что платеж обман.
https://www.azoft.ru/blog/zachem-startapu-nuzhen-mvp/

Собственно в статье есть ссылки на классические случаи разбора поведения модели Random Forest (RF) and Gradient Boosted Tree (GBT). Я просто тупо в статье сравниваю их какова там
Как говорится добро пожаловать

Обычно все ламеры после освоения общей теории идут на https://www.kaggle.com/ осваивать горизонты и шестизначные зарплаты

Спасибо, полезная статья. Стоит ли взять курс по задачам классификации, если я с трудом понял написанное и при том не все?