как работает это фигня?

[Гоша Хороший]

вот, взял я курс на каком-то ресурсе. закончил его и мне тут же предлагают следующий курс.

как они знают какой следуюший курс мне взять? как работает это фигня и как ее реализовать?

пока выжу 3 идеи:

* ручная работа: заносим в базу данных курс + следуюшие курсы -> выбираем следующий незаконченный курс
* ключевые словы: заносим в базу данных курс + ключевые слова и их вес -> находим курс с самым высоким баллом
* история других пациентов: если 100 человек взяли курс А, а потом 90 из них взяли курс Б и только 10 из низ взяли курс Ю, то челу, который только-что закончил курс А логично предложить курс Б

[Sergunka]

Prediction analytics. У меня даже есть статейка на эту тему со всем по другому печальному поводу кредитные карточки - каково вероятность, что платеж обман.
https://vyatkins.wordpress.com/2020/06/ ... t-and-gbt/

Собственно в статье есть ссылки на классические случаи разбора поведения модели Random Forest (RF) and Gradient Boosted Tree (GBT). Я просто тупо в статье сравниваю их какова там
Как говорится добро пожаловать

Обычно все ламеры после освоения общей теории идут на https://www.kaggle.com/ осваивать горизонты и шестизначные зарплаты

[Гоша Хороший]

Prediction analytics

спасибо

Sergunka, я прочитал 1-е предложение в вашей статье, но половину слов пришлось гуглить. к тому же, мне не нравится слово random, да и dataset у вас уже был готовый, а у меня ничего нет.

нам дают на работе поиграться (но недолго [пока не выгонят]) с тем, что тебе интересно. я выбрал эту задачку хотя ниразу подобными делами не занимался. все с нуля надо делать.

пока план такой: data warehouse -> data -> cube -> query

но хотел начать с конца и ответить на вопрос: какие данные нужны чтобы подобрать следуюший курс? ключевые слова? история? алгоритм?

[Lisa]

Кмк, в данном случае не надо мудрствовать. Создатель курса скорее всего при создании говорит на какую тему он рекомендует следущий курс. А дальше выбирать из имеющихся по, например, рейтингу, или курс того же преподавателя. Можно ещё подгрузить программу универа и посмотреть что там следующее.
Незачем угадывать то, что известно и так.

[Sergunka]

Prediction analytics

спасибо

Sergunka, я прочитал 1-е предложение в вашей статье, но половину слов пришлось гуглить. к тому же, мне не нравится слово random, да и dataset у вас уже был готовый, а у меня ничего нет.

нам дают на работе поиграться (но недолго [пока не выгонят]) с тем, что тебе интересно. я выбрал эту задачку хотя ниразу подобными делами не занимался. все с нуля надо делать.

пока план такой: data warehouse -> data -> cube -> query

но хотел начать с конца и ответить на вопрос: какие данные нужны чтобы подобрать следуюший курс? ключевые слова? история? алгоритм?

Вам надо взять классический разобранный пример гуглить надо по prediction analytics. На самом деле Вам скорее всего нужен курс по задачам классификации + хорошо бы понимать как тренируется модель на выбранном Вами алгоритме и как работает supervised learning vs unsupervised learning.

В Вашем конкретном примере Вы пропускаете многие детали. К прмеру нужно знать возраст и пол так же неплохо знать профессию и опыт работы и тд.

Когда начнете обучать модель, то на тестовых данных сразу будет видно как у модели увеличивается точность при введение нового параметра feature

То что можно построить на простых данных весовую функцию это понятно, но это даже не прошлый век это времена еще до малой теоремы Ферма

[Гоша Хороший]

Кмк, в данном случае не надо мудрствовать. Создатель курса скорее всего при создании говорит на какую тему он рекомендует следущий курс. А дальше выбирать из имеющихся по, например, рейтингу, или курс того же преподавателя. Можно ещё подгрузить программу универа и посмотреть что там следующее.
Незачем угадывать то, что известно и так.

что "не надо мудрствовать" - согласен, да и идея про "курсы того же преподавателя и программу универа" - хорошая. только у нас, похоже, инструкторы в универах не работают и у них максимум 1-2 курса, и они не предлагают курс другого инструктора. ничего не известно, но ваш алгоритм вписывается в мой 1-й - ручная работа (заполнение базы данных)

[Гоша Хороший]

То что можно построить на простых данных весовую функцию это понятно, но это даже не прошлый век это времена еще до малой теоремы Ферма

у нас в компании первобытно-общинный строй в плане AI/ML. мне хотелось бы для начала сделать что-то "простенькое и со вкусом" (тут я согласен с Lisa), а потом дальше думать.

про то как "тренировать модель" - у нас нет никаких данных пока. но будем стараться

[Мальчик-Одуванчик]

То что можно построить на простых данных весовую функцию это понятно, но это даже не прошлый век это времена еще до малой теоремы Ферма

у нас в компании первобытно-общинный строй в плане AI/ML. мне хотелось бы для начала сделать что-то "простенькое и со вкусом" (тут я согласен с Lisa), а потом дальше думать.

про то как "тренировать модель" - у нас нет никаких данных пока. но будем стараться

Самое простое наверное и будет самым оптимальным. Пока что и натренировынные модели предлагают откровенную хрень.
Я как-то взял на udemy курс, который меня не впечатлил, несмотря на кучу хвалебок.
И теперь они постоянно напоминают о себе рекомендациями одна хуже другой.

[tessob]

То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

Там всего два актуальных алгоритма:
1. fp-growth
2. Сингулярное разложение

А predictive analytics - это скорее маркетинговый термин вводящий в заблуждение. Это все равно, что писать сайт на user experience.

[Гоша Хороший]

Самое простое наверное и будет самым оптимальным. Пока что и натренировынные модели предлагают откровенную хрень.
Я как-то взял на udemy курс, который меня не впечатлил, несмотря на кучу хвалебок.
И теперь они постоянно напоминают о себе рекомендациями одна хуже другой.

я тут на Netflix кнопочку заметил, которая сама за тебя фильмы выбирает. несколько раз попользовался, вроде бы ничего - фильмы до конца досмотрел. когда сам выбираешь - по полчаса уходит на выбор, а потом через 5 минут выключаешь.

понял, что фильмы надо активно лайкать, чтобы нетфликс твои интересы изучил, а может еще и дизлайкать. но я этого не делаю, просто останавливаю видео. думаю, нетфликс сам догадается, что мне оно не понравилось

[Гоша Хороший]

То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

значит, я на правильном пути. у нас есть система звездочек для курса, но о студенте знаем только ФИО и email.

коллаборативная фильтрация - звучит романтично

[tessob]

у нас есть система звездочек для курса, но о студенте знаем только ФИО и email

Этого достаточно. Важно, чтобы у значительного числа студентов было выбрано более одного курса. Иначе получится фигня.

[Сабина]

То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

Там всего два актуальных алгоритма:
1. fp-growth
2. Сингулярное разложение

А predictive analytics - это скорее маркетинговый термин вводящий в заблуждение. Это все равно, что писать сайт на user experience.

+1. Это из раздела recommendations systems
https://blog.statsbot.co/recommendation ... 67f39ac9a3

[Lisa]

То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

Там всего два актуальных алгоритма:
1. fp-growth
2. Сингулярное разложение

А predictive analytics - это скорее маркетинговый термин вводящий в заблуждение. Это все равно, что писать сайт на user experience.

Это имеет смысл в случае, когда информация неизвестна и ее надо угадать по косвенным признакам. Например, многие после курса по плетению корзинок берут курс по вышиванию крестиком. А если после курса Алгебра I рекомендуют взять Алгебра II, то тут не надо мудрствовать и приумножать сущности, а надо просто эту информацию собрать, тем более что это совсем несложно сделать.

[Гоша Хороший]

+1. Это из раздела recommendations systems
https://blog.statsbot.co/recommendation ... 67f39ac9a3

спасибо, Сабина! очень доходчиво написано, зачитался и по ссылкам пробежался.

да, похоже, что алгоритмы очевидные и весь вопрос в данных и моделях.

у нас сейчас данные в зачаточном состоянии, но думаю насосать кое-что персональное из Google Analytics и по интересу/ключевым словам предложить 1-й курс, а затем уже и collaborative algorithm включать