Python libraries for Questions Tree aka CS script

User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Python libraries for Questions Tree aka CS script

Post by kyk »

Братья и сЕстры, программёры и сочувствующие:

40% моих рабочих обязанностей состоит in answering customers questions and inquiries (не face-to-face или Zoom, а письменно, в асинхронном режиме). Cвои вопросы кастомеры присылают на мой рабочий email (Microsoft Outlook Online, в облаке работодателя).

Нередко, эти 40% занимают 120% моего времени (тогда сижу без выходных, проходных и личной жизни).

70% этих вопросов -из разряда frequently asked questions, т.е. ответы на них -- это copy-paste или URL ссылки.
Остальные 30% требуют дополнительной информации от кастомера, иногда один-два вопроса, иногда несколько вопросов, причём каждый следущий вопрос зависит от ответа на предыдущий вопрос. Для автоматизации ответов на такие вопросы можно использовать что-то вроде questions tree /graph, где переход к следующему node просиходит на основании соотвествующего вопроса. Иногда это называют "customer service script."

Моё текущее IT решение работает так:
Сustomer присылает email на мой рабочий email и получает autoreply c ответами на 5 наиболее частых вопросов и с url-ссылкой на мою Qualtrics form https://www.qualtrics.com/core-xm/survey-software/
Сustomer заполняет Qualtrics form, часть вопросов в этой форме постоянна и обязтельна, а другие вопросы -- conditional , в соответствии с вышеупомянутым questions tree /graph

Qualtrics-сервис оплачивает мой работодатель (не лично для меня, а для всей организации), но никакого иного cуппорта у меня нет, вопросы задаю на форуме https://community.qualtrics.com/XMcommu ... per-corner

Недавно, по своей иницыативе, я получил Qualtrics API access (token). Вот тут детали: Qualtrics API Quick Start. Они там про какие-то 'Postman' и 'cURL' пишут.

Теперь хочу расширить функционал моего questions tree /graph с помощью Питона, т.е. как-то интегрировать это в Qualtrics form. Питон до сих пор не изучал, а тут как раз будет стимул.

Всё делаю сам, на коленке, в свободное от основных рабочих обязанностей время. Работодатель смотрит сквозь пальцы, не мешает, но и не помогает. Для работатодателя лишь важно чтобы кастомеры не жаловались, что на их вопросы плохо или грубо отвечают. Работодатель был не слишком рад, когда я (вместо переписьки с ними по email) стал вынуждать кастомеров заполнять Qualtrics form, но вроде как "проглотил", во всяком случае, если кастомеры не жалуются.

В каком то-смысле это будет похоже на 'умного бота'. Есть ли готовые решения или библиотеки на Питоне для моего questions tree /graph?

Цель всего проекта - максимально автоматизировать ответы на вопросы и снизить моё время, затраченное на такие ответы, в том числе, ответы на тупые или наглые вопросы, которые очень раздражают, в том числе, к примеру, вопросы от иммигрантов-индусов и сомалийцев (которым, статистически, на всё и на всех насрать). Но благодарности от работодателя я за это не получу, ему пофигу. Прибавки к жалованию тоже не дадут. Но хоть Питон изучу :mrgreen:
С другой стороны, инвестировать в этот проект слишком много времени и сил мне тоже смысла нет.

Цель - 90%+ вопросов отвечать полностью в автоматическом режиме, без моего личного участия, without me being even aware. Естественно, я буду должен программировать и периодически дополнять questions tree /graph -- типа обучать бота :mrgreen:

Естественно, что до 10% вопросов будут требовать моего личного вдумчивого ответа руками, включая back-in-forth перепиську с этими кастомерами по email. Моя задача отсечь от моего личного отвечания руками (т.е. автоматизировать ответы) остальные 90+%.
Last edited by kyk on 26 Jun 2021 14:04, edited 51 times in total.
Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:
User avatar
Komissar
Уже с Приветом
Posts: 65204
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: AI Bot, questions tree /graph, Python libraries

Post by Komissar »

Ты же вроде академик... или ты студней кастомерами называешь?
User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Re: AI Bot, questions tree /graph, Python libraries

Post by kyk »

Komissar wrote: 26 Jun 2021 06:24Ты же вроде академик... или ты студней кастомерами называешь?
"Чукча - по чётный - академик, а по нечётный - оленей пасу" :mrgreen:

Точнее, Academic Advisor. Причём эта роль принципиально отличается от роли 'Course instructor'/'Professor' именно тем, что это Academic Advisor - это именно "Сustomer Service""
Last edited by kyk on 26 Jun 2021 14:05, edited 7 times in total.
Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:
User avatar
Komissar
Уже с Приветом
Posts: 65204
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: AI Bot, questions tree /graph, Python libraries

Post by Komissar »

Я ещё застал время когда question tree называли expert system

А сейчас модно называть АI хотя это лишь набор if/then statements
User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Python libraries for Questions Tree aka CS script

Post by kyk »

......
Last edited by kyk on 26 Jun 2021 12:25, edited 1 time in total.
Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:
User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Re: Python libraries for Questions Tree aka CS script

Post by kyk »

Komissar wrote: 26 Jun 2021 06:29Я ещё застал время когда question tree называли expert systemА сейчас модно называть АI хотя это лишь набор if/then statements
называй хоть горшком, только в печь не лож_ь/и :mrgreen:

Поможет ли мне Питон и есть ли готовые Python libraries, в какую сторону глядеть после "Hello World" ?
Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Python libraries for Questions Tree aka CS script

Post by iDesperado »

kyk wrote: 26 Jun 2021 12:24 Поможет ли мне Питон и есть ли готовые Python libraries, в какую сторону глядеть после "Hello World" ?
волшебная либа называется TensorFlow, там что-то типа Decision Tree, Random Forest наверно смотреть. но что-то я сомневаюсь, что хватит у вас данных для обучения модели.
null
Уже с Приветом
Posts: 2997
Joined: 09 Jul 2001 09:01

Re: Python libraries for Questions Tree aka CS script

Post by null »

kyk wrote: 26 Jun 2021 06:13 Нередко, эти 40% занимают 120% моего времени (тогда сижу без выходных, проходных и личной жизни).
а что если тратить только 100% времени, а неотвеченное складывать в кучу? рабочей силы не подкинут?
User avatar
Komissar
Уже с Приветом
Posts: 65204
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Python libraries for Questions Tree aka CS script

Post by Komissar »

iDesperado wrote: 26 Jun 2021 18:32
kyk wrote: 26 Jun 2021 12:24 Поможет ли мне Питон и есть ли готовые Python libraries, в какую сторону глядеть после "Hello World" ?
волшебная либа называется TensorFlow, там что-то типа Decision Tree, Random Forest наверно смотреть. но что-то я сомневаюсь, что хватит у вас данных для обучения модели.
TF это для умных типа сетей, а здесь просто if-then
User avatar
Komissar
Уже с Приветом
Posts: 65204
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: AI Bot, questions tree /graph, Python libraries

Post by Komissar »

kyk wrote: 26 Jun 2021 06:25
Komissar wrote: 26 Jun 2021 06:24Ты же вроде академик... или ты студней кастомерами называешь?
"Чукча - по чётный - академик, а по нечётный - оленей пасу" :mrgreen:

Точнее, Academic Advisor. Причём эта роль принципиально отличается от роли 'Course instructor'/'Professor' именно тем, что это Academic Advisor - это именно "Сustomer Service""
вся работа, получается, на тебе...

слушай, а в этом qualtrix можно химические формулы показывать?
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Python libraries for Questions Tree aka CS script

Post by iDesperado »

Komissar wrote: 26 Jun 2021 19:31
TF это для умных типа сетей, а здесь просто if-then
это скармливаешь датасет и получаешь модель с тучей if-then. Random Forest оно и есть.
User avatar
Komissar
Уже с Приветом
Posts: 65204
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Python libraries for Questions Tree aka CS script

Post by Komissar »

iDesperado wrote: 26 Jun 2021 20:08
Komissar wrote: 26 Jun 2021 19:31
TF это для умных типа сетей, а здесь просто if-then
это скармливаешь датасет и получаешь модель с тучей if-then. Random Forest оно и есть.
ну тогда это не ИИ, а экспертная система
User avatar
Komissar
Уже с Приветом
Posts: 65204
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Python libraries for Questions Tree aka CS script

Post by Komissar »

а можно из любопытства посмотреть какие 5 ответов в авто-ответе? Можно в ЛС.
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Python libraries for Questions Tree aka CS script

Post by iDesperado »

Komissar wrote: 26 Jun 2021 20:20 ну тогда это не ИИ, а экспертная система
не знаю что такое ИИ. это ML, алгоритм обучается на train датасете, проверяет результат по test датасету.
dama123
Уже с Приветом
Posts: 742
Joined: 08 Apr 2021 01:54

Re: Python libraries for Questions Tree aka CS script

Post by dama123 »

iDesperado wrote: 26 Jun 2021 18:32
kyk wrote: 26 Jun 2021 12:24 Поможет ли мне Питон и есть ли готовые Python libraries, в какую сторону глядеть после "Hello World" ?
волшебная либа называется TensorFlow, там что-то типа Decision Tree, Random Forest наверно смотреть. но что-то я сомневаюсь, что хватит у вас данных для обучения модели.
TensorFlow -это deep learning. Никаких if else там нет. Просто использовать deep learning в лоб, наверное, не выйдет. Deep learning для нужд NLP занимается примерно миллион настояших ученых.

Нужно использовать полуфабрикаты. Гугление дает:
Alterra.ai
boost.ai
User avatar
Komissar
Уже с Приветом
Posts: 65204
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Python libraries for Questions Tree aka CS script

Post by Komissar »

kyk, а в qualtrix'e у них все ответы на вопросы - multiple choice или есть free-type?
User avatar
Komissar
Уже с Приветом
Posts: 65204
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Python libraries for Questions Tree aka CS script

Post by Komissar »

Снежная Королева wrote: 27 Jun 2021 00:14 Как дата сайентист со стажем, если человек не знает питона, то до внедрения любой самой простой модели (не говоря уже о tensorflow) пройдёт много месяцев или лет.
а на джаве будет быстрее?
city_girl
Уже с Приветом
Posts: 37504
Joined: 09 Jun 2010 15:58
Location: LT-RU-NY

Re: Python libraries for Questions Tree aka CS script

Post by city_girl »

Так вот кто плодит ботов-идиотов! Сейчас все эти автоматизированные системы вопрос-ответов приведены к тому, что собрана куча стандартных вопросов-ответов, которые задают в основном полные кретины. А когда у нормального человека действительно возникает вопрос, то получить ответ все более и более сложно.

Я понимаю, что надо освободить customer service от потока кретинских и самых примитивных вопросов. Но такое впечатление что это стало главной целью, похоронив все остальное
User avatar
Komissar
Уже с Приветом
Posts: 65204
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Python libraries for Questions Tree aka CS script

Post by Komissar »

city_girl wrote: 27 Jun 2021 00:50 Так вот кто плодит ботов-идиотов! Сейчас все эти автоматизированные системы вопрос-ответов приведены к тому, что собрана куча стандартных вопросов-ответов, которые задают в основном полные кретины. А когда у нормального человека действительно возникает вопрос, то получить ответ все более и более сложно.

Я понимаю, что надо освободить customer service от потока кретинских и самых примитивных вопросов. Но такое впечатление что это стало главной целью, похоронив все остальное
вот когда профессор kyk покажет примеры вопросов, будет ясно, что у него не бот-идиот.
User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Re: Python libraries for Questions Tree aka CS script

Post by kyk »

null wrote: 26 Jun 2021 18:41а что если тратить только 100% времени, а неотвеченное складывать в кучу? рабочей силы не подкинут?
если просто пассивно складывать в кучу, то "освободят от занимаемой должности с занесением в личное дело, что не справился с поставленной задачей".

Задача должна быть выполена и customer должен быть happy (continuously, without interruption). При этом, одновременно можно пытаться активно пробивать изменения условий труда или организации бизнес-процесса, но без ущерба для кастомеров. Но такое пробивание может быть чревато когда тебе 50+
Last edited by kyk on 27 Jun 2021 03:24, edited 3 times in total.
Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:
User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Re: Python libraries for Questions Tree aka CS script

Post by kyk »

dama123 wrote: 26 Jun 2021 20:46 Нужно использовать полуфабрикаты. Гугление дает:
Alterra.ai
boost.ai
Cпасибо, хорошо бы ещё first-hand experience
Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:
User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Re: Python libraries for Questions Tree aka CS script

Post by kyk »

Komissar wrote: 27 Jun 2021 00:44kyk, а в qualtrix'e у них все ответы на вопросы - multiple choice или есть free-type?
есть разные типы вопросов, в этом смысле Qualtrics - штука весьма гибкая, она же под это заточена
Плюс там можно вставлять custom code на JS
Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:
User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Re: Python libraries for Questions Tree aka CS script

Post by kyk »

Снежная Королева wrote: 27 Jun 2021 00:14Я имплементировала такой chat bot на работе, тоже нет данных, поэтому уже 2 года бот работает на основании if then statements, при этом покрывает 50% запросов.
Какие Python libraries Вы использовали?
Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:
User avatar
Komissar
Уже с Приветом
Posts: 65204
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Python libraries for Questions Tree aka CS script

Post by Komissar »

kyk wrote: 27 Jun 2021 03:19
Komissar wrote: 27 Jun 2021 00:44kyk, а в qualtrix'e у них все ответы на вопросы - multiple choice или есть free-type?
есть разные типы вопросов, в этом смысле Qualtrics - штука весьма гибкая, она же под это заточена
Плюс там можно вставлять custom code на JS
понятно, что в самом квалтриксе можно и главу из войны-и-мира забубухать в виде ответа, но decision-tree вряд ли будет заточено под парсинг длинного free-typed текста. Вот ты планируешь делать if-then под multiple choice И односложные ответы, или только под мульти-выбор?
User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Re: Python libraries for Questions Tree aka CS script

Post by kyk »

Есть ещё один неприятный момент. Все результы моего труда, все мои if then rules и content, который надо выдавать кастомерам, хранится на cервере Qualtrics. Это почти 2 года моего труда печатания 3мя пальцами.

Если Qualtrics перестанет существовать или моя организация откажется от их услуг, то мой 2х-летний труд пропадёт и я вряд ли смогу выудить if then rules и content с их сервера.

Qualtrics uses <.qsf> (Qualtrics Survey File) to export/import surveys, this is proprietary format, probably XML-based.
The size of <.qsf> file for my survey is 800kb.

Можно ли малой кровью перенести результаты моего труда с Qualtrics на другую платформу? Поможет ли Питон?

gist.github.com => ctesta01

Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:

Return to “Вопросы и новости IT”