Python Pandas vs R

[perasperaadastra]

Такой вопрос: имеет ли смысл переходить с R на Питон с пандами? Я потратил время на изучение R, набрал кучу шаблонов и привык к синтаксису. Но у R есть значительные недостатки: 1) iterations are discouraged; 2) кроме анализа данных на R ничего сделать нельзя. Питон же универсален. В нем можно организовать не только анализ, но и сбор данных с разветвлениями для различных сценариев.

[iDesperado]

Такой вопрос: имеет ли смысл переходить с R на Питон с пандами? Я потратил время на изучение R, набрал кучу шаблонов и привык к синтаксису. Но у R есть значительные недостатки: 1) iterations are discouraged; 2) кроме анализа данных на R ничего сделать нельзя. Питон же универсален. В нем можно организовать не только анализ, но и сбор данных с разветвлениями для различных сценариев.

сейчас модно их вместе на каком-нибудь databriks cloud юзать через spark фреймворк.

[flip_flop]

В моих задачах (где анализ данных вспомогателен, хотя и важен) я никогда не пользовался R, лет эдак за 30. Обходился Матлабом, недавно перешёл на Питон с Pandas + другие пакеты (типа DOE, Pareto, etc.). Сейчас осваиваю Julia для HPC. Мне не совсем понятна область предпочтительного применения R, ну кроме исторических мотивов (типа: учили же, все настоящие статистики используют, и т.д.).

Питон - да, наиболее универсален.

[Flash-04]

Круто

[perasperaadastra]

в R я лично делаю все. Начиная от ETL pipeline и заканчивая web development. Меня жизнь заставила очень хорошо выучить R, и все остальное теперь раздражает.

Я вас понимаю. Сам смотрю на Питон/Панды с сомнением. Хоть я и не часто пользуюсь R, но уже привык. На Пандах нужно начинать с нуля. Но именно потому, что нечасто пользуюсь R, я и задумываюсь о переходе на Питон, пока есть возможность..

[flip_flop]

Удобство R для академиков в том, что абсолютно все можно делать в одном R-Studio, начиная от сбора данных, анализа, моделей и написания научных статей и книг. И всегда можно быть уверенным, что если вышла статья на интересующую тему, то будет пакет в R написан, в не в Питоне. И все вокруг будут знать R.

Если вам надо для работы в индустрии, то можно и Питон.

Наверное так, но с малым уточнением - для статистиков/даталогов академиков, а не академиков вообще. Я в бытность свою академиком, абсолютно всё делал в Матлабе. Включая вполне развитый тоолбокс для статистики. Сейчас многие академики перешли на Питон с соответствующими пакетами. Но статистики твёрдо остаются верны R - языком, написанном статистиками для статистиков.

[flip_flop]

R также в social sciences популярен.

Странно. Но, как бы то ни было, Питон имеет гораааздо большую базу пользователей, в той же академии.

Матлаб для академии как то странно, учитывая стоимость пакетов.

Для академии/студентов у Mathworks сущствнные скидки. У меня был вполне обеспеченный факультет и мне и подороже покупали, если надо было.

Про развитый toolbox для статистики, не делайте мне смешно. Я сейчас делаю очень простой research thesis, беру существующую библиотеку, смотрю source code (C), переписываю и добавляю фичи и назад компилирую эту же библиотеку, но уже с перламутровыми пуговицами. Я теперь R developer В матлабе такое в принципе невозможно, т.к. proprietary software.

Мне вполне хватало стандартных возможностей statistical toolbox. Ну не для разработчиков - переделывателей R а для практических задач. Интерфейс с С/С++ реализован через MEX, есть ещё компиллятор и генераторы С кода. Но сами функции тоолбоксов проприетарные и закрытые, это да.

А вообще - и R и Python и Matlab - ветхое старьё Скоро взлетит Julia.

[flip_flop]

Но статистики твёрдо остаются верны R - языком, написанном статистиками для статистиков.

Неудивительно, потому что R - open source Только Python может сравниться, тоже open source.

Есть ещё много других open source, не толко Python. Octave, Scilab, Julia, etc.

Matlab, SAS, SPSS для резерча вообще не подходят. Fortran, и особенно C (сейчас чаще C++ ) почти везде используется Для резерва, но только как встроенные функции в обёртке R пакетов. Чтобы не нарушать экосистему.

To же самое верно и для Python и для Julia ( в ней наиболее элегантно) и для многих других.

[+KPOT+]

Я сейчас делаю очень простой research thesis, беру существующую библиотеку, смотрю source code (C), переписываю и добавляю фичи и назад компилирую эту же библиотеку, но уже с перламутровыми пуговицами. Я теперь R developer

[perasperaadastra]

А вообще - и R и Python и Matlab - ветхое старьё Скоро взлетит Julia.

Или эмир, или ишак...

[flip_flop]

Вот, интересная статистика по штатам.

Как там оно в Канаде и в Австралии - не знаю.

[perasperaadastra]

А вот что такое SAS? На вебсайте там много разных продуктов... Там есть что-то, что заменяет R с его библиотеками?

[notknown]

А вот что такое SAS? На вебсайте там много разных продуктов... Там есть что-то, что заменяет R с его библиотеками?

Я могу только сказать что мой непосредственный начальник натренированный на SAS и его дразнят R-товарищи что он отстал от времени. И к тому же SAS - дорогой, как и MATLAB

[notknown]

На самом деле все это неважно. Что команда ваша использует, то и вы будете использовать.

Сермяжная Правда.

[flip_flop]

И вообще.

Прочитайте reddit/datascience post

"I hire data scientists - this is the stuff this forum doesn't discuss enough...:"

После этого прочитайте все посты kindasortadata.

This has changed my life

Совет perasperaadastra, как я понимаю ? Глобальный такой "вообще" совет. "Нет, вы поезжайте, поезжайте в Киев, и спросите о Паниковском"

Reddit имеет несколько сомнительную репутацию.

Можно своими словами, для не датологов, но где-то рядом, которые читать вышеотмеченное не будут, но интересуются?

Если про то, что знание предметной области является первичным и выбор средств вторичен - это понятно.