Самый легкий способ парсинга таблиц с веб-страниц?

perasperaadastra · Post by **perasperaadastra** » 26 Sep 2016 19:45

Посмотрел я на всякие скрипты для питона... ИМХО, это слишком сложно для не-программиста. А бывает что-нибудь попроще, чтобы какой-нибудь журналист-гуманитарий мог использовать? Ну, типа, на примере одной страницы графически показал, как таблицу коцать, а оно дальше само научилось аналогичные веб-страницы обрабатывать? Ну, примерно как с адблоком — там же не нужно указывать код html, который нужно блокировать, а можно просто ткнуть мышью в нужный элемент, и он сам выясняет, что за код скрывается за элементом...

kjfk · Post by **kjfk** » 26 Sep 2016 21:25

Не понимаю. Скопировать таблицу на странице - вставить в эксель же работает?

perasperaadastra · Post by **perasperaadastra** » 26 Sep 2016 22:00

Часто — нет. Но даже когда работает, сделать это для тысяч веб-страниц нереально.

helg · Post by **helg** » 26 Sep 2016 22:49

А таблица рендерится на сервере или на клиенте?

perasperaadastra · Post by **perasperaadastra** » 27 Sep 2016 00:23

Думаю, у клиента. Пользователь получает полноценный файл с таблицей в коде html, который можно сохранить.

Deckel · Post by **Deckel** » 27 Sep 2016 00:40

Wget или curl чтобы скачать. Если там есть < table ></ table >, и единственный, то просто этот кусок выкусить, а потом уже есть куча способов. В том числе и программка готовая наверняка найдётся.

helg · Post by **helg** » 27 Sep 2016 00:42

Уточните свою задачу. На клиенте рендерится - значит tr/td рисует Javascript на клиенте, а не то, что Вы написали.

perasperaadastra · Post by **perasperaadastra** » 27 Sep 2016 01:00

Сорри, не разбираюсь я в этом. Вот, пример. В нем tr/td.
http://www.saratov.vybory.izbirkom.ru/r ... 9&type=233" onclick="window.open(this.href);return false;

helg · Post by **helg** » 27 Sep 2016 01:45

Там есть ссылочка на табличку Excel - вот её и скачайте.

Но вообще-то правильно будет просто найти агрегированные результаты.

perasperaadastra · Post by **perasperaadastra** » 27 Sep 2016 02:26

Это пример. Вопрос о том, есть ли какие-нибудь автоматические способы парсинга для не-прогаммистов.

helg · Post by **helg** » 27 Sep 2016 02:44

Общий рецепт мне неизвестен.

stenking · Post by **stenking** » 27 Sep 2016 03:18

Такое точно есть - я недавно игрался с похожим стартапом так он вытягивал дату любых сайтов через UI ( нужно было кликать и т.д. ) и её можно было скачивать как CSV, Json...

Название в упор не помню

fruit6 · Post by **fruit6** » 27 Sep 2016 15:05

Selenium, etc.

perasperaadastra · Post by **perasperaadastra** » 27 Sep 2016 19:23

О! Точно, я совсем забыл про Selenium, а ведь его предлагали Леониду В по схожему вопросу...

PS С другой стороны, может, мне полезнее разобраться, как парсить в каком-нибудь Питоне? Усилий, конечно, больше, чем в ГУИ, но зато универсальность... Просто в последнее время я все чаще стал сталкиваться с необходимостью сбора инфы из недр интернетов... Надо какой-нибудь курс взять что ли. А то чувствую, пригодится в будущем для работы.

mynameiszb · Post by **mynameiszb** » 27 Sep 2016 20:16

perasperaadastra wrote:С другой стороны, может, мне полезнее разобраться, как парсить в каком-нибудь Питоне?

А вы уверены, что покроете все возможные варианты? Там ведь с этими таблицами народ извращается - верстка, объединенные колонки, зачастую хитрые ребята картинки в качестве "итого" для таблиц применяют. Зоопарк, одним словом.

Привет