Самый легкий способ парсинга таблиц с веб-страниц?

perasperaadastra · Post by **perasperaadastra** » 26 Sep 2016 19:45

Посмотрел я на всякие скрипты для питона... ИМХО, это слишком сложно для не-программиста. А бывает что-нибудь попроще, чтобы какой-нибудь журналист-гуманитарий мог использовать? Ну, типа, на примере одной страницы графически показал, как таблицу коцать, а оно дальше само научилось аналогичные веб-страницы обрабатывать? Ну, примерно как с адблоком — там же не нужно указывать код html, который нужно блокировать, а можно просто ткнуть мышью в нужный элемент, и он сам выясняет, что за код скрывается за элементом...

kjfk · Post by **kjfk** » 26 Sep 2016 21:25

Не понимаю. Скопировать таблицу на странице - вставить в эксель же работает?

perasperaadastra · Post by **perasperaadastra** » 26 Sep 2016 22:00

Часто — нет. Но даже когда работает, сделать это для тысяч веб-страниц нереально.

helg · Post by **helg** » 26 Sep 2016 22:49

А таблица рендерится на сервере или на клиенте?

perasperaadastra · Post by **perasperaadastra** » 27 Sep 2016 00:23

Думаю, у клиента. Пользователь получает полноценный файл с таблицей в коде html, который можно сохранить.

Deckel · Post by **Deckel** » 27 Sep 2016 00:40

Wget или curl чтобы скачать. Если там есть < table ></ table >, и единственный, то просто этот кусок выкусить, а потом уже есть куча способов. В том числе и программка готовая наверняка найдётся.

helg · Post by **helg** » 27 Sep 2016 00:42

Уточните свою задачу. На клиенте рендерится - значит tr/td рисует Javascript на клиенте, а не то, что Вы написали.

perasperaadastra · Post by **perasperaadastra** » 27 Sep 2016 01:00

Сорри, не разбираюсь я в этом. Вот, пример. В нем tr/td.
http://www.saratov.vybory.izbirkom.ru/r ... 9&type=233" onclick="window.open(this.href);return false;

helg · Post by **helg** » 27 Sep 2016 01:45

Там есть ссылочка на табличку Excel - вот её и скачайте.

Но вообще-то правильно будет просто найти агрегированные результаты.

perasperaadastra · Post by **perasperaadastra** » 27 Sep 2016 02:26

Это пример. Вопрос о том, есть ли какие-нибудь автоматические способы парсинга для не-прогаммистов.

helg · Post by **helg** » 27 Sep 2016 02:44

Общий рецепт мне неизвестен.

stenking · Post by **stenking** » 27 Sep 2016 03:18

Такое точно есть - я недавно игрался с похожим стартапом так он вытягивал дату любых сайтов через UI ( нужно было кликать и т.д. ) и её можно было скачивать как CSV, Json...

Название в упор не помню

fruit6 · Post by **fruit6** » 27 Sep 2016 15:05

Selenium, etc.

perasperaadastra · Post by **perasperaadastra** » 27 Sep 2016 19:23

О! Точно, я совсем забыл про Selenium, а ведь его предлагали Леониду В по схожему вопросу...

PS С другой стороны, может, мне полезнее разобраться, как парсить в каком-нибудь Питоне? Усилий, конечно, больше, чем в ГУИ, но зато универсальность... Просто в последнее время я все чаще стал сталкиваться с необходимостью сбора инфы из недр интернетов... Надо какой-нибудь курс взять что ли. А то чувствую, пригодится в будущем для работы.

mynameiszb · Post by **mynameiszb** » 27 Sep 2016 20:16

perasperaadastra wrote:С другой стороны, может, мне полезнее разобраться, как парсить в каком-нибудь Питоне?

А вы уверены, что покроете все возможные варианты? Там ведь с этими таблицами народ извращается - верстка, объединенные колонки, зачастую хитрые ребята картинки в качестве "итого" для таблиц применяют. Зоопарк, одним словом.

perasperaadastra · Post by **perasperaadastra** » 27 Sep 2016 21:38

Само собой, трудности будут. Но я все же решил посмотреть в сторону beautifulsoup на питоне — вдруг пойдет?

Albert_al · Post by **Albert_al** » 28 Sep 2016 00:07

Если уж питон, то scrapy

perasperaadastra · Post by **perasperaadastra** » 28 Sep 2016 01:58

Пишут, что вроде как bs попроще/полегче.

perasperaadastra · Post by **perasperaadastra** » 29 Sep 2016 02:55

Какой-то beautifulsoup странный. У меня структура страницы вот такая:
<body>
<table>...#1</table>
<table>...#2</table>
<table>...#3</table>
<table>...#4</table>
</body>

Делаю так: len(ДОКУМЕНТ.find('body').find_all('table', recursive=False))
и получаю 1, хотя должно быть 4

Если убрать 'recursive=False' то находятся все тэги, но там проблема в том что ищутся еще и внуки, правнуки и т.д.(в документе имеются вложенные тэги таблицы). Поскольку мне нужны только дети <body>, то нужен запрет рекурсии. Но почему он тогда находит только одного ребенка, когда их должно быть четыре???

Прикрепляю скриншот дерева документа. Как вы считаете, я прав, что там детей 'body' с тэгом 'table' больше одного? Или это я ослеп?

beautifulsoup.png

UPD

Кажется, я понял в чем дело. Тэг <link href="header/66/66.css" rel="stylesheet" type="text/css"> перед вторым тэгом таблицы не закрывается (</...>), поэтому bs считает, что второй тэг таблицы уже не ребенок, а внук по отношению к <body>

Вот как так, а?

Flash-04 · Post by **Flash-04** » 29 Sep 2016 16:43

TC - учи албанский Python!

helg · Post by **helg** » 29 Sep 2016 16:49

perasperaadastra wrote:Кажется, я понял в чем дело. Тэг <link href="header/66/66.css" rel="stylesheet" type="text/css"> перед вторым тэгом таблицы не закрывается (</...>), поэтому bs считает, что второй тэг таблицы уже не ребенок, а внук по отношению к <body>

Это валидный HTML4, и программа, если она претендует на универсальность, должна такое понимать.

ALV00 · Post by **ALV00** » 29 Sep 2016 18:57

ЕМНИП линку не положено иметь закрывающий тег. Может просто вычистить ненужные теги для начала?

fruit6 · Post by **fruit6** » 29 Sep 2016 20:22

Flash-04 wrote:TC - учи албанский Python!

если выучить китайский HTML, то не понадобится Python

perasperaadastra · Post by **perasperaadastra** » 30 Sep 2016 01:14

helg wrote:
perasperaadastra wrote:Кажется, я понял в чем дело. Тэг <link href="header/66/66.css" rel="stylesheet" type="text/css"> перед вторым тэгом таблицы не закрывается (</...>), поэтому bs считает, что второй тэг таблицы уже не ребенок, а внук по отношению к <body>
Это валидный HTML4, и программа, если она претендует на универсальность, должна такое понимать.

Вот и я так подумал, но что-то здесь сбивает парсер с толку. Я почитал интернеты и прямо вот-такого не нашел, но люди жалуются со схожими проблемами неправильной трактовки вложенных тегов. Как я понял, можно добавить в парсер свои правила, чтобы исправлять проблемы, но мне кажется, что в такой элементарном случае это должно работать без моего вмешательства.

ALV00 wrote:ЕМНИП линку не положено иметь закрывающий тег. Может просто вычистить ненужные теги для начала?

Хорошая мысль, но, увы, мне нужны будут некоторые ссылки в документе.

В принципе, этот баг не помешал мне выцарапать таблицу — просто пришлось искать нужный тэг через рекурсивный поиск. Перебором нашел, что это 8й элемент в списке. Можно было вообще не мучаться с позиционированием относительно корня, а сразу искать тэг таблицы с нужными свойствами (пожалуй, это было бы надежнее).

В общем, у меня получилось сделать довольно уродский скрипт, который работает. Конечно, потратил на все это дело уже часов 10, но по крайней мере, узнал что-то на будущее.

Flash-04 wrote:TC - учи албанский Python!

Так, вроде, этим и занимаюсь. Етот beautifulsoup для Змеюки и есть.

Flash-04 · Post by **Flash-04** » 30 Sep 2016 05:41

Вот и отлично

Привет