Яндекс Лабс в Palo Alto набирает С++ developers

[crypto5]

Проще взять БД кассандра, которая делает именно это ))

На инженерную позицию такой ответ совершенно не годится, на архитекторско-менеджерскую разве что.

Экак вы за все конторы на свете расписались ))

[crypto5]

Так на основании сказанного Берлагой им как раз пофиг были инструментарии, хотели понять как человек будет думать или я чего недопоняла ?

Инструментарий всем пофиг, с сеньорского уровня примерно. Не знает - научится, если не дурак. А дураков в такие места не берут.

Конкретный инструментарий пофиг, а вот что человек не знает что есть уже куча БД (хбейс, риак, бигтейбл, динамо, симплдб, кочдб, ресинкдб, монгодб) которые решают такие проблемы, уже говорит что ни бекграунда ни кругозора в теме у него нету.

[crypto5]

Но был подбит еще на взлете фразой "ты соображаешь сколько нужно времени все эти логи читать!?

Люблю такие темы, когда на десятой странице топика вытаскивается из кармана очередной туз-деталь к задаче

[dotcom]

О, блин, а их еще и читать надо?

[avitya]

Нищеброды. Что у них все логи не в памяти? Нету петабайт НВРАМа?

[dotcom]

Потом еще выяснится, что ваще на ленте все записано и считать можно только через 100 лет.

[Леонид Ильич Брежнев]

Производительность реального сервиса это порядка 25 тыс. RPS. Это значит 100M log entries в час. В томкатовом логе будет ну скажем 10 филдов (наши данные наверняка еше для чего-то будут нужны), или около 1 миллиардa writes.
Кассандра 1.2 на какой-то тестовой системе в один хост давала около 60К writes per second. Ну пусть 50К. 20 секунд - 1М. Итого за 20 тыс. секунд мы засосем все логи данного часа.
Не, ну можно конечно на обработку логов поставить кассандровый кластер, как у нетфликса, из 200 хостов, но нужно имхо более здравое решение.

[Сабина]

уже говорит что ни бекграунда ни кругозора в теме у него нету.

Как то вы очень сильно тему сузили как мне кажется. По приведенному ответу видно что человек подкован не только в теор основах но и практически решал подобные задачи ( может не с таким обьемом данных и без kassandra db - но решал) и голова соображает. Не видно что знаком с конкретными технологиями - согласна, но заявлять об отсуствии бэкграунда и кругозора - это уж совсем необьективно. Вы же в крусе что кроме big data DBs есть еще жизнь на планете IT ?

[crypto5]

Производительность реального сервиса это порядка 25 тыс. RPS. Это значит 100M log entries в час. В томкатовом логе будет ну скажем 10 филдов (наши данные наверняка еше для чего-то будут нужны), или около 1 миллиардa writes.
Кассандра 1.2 на какой-то тестовой системе в один хост давала около 60К writes per second. Ну пусть 50К. 20 секунд - 1М. Итого за 20 тыс. секунд мы засосем все логи данного часа.
Не, ну можно конечно на обработку логов поставить кассандровый кластер, как у нетфликса, из 200 хостов, но нужно имхо более здравое решение.

Леонид Ильич, в решении Сабины речь шла о 10-и машинах, т.е. за 2сек засасывается час логов, или 30 млн запросов в минуту.
К тому же с умелым батчингом я лично засовывал на своем старом ноутбуке по 100к инсертов/инкрементов в секунду, на хорошем железе это будет в раз 5-10 больше.
И у меня, как человека копавшего внутренности кассандры, есть большие сомнения что ваш отряд пионеров, да даже и весь Дом Юных Техников, за разумное время напишет решение которое обгонит кассандру.

[crypto5]

уже говорит что ни бекграунда ни кругозора в теме у него нету.

Как то вы очень сильно тему сузили как мне кажется. По приведенному ответу видно что человек подкован не только в теор основах но и практически решал подобные задачи ( может не с таким обьемом данных и без kassandra db - но решал) и голова соображает.

Если бы он именно практически решал, и при этом заглядывал в гугл хотя бы иногда, думаю он бы свой велосипед не крутил бы, а прекрасно знал бы какие решения есть на данный момент, благо про носкл сейчас кричат на каждом углу все кому не лень.

Не видно что знаком с конкретными технологиями - согласна, но заявлять об отсуствии бэкграунда и кругозора - это уж совсем необьективно. Вы же в крусе что кроме big data DBs есть еще жизнь на планете IT ?

Я в курсе что есть АйТи кроме БигДаты, я четко написал что имею в виду бекграунд в биг дата и серче, вполне может быть что он формы на джаваскрипте красивые делает, с этим спорить глупо.

[Berlaga]

Проще взять БД кассандра, которая делает именно это ))

На инженерную позицию такой ответ совершенно не годится, на архитекторско-менеджерскую разве что.

Экак вы за все конторы на свете расписались ))

Я не за конторы расписываюсь, а свое мнение высказываю. Ответ "а давайте возьмем кассандру / поставим процессор помощнее / наймем IBM / зааутсорсим в Индию / ..." я не рссматриваю как инженерное решение.

[crypto5]

Проще взять БД кассандра, которая делает именно это ))

На инженерную позицию такой ответ совершенно не годится, на архитекторско-менеджерскую разве что.

Экак вы за все конторы на свете расписались ))

Я не за конторы расписываюсь, а свое мнение высказываю. Ответ "а давайте возьмем кассандру / поставим процессор помощнее / наймем IBM / зааутсорсим в Индию / ..." я не рссматриваю как инженерное решение.

Но нанимают то конторы, а не вы? Какое значение имеет ваше мнение?

[Berlaga]

Но был подбит еще на взлете фразой "ты соображаешь сколько нужно времени все эти логи читать!?

Люблю такие темы, когда на десятой странице топика вытаскивается из кармана очередной туз-деталь к задаче

Я это уже уточнял, вы, наверное, не заметили.

[crypto5]

Но был подбит еще на взлете фразой "ты соображаешь сколько нужно времени все эти логи читать!?

Люблю такие темы, когда на десятой странице топика вытаскивается из кармана очередной туз-деталь к задаче

Я это уже уточнял, вы, наверное, не заметили.

Думаю что вы не уточняли что вопрошающего смущало время чтения с диска. К тому же например в случае именно ХДД, у меня есть сильные сомнения что random reads при семплинге будут как то значительно быстрее чем чтение большими блоками когда сканируется весь датасет.

[Berlaga]

...а вот что человек не знает что есть уже куча БД (хбейс, риак, бигтейбл, динамо, симплдб, кочдб, ресинкдб, монгодб) которые решают такие проблемы, уже говорит что ни бекграунда ни кругозора в теме у него нету.

Так цель-то умного нанять, а не бэкграундного и кругозорного. Впрочем, YMMV, как всегда.