Ведение блога в ИТ

[Kolbasoff]

Атцы и матери, порекомендуйте библиотеку для линейной алгебры на Джаве или на С. Требуется один раз инвертировать большую неразреженную матрицу 100,000 х 100,000 2-байтных integers за осмысленное время. Оcмысленное время ~ пара-тройка недель ОК.

[Kolbasoff]

У нас в конторе достаточно хорошо с этим, наличие ораклов/хадупов/террадат, то есть можно найти себе развлекуху. Для некоторых открыли позиции исследователей, когда народу надоело работать в DWH.

А удаленно можно работать исследователем?

[Сабина]

Два вопроса про блоги-гитхабы.
1) Which open source license is best to choose for your github repo? (Чисто показать что можешь) Аpache ?
2) Если ты server side developer, но хочешь также написать про какой нибудь javascript проeкт ты сделал, чисто показать что знаешь. Как это присобачить в блог чтобы не сложилось ложного ошушения что ты fullstack ?

[Lida]

У нас в конторе достаточно хорошо с этим, наличие ораклов/хадупов/террадат, то есть можно найти себе развлекуху. Для некоторых открыли позиции исследователей, когда народу надоело работать в DWH.

А удаленно можно работать исследователем?

Смотря что делать. Но в целом - можно.

Вот интересный обзор рынка - от что требуется до зарплат.
https://www.youtube.com/watch?v=aEkpVr8 ... e=youtu.be

Больше всего чего не хватает народу, так это знания бизнеса. Сами по себе модели это пустой звук, если их не транслировать в конкретные бизнес действия.

Вообще data science нужно отдельным топиком вынести.

[Мальчик-Одуванчик]

Атцы и матери, порекомендуйте библиотеку для линейной алгебры на Джаве или на С. Требуется один раз инвертировать большую неразреженную матрицу 100,000 х 100,000 2-байтных integers за осмысленное время. Оcмысленное время ~ пара-тройка недель ОК.

гляньте интеловские под фортран. Они по-идее должны быть совместимыми по вызову из С

[Kolbasoff]

гляньте интеловские под фортран. Они по-идее должны быть совместимыми по вызову из С

Глянем и их. Вообще-то библиотек хватает, но для таких больших объемов уже все в память не загрузить. Но вроде как и без инверсии можно обойтись в моем конкретном случае.

Пишу вторую статью - прикручиваю результаты первой статьи и MR/Hadoop к wavelet transform. Зарядка для мозгов, плюс некий presentation material для моего следующего приключения.

[Сабина]

Такое дело: ищу работу data scientist, хочу забабахать какую-нибудь статейку на блог и программень/библиотеку которая решает задачку из статейки на гитхаб. Предложите какую-нибудь хорошую задачку, которая применяет MR, Hadoop, etc. Что-нибудь жизненное. Заранее многие спасибы.

Можно взять какую-нибудь публикацию из https://twitter.com/carlcarrie" onclick="window.open(this.href);return false; интересную и написать программу/библиотеку на ее основе с помощью MR, Hadoop или Spark. Они там все достаточно не тривиальные и интересные, но в основном только финансы.

Извиняюсь за оффтоп. Я наконец то нашла время ознакомится со Спарком (трейнинг брала в он-лайне со spark summit). Умом понимаю что вся архитектура заточена под большие объемы данных быструю обработку потоков и проч, но не покидает ощущение что можно с его помощью и обычные задачи решать.
Интересно есть примеры каких то проектов где Спарк используют не с терабайтами данных ? Или это оверкил ?

[_reality]

Если нет задач для кластера из хотя бы 5 машин то и спарк не нужен. Latency которую добавляет спарк сделает его бессмысленным для обычных задач которые влезают в память одной машины.

[Сабина]

А как насчет задачи где изначальные данные "распараллельны" до того как ? Скажем если взять их знаменитый пример с обработкой логов ... К примеру мне надо обработать сто логов каждый с отдельного сервера? Datasources (логи в этом случае) сами по себе небольшие, но их много и они распределены по сети , и при этом идеально подходят чтобы к ним применить единые transformations and actions?
На одной из работ мы для таких задач пользовались Teiid- ом, там нужно трансляторы писать и потом можно написать single SQL like statement вытащить и обработать данные со всех sources как будто это одна большая логическая таблица. Но там обработка централизованная то есть было бы очень медленно с таким количеством data sources , а на спарке наверное как нафиг делать ?

[valchkou]

А как насчет задачи где изначальные данные "распараллельны" до того как ? Скажем если взять их знаменитый пример с обработкой логов ... К примеру мне надо обработать сто логов каждый с отдельного сервера? Datasources (логи в этом случае) сами по себе небольшие, но их много и они распределены по сети , и при этом идеально подходят чтобы к ним применить единые transformations and actions?
На одной из работ мы для таких задач пользовались Teiid- ом, там нужно транслятором писать и потом можно написать single SQL like statement вытащить и обработать данные со всех sources как будто это одна большая логическая таблица. Но там обработка централизованная то есть было бы очень медленно с таким количеством data sources , а на спарке наверное как нафиг делать ?

Да спарк можно применять для подобных задач, но дорого. Это все барахло еще кто то саппортить и мониторить должен.
ForkJoinPool вполне шустро справится, или даже любой другой ExecutorService на железе и 4-х ядер.
Но как Spark PetProject для резюме - вполне подходящая задача.

[Sergunka]

Можно подвести некий итог за два года существования блога:

Написал 16 статей.

Самые ходовые направления в блоге три: SSL (security), Cloud Foundry и понятно решение Спящего Парикмахера Дейкстры с помощью очереди с блокировкой.

Первый год было 3,5К визитеров, во второй год уже 6К в этом году за полтора месяца 1.3К больше половины просмотров составляют статьи по Cloud Foundry. Меня не оставляет подозрение, что я нарвался на "золотую жилу". Намедни заметил, что на мой блог стали давать ссылки на stackoverflow http://stackoverflow.com/questions/3409 ... ql-release" onclick="window.open(this.href);return false;

Ну, я забурел

[Marie Clair]

Зашла на ваш блог и зависла там на пару часов

[Easbayguy]

Можно подвести некий итог за два года существования блога:

Написал 16 статей.

Самые ходовые направления в блоге три: SSL (security), Cloud Foundry и понятно решение Спящего Парикмахера Дейкстры с помощью очереди с блокировкой.

Первый год было 3,5К визитеров, во второй год уже 6К в этом году за полтора месяца 1.3К больше половины просмотров составляют статьи по Cloud Foundry. Меня не оставляет подозрение, что я нарвался на "золотую жилу". Намедни заметил, что на мой блог стали давать ссылки на stackoverflow http://stackoverflow.com/questions/3409 ... ql-release" onclick="window.open(this.href);return false;

Ну, я забурел

Пора менять работу на chief architect or fellow!

[valchkou]

Вот решил тоже че нить запостить
Есть ли какие преимущества между различными блог хостерами?
Вот я вижу сергунька хостит на wordpress, кто то тут хостил на github.
Есть еще типа блогспот и прочие.

[Sergunka]

Вот решил тоже че нить запостить
Есть ли какие преимущества между различными блог хостерами?
Вот я вижу сергунька хостит на wordpress, кто то тут хостил на github.
Есть еще типа блогспот и прочие.

Мне в вордпрессе нравится как статистика организована - возможно в других тоже есть. Но здесь сразу видно топ по топикам и ресурсам.