Google Recruiter

[Sergunka]

Собственно, есть вполне себе HFT на джаве (не только обслуживающие системы). Просто вызовы GC там сведены к нулю тем что все работает на примитивных типах и вся необходимая память выделяется один раз при старте приложения. На мой взгляд это некое извращение, но тем не менее такое есть. И оптимизировать там не милли, а микросекунды надо.

Ну они наверное какие то простые действия выполняют, но это ведь нельзя экстраполировать на все случаи жизни.

Я и не экстраполирую, просто говорю что и для Java есть такие приложения где нужно такты процессора считать, и GC при этом не мешает.
А действия не простые. Чтобы эти непростые действия работали без GC, люди фактически не пользуются базовыми библиотеками Java вообще, или же как минимум большую их часть переписали..

А какой смысл тогда вообще Java использовать?

Ага на фортране вообще все летало и писать проще

[vladich]

Собственно, есть вполне себе HFT на джаве (не только обслуживающие системы). Просто вызовы GC там сведены к нулю тем что все работает на примитивных типах и вся необходимая память выделяется один раз при старте приложения. На мой взгляд это некое извращение, но тем не менее такое есть. И оптимизировать там не милли, а микросекунды надо.

Ну они наверное какие то простые действия выполняют, но это ведь нельзя экстраполировать на все случаи жизни.

Я и не экстраполирую, просто говорю что и для Java есть такие приложения где нужно такты процессора считать, и GC при этом не мешает.
А действия не простые. Чтобы эти непростые действия работали без GC, люди фактически не пользуются базовыми библиотеками Java вообще, или же как минимум большую их часть переписали..

Говорят что для унификации кода со всем остальным хозяйством, которого в инвестбанке много.
Мне тоже не совсем понятен смысл этого, все же из плюсов или обычного С можно выжать больше при правильном подходе, а в HFT минимизация latency - это главный приоритет, и по идее он должен быть выше чем все остальные соображения.
Оптимизация накладных расходов на разработку путем такой унификации выглядит как экономия на спичках.
Но что есть то есть и такие системы используются тем не менее.

[olis]

А какой смысл тогда вообще Java использовать?

Ага на фортране вообще все летало и писать проще

Пушутили типа?

[Zorkus]

Собственно, есть вполне себе HFT на джаве (не только обслуживающие системы). Просто вызовы GC там сведены к нулю тем что все работает на примитивных типах и вся необходимая память выделяется один раз при старте приложения. На мой взгляд это некое извращение, но тем не менее такое есть. И оптимизировать там не милли, а микросекунды надо.

Ну даже и не только трейдинг. Azul утверждал, что какие-то их клиенты добивались на связке азул + тюненный редхад на х86 80 микросекунд worse response time.

[crypto5]

Я думаю я тоже могу какой нибудь echo server налабать который будет за 50 микросекунд отдавать ответ даже на нетюнингованной джаве и линуксе. Непонятно что система делала у этих товарищей.

[Zorkus]

http://www.azulsystems.com/products/zin ... plications

http://mechanical-sympathy.blogspot.com ... -azul.html

то что нашлось сходу.

[crypto5]

И что же вы там нашли?

[Zorkus]

Я нашел немного инфы о том, что они делали, и кое-какие цифры. А вы?

[avitya]

люди на node.js пишут серваки, а вы о яве... пф.

[Интеррапт]

люди на node.js пишут серваки, а вы о яве... пф.

А это здесь к чему?

[crypto5]

Я нашел немного инфы о том, что они делали, и кое-какие цифры. А вы?

Первая ссылка - вообще чистый маркетинг и в 1мс latency нет никакого rocket science. Вторая вообще помоему антиреклама азула - у них азул отставал от остальных нетюнингованых jvm пока его в ручную не пропатчили азуловские девелоперы под конкретный тест. Могу я поинтересоваться зачем вы кинули сюда эти ссылки?

[vladich]

VM от Azul это вообще такая штука про которую все слышали но никто не видел. Потому что стоит больших денег, а для ultra-low-latency систем типа трейдинговых все равно не годится. Соответственно область его применения не совсем понятна, потому что и обычную jvm в большинстве случаев можно оттюнить (плюс соптимизировать приложение) так чтобы добиться приемлемых показателей. Разве что для каких-то больших легаси приложений, которые оптимизировать возможности нет, там возможно да.

[Alexandr]

по моему легче драйвер подкрутить, ну или базу такую выкинуть нафик

Думаю найти программиста который не страшится тысячи потоков легче чем копаться в блобе драйвера или переводить всю инфраструктуру на другую базу.[/quote]
если деваться некуда, то надо создавать тысячи потоков

[Alexandr]

Собственно, есть вполне себе HFT на джаве (не только обслуживающие системы). Просто вызовы GC там сведены к нулю тем что все работает на примитивных типах и вся необходимая память выделяется один раз при старте приложения. На мой взгляд это некое извращение, но тем не менее такое есть. И оптимизировать там не милли, а микросекунды надо.

Ну они наверное какие то простые действия выполняют, но это ведь нельзя экстраполировать на все случаи жизни.

Я и не экстраполирую, просто говорю что и для Java есть такие приложения где нужно такты процессора считать, и GC при этом не мешает.
А действия не простые. Чтобы эти непростые действия работали без GC, люди фактически не пользуются базовыми библиотеками Java вообще, или же как минимум большую их часть переписали..

А какой смысл тогда вообще Java использовать?

чтобы не плодить зоопарка технологий, там где это имеет смысл
например, есть площадки, где не такой интенсивный поток данных как на "главных", и робот "не такой важный", например, у нас есть робот, задача которого просто стоять в рынке предопределенным обьемом на определенном расстоянии о "центра"
по опыту, правда .netовскому (писал роботов и шлюзы), скажу, что все равно достаточно геморойно - потому как сама среда не всегда эффективна и оптимальна, например, в .net есть классы (=гадить в кучу), которые должны быть структурами по хорошему, + приходилось некоторые моменты реализации подсматривать рефлектором, т.е. у класса есть несколько методов, но некоторые из них создают сторонние объекты, требующие уничтожения, а некоторые обходятся без них, и узнать это можно только рефлектором и профайлером (показывает какой метод память выделяет)
+ проблемы со строками (так как они immutable), что удалось заинтернить - хорошо, но все равно неидеально

мой best effort был - сборка нулевого поколения за 2-3 минуты при интенсивной загрузке

Чтобы эти непростые действия работали без GC, люди фактически не пользуются базовыми библиотеками Java вообще, или же как минимум большую их часть переписали.

ну да, т.е. гемороя еще больше, чем в .net, там хоть осторожно, но базовые библиотеки вполне можно пользовать, а в жабе структур нет, т.е. даже базовыми вещами из библиотек нельзя пользоваться

[Alexandr]

торговая система LMax вроде на жабе написана, и, типа все быстро быстро
но я скептически к этому отношусь

[Alexandr]

кстати, если не ошибаюсь, то в том же Дойче Банке часть шлюзов - жабовские

[АццкоМото]

Я и не экстраполирую, просто говорю что и для Java есть такие приложения где нужно такты процессора считать, и GC при этом не мешает.
А действия не простые. Чтобы эти непростые действия работали без GC, люди фактически не пользуются базовыми библиотеками Java вообще, или же как минимум большую их часть переписали..

Могу только присоединиться к вопросу olis - а нафига тогда вообще Джава? У нее вся сила как раз в скорости разработки из-за отсутствия головняка с освобождением памяти и прекрасных стандартных библиотеках. Если от обоих пунктов отказаться, не остается ни одного плюса по сравнению с С++. Переносимость в этих применениях, насколько я понимаю, никого не волнует.
UPD. Прочитал ваш пост на этой странице - вопрос отпал, вы мыслите так же примерно как и я

[Zorkus]

кстати, если не ошибаюсь, то в том же Дойче Банке часть шлюзов - жабовские

Да, верно.

[Alexander Troyansky]

В гугле много разных интервьюиров с разными тараканами в голове. Еще обычно играет роль как вы быстро решаете задачи. Типа на atoi пол часа может оказаться много.

Я далеко не привередливый интервьюер, но если кандидат не напишет atoi за 5-10 минут (с поддержкой "минус" и с обработкой white spaces), то дальше разговаривать особо не о чем. Т.к. это задача вообще на пару минут и ограничена фактически только скоростью написания текста на доске.

Когда я собеседовался в Гугле в 2008-м году, была мне дана последней задача преобразовать строку в целое число. Одно только выяснение и написание тестов заняло минут 10. Не знаю atoi это было или нет, но, только придя домой, где-то за полчаса смог управиться. Мне так эта задача понравилась, что в свою очередь, когда мне уже приходилось интервьюровать людей в будущем, за выделенный мне час времени на интервью задачу эту никто не решал. Разумеется, без доступа к интернету. Только на доске, ну или на лэптопе.

[АццкоМото]

ну я прямо не знаю. чего там писать-то и нафига интернет

[Alexander Troyansky]

если вам не жалко 5-10 минут, то попробуйте. Только это будет больше по времени

[crypto5]

если вам не жалко 5-10 минут, то попробуйте. Только это будет больше по времени

char c[];
int i = 0;
while(c) { i *= 10; i += c -'0'; c++;}

[Alexander Troyansky]

если вам не жалко 5-10 минут, то попробуйте. Только это будет больше по времени

char c[];
int i = 0;
while(c) { i *= 10; i += c; c++;}

Эт чо, функция, шо ли? Вы б в гугль с таким легкомыслием не прошли

[crypto5]

если вам не жалко 5-10 минут, то попробуйте. Только это будет больше по времени

char c[];
int i = 0;
while(c) { i *= 10; i += c; c++;}

Эт чо, функция, шо ли? Вы б в гугль с таким легкомыслием не прошли

Ну понятно что надо вроде пробелы пропускать, проверять на валидные значения и минус впереди посмотреть, но это уже скучные мелочи ))

[Alexander Troyansky]

если вам не жалко 5-10 минут, то попробуйте. Только это будет больше по времени

char c[];
int i = 0;
while(c) { i *= 10; i += c; c++;}

Эт чо, функция, шо ли? Вы б в гугль с таким легкомыслием не прошли

Ну понятно что надо вроде пробелы пропускать, проверять на валидные значения и минус впереди посмотреть, но это уже скучные мелочи ))

Понятна ну, к Интеррапту тоже тогда не пытайтесь соваться - зарубит