RDP, первый раз, вопросы

[novitssv]

Ситауция: работаю в отрасли биологической науки и постоянно обсчитываем картинки с флюорисцентной микроскопии. Используем KNIME on LINUX (рабоатет и на MAC, PC as well). Обчсет довольно сложный и не тривиальный с привлечением AI. Все это делается на компьюетере с 32Gb RAM and 16-Core processor (могу подробней узнать если надо) + SSD несколько. В принципе скорость устаивает. Конечно хотелось бы быстрее Но это только одна машина и постоянно занята. Появился паралельно еще проект который надо сделать срочно но рядом компьютеров с приличной мощностью чтоб это все сичталось достаточно быстро нет. Финансов купить нет, я как понял это примерно 10К.

Вопрос: я так понял что удаленно можно рентовать - зашел на Amazon EC2 and Cloud Google Platform. Последний более понятным показался. Как я понял то что мне надо называется RDP. Создал Instance и удаленно подключился. Думал будет сложнее Можно ли скачивать и устанавливать софт, как выше писал нужен KNIME? При создании RDP он спрашивает на какой платформе и там спискок штук 50.... разная Ubuntu, разный Windows Server - что мне надо? какой выбрать?

короче, куча вопросов... если не лень подскажите или ткните где почитать/посмотреть

Спасибо

[pensilvan]

https://store.hp.com/us/en/pdp/hp-z4-g4 ... 575603a900

вот рабочая станция на ксеоне. 1500. до кучи туда положите больше памяти и SSD. будет меньше 2000. думаю если поискать БУ на ибее можно в 1000 уложиться. хотя можно и за 10 тысяч найти, тут без вопросов, но надо ли оно вам?

я бы для начала поинтересовался какой у вас проц стоит и уже оттуда отталкиваться.

[novitssv]

https://store.hp.com/us/en/pdp/hp-z4-g4 ... 575603a900

вот рабочая станция на ксеоне. 1500. до кучи туда положите больше памяти и SSD. будет меньше 2000. думаю если поискать БУ на ибее можно в 1000 уложиться. хотя можно и за 10 тысяч найти, тут без вопросов, но надо ли оно вам?

я бы для начала поинтересовался какой у вас проц стоит и уже оттуда отталкиваться.

ошибся с корами и памятью на текущем компьютере. Конфигурация такая:
Memory 62.9 GiB
Processor Xeon CPU X5675@3.07GHz x 24
Graphics NVE4
OS type 64-bit

[pensilvan]

https://store.hp.com/us/en/pdp/hp-z4-g4 ... 575603a900

вот рабочая станция на ксеоне. 1500. до кучи туда положите больше памяти и SSD. будет меньше 2000. думаю если поискать БУ на ибее можно в 1000 уложиться. хотя можно и за 10 тысяч найти, тут без вопросов, но надо ли оно вам?

я бы для начала поинтересовался какой у вас проц стоит и уже оттуда отталкиваться.

ошибся с корами и памятью на текущем компьютере. Конфигурация такая:
Memory 62.9 GiB
Processor Xeon CPU X5675@3.07GHz x 24
Graphics NVE4
OS type 64-bit

я так понимаю вот он -

т.е. у вас стоит 4 таких проца. т.ё. $480. остального на штуку можно насобирать в зависимости от хотелок. так что навряд ли речь идёт о 10к.

[novitssv]

https://store.hp.com/us/en/pdp/hp-z4-g4 ... 575603a900

вот рабочая станция на ксеоне. 1500. до кучи туда положите больше памяти и SSD. будет меньше 2000. думаю если поискать БУ на ибее можно в 1000 уложиться. хотя можно и за 10 тысяч найти, тут без вопросов, но надо ли оно вам?

я бы для начала поинтересовался какой у вас проц стоит и уже оттуда отталкиваться.

ошибся с корами и памятью на текущем компьютере. Конфигурация такая:
Memory 62.9 GiB
Processor Xeon CPU X5675@3.07GHz x 24
Graphics NVE4
OS type 64-bit

я так понимаю вот он -

т.е. у вас стоит 4 таких проца. т.ё. $480. остального на штуку можно насобирать в зависимости от хотелок. так что навряд ли речь идёт о 10к.

чтоб их 4 вставить надо как минимум материнскую с 4 дырками а я что то не вижу...

[Бубновый Валет]

Такая машина в облаке будет очень дорогой. Проще купить за кеш и на ней обсчитывать. Окупится через месяц-два по сравнению с облаком, если не быстрее. Стоимость машинки 1200-1500. Но что-то непонятно с графикой. Сколько там графических карт? и какая модель? Расчет скорее всего производится на них

[pensilvan]

https://store.hp.com/us/en/pdp/hp-z4-g4 ... 575603a900

вот рабочая станция на ксеоне. 1500. до кучи туда положите больше памяти и SSD. будет меньше 2000. думаю если поискать БУ на ибее можно в 1000 уложиться. хотя можно и за 10 тысяч найти, тут без вопросов, но надо ли оно вам?

я бы для начала поинтересовался какой у вас проц стоит и уже оттуда отталкиваться.

ошибся с корами и памятью на текущем компьютере. Конфигурация такая:
Memory 62.9 GiB
Processor Xeon CPU X5675@3.07GHz x 24
Graphics NVE4
OS type 64-bit

я так понимаю вот он -

т.е. у вас стоит 4 таких проца. т.ё. $480. остального на штуку можно насобирать в зависимости от хотелок. так что навряд ли речь идёт о 10к.

чтоб их 4 вставить надо как минимум материнскую с 4 дырками а я что то не вижу...

https://www.newegg.com/Product/Product. ... lsrc=aw.ds

так что ни о каких 10к там речи нету. так что можете смело определяться с процессорами, сокетами и собирать. или купить уже готовый. думаю на ибее продают.

[pensilvan]

Такая машина в облаке будет очень дорогой. Проще купить за кеш и на ней обсчитывать. Окупится через месяц-два по сравнению с облаком, если не быстрее. Стоимость машинки 1200-1500. Но что-то непонятно с графикой. Сколько там графических карт? и какая модель? Расчет скорее всего производится на них

Вот я тоже подумал что там может считать GPU, а не CPU. тогда 24 ядер и не надо ксеоновых.

[novitssv]

Такая машина в облаке будет очень дорогой. Проще купить за кеш и на ней обсчитывать. Окупится через месяц-два по сравнению с облаком, если не быстрее. Стоимость машинки 1200-1500. Но что-то непонятно с графикой. Сколько там графических карт? и какая модель? Расчет скорее всего производится на них

Не подскажите как на Ubuntu всю подробную информацию о конфигурации посмотреть?

Цена около 2к вполне устраивает.

[Бубновый Валет]

Типа того https://askubuntu.com/questions/72766/h ... phics-card

[pensilvan]

похоже что ваш софт может использовать GPU. но мне кажется у вас всё-таки на CPU всё вертится.

The KNIME Deeplearning4J Integration supports using GPU for network training. By default CPU is used for calculations. This option can be changed in the KNIME Deeplearning4J Integration preference page.

In order to use GPU for the Deeplearning4J Integration you need to have a CUDA compatible graphics card and CUDA installed on your system. Currently, the CUDA versions 7.5 and 8.0 are supported. The choice of the CUDA version depends on the used GPU. In order to find out which CUDA version is supported by yout graphic cards and how to install CUDA see CUDA Zone.

In order to check the installed CUDA version or whether CUDA is installed at all you can run the following command:

nvcc -V

If the command can't be found by the system, the CUDA Toolkit most likely is not installed on your system. Else wise the output should look similar to the following:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2016 NVIDIA Corporation
Built on Wed_May__4_21:03:03_CDT_2016
Cuda compilation tools, release 8.0, V8.0.26

The last line shows the installed CUDA Toolkit version.

If GPU is selected in the Deeplearning4J Integration preference page, however, no compatible CUDA version is installed we will automatically fallback using the CPU.

[pensilvan]

если я правильно понял, то вот тут пишут https://forum.knime.com/t/dl4j-how-do-y ... sed/4896/8 что мульти GPU обработка не поддерживается, а CPU поддерживается. так что я бы забил на GPU.

вот вроде не плохой аппарат - https://www.ebay.com/itm/HP-Z840-WORKST ... 0&LH_BIN=1

[novitssv]

если я правильно понял, то вот тут пишут https://forum.knime.com/t/dl4j-how-do-y ... sed/4896/8 что мульти GPU обработка не поддерживается, а CPU поддерживается. так что я бы забил на GPU.

вот вроде не плохой аппарат - https://www.ebay.com/itm/HP-Z840-WORKST ... 0&LH_BIN=1

Спасибо большое за инфу. А принципиально иметь Linux на машине или можно ставить Windows? На производительности это сказывается?

[pensilvan]

если я правильно понял, то вот тут пишут https://forum.knime.com/t/dl4j-how-do-y ... sed/4896/8 что мульти GPU обработка не поддерживается, а CPU поддерживается. так что я бы забил на GPU.

вот вроде не плохой аппарат - https://www.ebay.com/itm/HP-Z840-WORKST ... 0&LH_BIN=1

Спасибо большое за инфу. А принципиально иметь Linux на машине или можно ставить Windows? На производительности это сказывается?

линукс считается оптимальным вариантом. но что там по вашему софту я без понятия, это вам надо будет разбираться. есть вероятность что на винде оно вообще не поднимется.

[tessob]

Автор, Вам нужно понимать как алгоритмы, которые вы используете в KNIME, параллелятся. Без этого не ясно в какую сторону решать вашу проблему (ядра, частота и тп.). В вашем случае это можно узнать, пожалуй, только эксперементально. Самое разумное решение - отказаться от KNIME и заменить его Python/R, там вся имплементация на плюсах написана.

[novitssv]

когда в спецификации указано "Xeon CPU X5675@3.07GHz x 24" то 24 имеется ввиду Threads or Cores? Я нашел оригинальную квоту на заказ этого компьютера и там написано "2010 Mac Pro 3.06GHz 12-core “Westmere”". Это тоже самое? Xeon CPU X5675 содержит 6 ядер и тоесть там 2 - в сумме 12. Но проверяя спек на компьютере пишет .... х24.

[IvanGrozniy]

Такая машина в облаке будет очень дорогой. Проще купить за кеш и на ней обсчитывать. Окупится через месяц-два по сравнению с облаком, если не быстрее. Стоимость машинки 1200-1500. Но что-то непонятно с графикой. Сколько там графических карт? и какая модель? Расчет скорее всего производится на них

В связи с этим у меня рациональное предложение.
Вместо Амазоны регистрируйтесь в MS Azure. Первый месяц любой сервис бесплатно. Еще дают $200 в первый раз на покупку конфигураций в их облаке. Автор может обкатать нужный компьютер в облаке за бесплатно. Затем купить похожий реальный.