RDP, первый раз, вопросы

User avatar
novitssv
Уже с Приветом
Posts: 861
Joined: 10 Apr 2008 14:57
Location: Ust-Ilimsk, Tomsk, Tampa, Nashville

RDP, первый раз, вопросы

Post by novitssv » 01 Feb 2019 17:47

Ситауция: работаю в отрасли биологической науки и постоянно обсчитываем картинки с флюорисцентной микроскопии. Используем KNIME on LINUX (рабоатет и на MAC, PC as well). Обчсет довольно сложный и не тривиальный с привлечением AI. Все это делается на компьюетере с 32Gb RAM and 16-Core processor (могу подробней узнать если надо) + SSD несколько. В принципе скорость устаивает. Конечно хотелось бы быстрее :-) Но это только одна машина и постоянно занята. Появился паралельно еще проект который надо сделать срочно но рядом компьютеров с приличной мощностью чтоб это все сичталось достаточно быстро нет. Финансов купить нет, я как понял это примерно 10К.

Вопрос: я так понял что удаленно можно рентовать - зашел на Amazon EC2 and Cloud Google Platform. Последний более понятным показался. Как я понял то что мне надо называется RDP. Создал Instance и удаленно подключился. Думал будет сложнее :-) Можно ли скачивать и устанавливать софт, как выше писал нужен KNIME? При создании RDP он спрашивает на какой платформе и там спискок штук 50.... разная Ubuntu, разный Windows Server - что мне надо? какой выбрать?

короче, куча вопросов... если не лень подскажите или ткните где почитать/посмотреть

Спасибо

pensilvan
Уже с Приветом
Posts: 809
Joined: 14 Jan 2019 23:24

Re: RDP, первый раз, вопросы

Post by pensilvan » 01 Feb 2019 17:52

https://store.hp.com/us/en/pdp/hp-z4-g4 ... 575603a900

вот рабочая станция на ксеоне. 1500. до кучи туда положите больше памяти и SSD. будет меньше 2000. думаю если поискать БУ на ибее можно в 1000 уложиться. хотя можно и за 10 тысяч найти, тут без вопросов, но надо ли оно вам?

я бы для начала поинтересовался какой у вас проц стоит и уже оттуда отталкиваться.

User avatar
novitssv
Уже с Приветом
Posts: 861
Joined: 10 Apr 2008 14:57
Location: Ust-Ilimsk, Tomsk, Tampa, Nashville

Re: RDP, первый раз, вопросы

Post by novitssv » 01 Feb 2019 19:03

pensilvan wrote:
01 Feb 2019 17:52
https://store.hp.com/us/en/pdp/hp-z4-g4 ... 575603a900

вот рабочая станция на ксеоне. 1500. до кучи туда положите больше памяти и SSD. будет меньше 2000. думаю если поискать БУ на ибее можно в 1000 уложиться. хотя можно и за 10 тысяч найти, тут без вопросов, но надо ли оно вам?

я бы для начала поинтересовался какой у вас проц стоит и уже оттуда отталкиваться.
ошибся с корами и памятью на текущем компьютере. Конфигурация такая:
Memory 62.9 GiB
Processor Xeon CPU X5675@3.07GHz x 24
Graphics NVE4
OS type 64-bit

pensilvan
Уже с Приветом
Posts: 809
Joined: 14 Jan 2019 23:24

Re: RDP, первый раз, вопросы

Post by pensilvan » 01 Feb 2019 20:32

novitssv wrote:
01 Feb 2019 19:03
pensilvan wrote:
01 Feb 2019 17:52
https://store.hp.com/us/en/pdp/hp-z4-g4 ... 575603a900

вот рабочая станция на ксеоне. 1500. до кучи туда положите больше памяти и SSD. будет меньше 2000. думаю если поискать БУ на ибее можно в 1000 уложиться. хотя можно и за 10 тысяч найти, тут без вопросов, но надо ли оно вам?

я бы для начала поинтересовался какой у вас проц стоит и уже оттуда отталкиваться.
ошибся с корами и памятью на текущем компьютере. Конфигурация такая:
Memory 62.9 GiB
Processor Xeon CPU X5675@3.07GHz x 24
Graphics NVE4
OS type 64-bit
я так понимаю вот он -

т.е. у вас стоит 4 таких проца. т.ё. $480. остального на штуку можно насобирать в зависимости от хотелок. так что навряд ли речь идёт о 10к.

User avatar
novitssv
Уже с Приветом
Posts: 861
Joined: 10 Apr 2008 14:57
Location: Ust-Ilimsk, Tomsk, Tampa, Nashville

Re: RDP, первый раз, вопросы

Post by novitssv » 01 Feb 2019 22:16

pensilvan wrote:
01 Feb 2019 20:32
novitssv wrote:
01 Feb 2019 19:03
pensilvan wrote:
01 Feb 2019 17:52
https://store.hp.com/us/en/pdp/hp-z4-g4 ... 575603a900

вот рабочая станция на ксеоне. 1500. до кучи туда положите больше памяти и SSD. будет меньше 2000. думаю если поискать БУ на ибее можно в 1000 уложиться. хотя можно и за 10 тысяч найти, тут без вопросов, но надо ли оно вам?

я бы для начала поинтересовался какой у вас проц стоит и уже оттуда отталкиваться.
ошибся с корами и памятью на текущем компьютере. Конфигурация такая:
Memory 62.9 GiB
Processor Xeon CPU X5675@3.07GHz x 24
Graphics NVE4
OS type 64-bit
я так понимаю вот он -

т.е. у вас стоит 4 таких проца. т.ё. $480. остального на штуку можно насобирать в зависимости от хотелок. так что навряд ли речь идёт о 10к.
чтоб их 4 вставить надо как минимум материнскую с 4 дырками а я что то не вижу...

Бубновый Валет
Уже с Приветом
Posts: 245
Joined: 01 Nov 2017 21:42

Re: RDP, первый раз, вопросы

Post by Бубновый Валет » 01 Feb 2019 22:28

Такая машина в облаке будет очень дорогой. Проще купить за кеш и на ней обсчитывать. Окупится через месяц-два по сравнению с облаком, если не быстрее. Стоимость машинки 1200-1500. Но что-то непонятно с графикой. Сколько там графических карт? и какая модель? Расчет скорее всего производится на них

pensilvan
Уже с Приветом
Posts: 809
Joined: 14 Jan 2019 23:24

Re: RDP, первый раз, вопросы

Post by pensilvan » 01 Feb 2019 22:33

novitssv wrote:
01 Feb 2019 22:16
pensilvan wrote:
01 Feb 2019 20:32
novitssv wrote:
01 Feb 2019 19:03
pensilvan wrote:
01 Feb 2019 17:52
https://store.hp.com/us/en/pdp/hp-z4-g4 ... 575603a900

вот рабочая станция на ксеоне. 1500. до кучи туда положите больше памяти и SSD. будет меньше 2000. думаю если поискать БУ на ибее можно в 1000 уложиться. хотя можно и за 10 тысяч найти, тут без вопросов, но надо ли оно вам?

я бы для начала поинтересовался какой у вас проц стоит и уже оттуда отталкиваться.
ошибся с корами и памятью на текущем компьютере. Конфигурация такая:
Memory 62.9 GiB
Processor Xeon CPU X5675@3.07GHz x 24
Graphics NVE4
OS type 64-bit
я так понимаю вот он -

т.е. у вас стоит 4 таких проца. т.ё. $480. остального на штуку можно насобирать в зависимости от хотелок. так что навряд ли речь идёт о 10к.
чтоб их 4 вставить надо как минимум материнскую с 4 дырками а я что то не вижу...
https://www.newegg.com/Product/Product. ... lsrc=aw.ds

так что ни о каких 10к там речи нету. так что можете смело определяться с процессорами, сокетами и собирать. или купить уже готовый. думаю на ибее продают.

pensilvan
Уже с Приветом
Posts: 809
Joined: 14 Jan 2019 23:24

Re: RDP, первый раз, вопросы

Post by pensilvan » 01 Feb 2019 22:34

Бубновый Валет wrote:
01 Feb 2019 22:28
Такая машина в облаке будет очень дорогой. Проще купить за кеш и на ней обсчитывать. Окупится через месяц-два по сравнению с облаком, если не быстрее. Стоимость машинки 1200-1500. Но что-то непонятно с графикой. Сколько там графических карт? и какая модель? Расчет скорее всего производится на них
Вот я тоже подумал что там может считать GPU, а не CPU. тогда 24 ядер и не надо ксеоновых.

User avatar
novitssv
Уже с Приветом
Posts: 861
Joined: 10 Apr 2008 14:57
Location: Ust-Ilimsk, Tomsk, Tampa, Nashville

Re: RDP, первый раз, вопросы

Post by novitssv » 01 Feb 2019 23:33

Бубновый Валет wrote:
01 Feb 2019 22:28
Такая машина в облаке будет очень дорогой. Проще купить за кеш и на ней обсчитывать. Окупится через месяц-два по сравнению с облаком, если не быстрее. Стоимость машинки 1200-1500. Но что-то непонятно с графикой. Сколько там графических карт? и какая модель? Расчет скорее всего производится на них
Не подскажите как на Ubuntu всю подробную информацию о конфигурации посмотреть?

Цена около 2к вполне устраивает.

Бубновый Валет
Уже с Приветом
Posts: 245
Joined: 01 Nov 2017 21:42

Re: RDP, первый раз, вопросы

Post by Бубновый Валет » 01 Feb 2019 23:40


pensilvan
Уже с Приветом
Posts: 809
Joined: 14 Jan 2019 23:24

Re: RDP, первый раз, вопросы

Post by pensilvan » 02 Feb 2019 00:34

похоже что ваш софт может использовать GPU. но мне кажется у вас всё-таки на CPU всё вертится.

The KNIME Deeplearning4J Integration supports using GPU for network training. By default CPU is used for calculations. This option can be changed in the KNIME Deeplearning4J Integration preference page.

In order to use GPU for the Deeplearning4J Integration you need to have a CUDA compatible graphics card and CUDA installed on your system. Currently, the CUDA versions 7.5 and 8.0 are supported. The choice of the CUDA version depends on the used GPU. In order to find out which CUDA version is supported by yout graphic cards and how to install CUDA see CUDA Zone.

In order to check the installed CUDA version or whether CUDA is installed at all you can run the following command:

nvcc -V

If the command can't be found by the system, the CUDA Toolkit most likely is not installed on your system. Else wise the output should look similar to the following:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2016 NVIDIA Corporation
Built on Wed_May__4_21:03:03_CDT_2016
Cuda compilation tools, release 8.0, V8.0.26

The last line shows the installed CUDA Toolkit version.

If GPU is selected in the Deeplearning4J Integration preference page, however, no compatible CUDA version is installed we will automatically fallback using the CPU.

pensilvan
Уже с Приветом
Posts: 809
Joined: 14 Jan 2019 23:24

Re: RDP, первый раз, вопросы

Post by pensilvan » 02 Feb 2019 00:39

если я правильно понял, то вот тут пишут https://forum.knime.com/t/dl4j-how-do-y ... sed/4896/8 что мульти GPU обработка не поддерживается, а CPU поддерживается. так что я бы забил на GPU.

вот вроде не плохой аппарат - https://www.ebay.com/itm/HP-Z840-WORKST ... 0&LH_BIN=1

User avatar
novitssv
Уже с Приветом
Posts: 861
Joined: 10 Apr 2008 14:57
Location: Ust-Ilimsk, Tomsk, Tampa, Nashville

Re: RDP, первый раз, вопросы

Post by novitssv » 02 Feb 2019 01:00

pensilvan wrote:
02 Feb 2019 00:39
если я правильно понял, то вот тут пишут https://forum.knime.com/t/dl4j-how-do-y ... sed/4896/8 что мульти GPU обработка не поддерживается, а CPU поддерживается. так что я бы забил на GPU.

вот вроде не плохой аппарат - https://www.ebay.com/itm/HP-Z840-WORKST ... 0&LH_BIN=1
Спасибо большое за инфу. А принципиально иметь Linux на машине или можно ставить Windows? На производительности это сказывается?

pensilvan
Уже с Приветом
Posts: 809
Joined: 14 Jan 2019 23:24

Re: RDP, первый раз, вопросы

Post by pensilvan » 02 Feb 2019 01:26

novitssv wrote:
02 Feb 2019 01:00
pensilvan wrote:
02 Feb 2019 00:39
если я правильно понял, то вот тут пишут https://forum.knime.com/t/dl4j-how-do-y ... sed/4896/8 что мульти GPU обработка не поддерживается, а CPU поддерживается. так что я бы забил на GPU.

вот вроде не плохой аппарат - https://www.ebay.com/itm/HP-Z840-WORKST ... 0&LH_BIN=1
Спасибо большое за инфу. А принципиально иметь Linux на машине или можно ставить Windows? На производительности это сказывается?
линукс считается оптимальным вариантом. но что там по вашему софту я без понятия, это вам надо будет разбираться. есть вероятность что на винде оно вообще не поднимется.

tessob
Уже с Приветом
Posts: 294
Joined: 07 Jan 2016 13:04

Re: RDP, первый раз, вопросы

Post by tessob » 02 Feb 2019 19:53

Автор, Вам нужно понимать как алгоритмы, которые вы используете в KNIME, параллелятся. Без этого не ясно в какую сторону решать вашу проблему (ядра, частота и тп.). В вашем случае это можно узнать, пожалуй, только эксперементально. Самое разумное решение - отказаться от KNIME и заменить его Python/R, там вся имплементация на плюсах написана.

User avatar
novitssv
Уже с Приветом
Posts: 861
Joined: 10 Apr 2008 14:57
Location: Ust-Ilimsk, Tomsk, Tampa, Nashville

Re: RDP, первый раз, вопросы

Post by novitssv » 07 Feb 2019 18:47

когда в спецификации указано "Xeon CPU X5675@3.07GHz x 24" то 24 имеется ввиду Threads or Cores? Я нашел оригинальную квоту на заказ этого компьютера и там написано "2010 Mac Pro 3.06GHz 12-core “Westmere”". Это тоже самое? Xeon CPU X5675 содержит 6 ядер и тоесть там 2 - в сумме 12. Но проверяя спек на компьютере пишет .... х24.

User avatar
IvanGrozniy
Уже с Приветом
Posts: 8993
Joined: 04 Feb 2004 14:14
Location: Edgewater, NJ

Re: RDP, первый раз, вопросы

Post by IvanGrozniy » 10 Feb 2019 17:39

Бубновый Валет wrote:
01 Feb 2019 22:28
Такая машина в облаке будет очень дорогой. Проще купить за кеш и на ней обсчитывать. Окупится через месяц-два по сравнению с облаком, если не быстрее. Стоимость машинки 1200-1500. Но что-то непонятно с графикой. Сколько там графических карт? и какая модель? Расчет скорее всего производится на них
В связи с этим у меня рациональное предложение.
Вместо Амазоны регистрируйтесь в MS Azure. Первый месяц любой сервис бесплатно. Еще дают $200 в первый раз на покупку конфигураций в их облаке. Автор может обкатать нужный компьютер в облаке за бесплатно. Затем купить похожий реальный.

Return to “Работа и Карьера в IT”