Вопрос по Big Data

[Dmitry67]

Подскажите, как хранить 157,5 эксабайт?

http://www.rbc.ru/newspaper/2016/05/17/ ... 8eecf3214e" onclick="window.open(this.href);return false;

Нет, серьезно, допустим такая задача стоит и денег мы не считаем
Какие есть решения?
Какие файловые системы осилят?

[Flash-04]

Гугел: 1 миллион серверов * 100Tb (от балды)= 100 Eb, как раз то что нужно

[Dmitry67]

Вряд ли в среднем больше 1тб

[null]

storage memory breakthrough

[sp123]

storage memory breakthrough

Linky no worky

[null]

Linky no worky

починил

[flip_flop]

Вряд ли в среднем больше 1тб

Тю, у меня уже несколько лет в десктопе стоит очень быстрый PCIe SSD 2 TB на обычной flash памяти, сейчас его обновление имеет 4 ТБ. Samsung выпустил 16 ТБ в формате 2.5-inch. Всего лишь шесть таких карточек на сервере и 100 ТБ на сервер, как советовал Flash-04, уже набрано. Всего лишь миллион таких серверов, и дело в кармане. С развитием 3D электроники и экзотических технологий (типа упомянутых PCM) можно ожидать и больших объёмов памяти на карточку. Правда и проблемы растут снежным комом (надёжность, например), но это нормально. Придётся менять File System (e.g. XFS vs Ext4) и дорабатывать распределённые файловые системы наверное, но это мелочи

[Dmitry67]

Понятно. Значит Яровая просто визионер

[flip_flop]

Не, ну на сегодня эадача неисполнимая. Например, всего лишь одна известная мне распределённая файловая система (Lustre) теоретически поддерживает "всего лишь" 16 EB. Потом, можно посчитать стоимость , "чую с гибельным восторгом". И так далее. Но в будущем, может быть и недалёком, да, возможно, я надеюсь.

[Flash-04]

миллион серверов я взял не с потолка, у Goole вроде как всего 900,000 серверов по всему миру. Но речь то не о том, а о том что заботливые власти начали прикидывать что надо бы все разговоры граждан складывать для анализа.

[flip_flop]

Samsung предсказывает, что к 2020 году продукция всех NAND Flash будет примерно 235 EB в год. Страшно подумать, но на огромную заботу отдельных властей должно уйти больше половины этого ресурса

[Мальчик-Одуванчик]

А что, типа на ленту нельзя скидывать? Fujitsu анонсировала 154Тв на картридже.

[iDesperado]

Подскажите, как хранить 157,5 эксабайт?

http://www.rbc.ru/newspaper/2016/05/17/ ... 8eecf3214e" onclick="window.open(this.href);return false;

Нет, серьезно, допустим такая задача стоит и денег мы не считаем
Какие есть решения?
Какие файловые системы осилят?

а какие проблемы ? никто же не просит обрабатывать эту дребидень. упаковал avro файлики на ленты и храни. органы запросили за какой-то период - перекинул на hdfs для посмотреть.

[perasperaadastra]

Понятно. Значит Яровая просто визионер

Это не она "бешеный принтер"?

[blanko27]

Надо НДС (VAT/GST/и т.п.) такой ввести - купил новый хард драйв - 10% отдай под хранение гос. информации.