Товарищи, провел я тут за последние 1.5 месяца большое тестирование. Многие в курсе т.к. были можно сказать онлайн в процессе 
Итак, стояла задача построить бюджетную хранилку с приемлемыми показателями по скорости, надежности и цене на 12 терабайт SAS. Конечно, в идеале хорошо было бы с 2-мя контроллерами, но там уже совсем другие деньги вылезали.
По началу предполагалось всё строить на FreeNAS, функционал там отличный и идеи заложены хорошие. Но на практике там появилось узкое звено, это либо реализация протколов NFS и ISCSI, либо кривая работа драйверов на 10-гигабитных LAN карточках. По IOPS показтели были отличные, по скорости работы внутри FreeNAS просто космические, а вот передать всю эту мощность через сетевые интерфейсы система не смогла. 150 мегабайт в секунду - это максимум, который я видел. Причем увеличение количества параллельных потоков только ухудшало положение...
Потом начались эксперименты с 2012 сервером и его встроенным iSCSI (NFS на 2012 убог и тормознут, проигрывает по IOPS тому же FreeNAS в 4 раза!). А вот iSCSI на 2012 хорош! Всё там быстро и замечательно. Но есть огромный минус, это отсутствие тонких дисков VHD и невозможность работы дедупликации с активными VHD дисками (файлами). Ну и убила невозможность использовать RAM сервера как READ-кэш.
В итоге я остановился на StarWind + 2012 сервер. Тут и показатели скорости приличные, и тонкие диски есть, и дедупликация онлайн, и RAM-кэширование в любом виде. Причем всё это есть в бесплатной версии. А заплатив денюжку можно получить еще и кластеризацию.
Железо на тестах:
Платформа Supermicro 2U на 24 2.5" диска.
Контроллер Adaptec 71605
24 диска SAS 600GB 10k (массив RAID-5 из 22 дисков + 2 HotSpare)
4 диска OCZ Vector 512 GB
NIC Intel X540-T2 (2 интерфейса в link aggregation)
10GB switch Dell 8024
ESXi хост с картой Intel X540-T2, подключена к свитчу по 1 линку для iSCSI + 1 линк под LAN
Результаты тестов: (на Microsoft iSCSI target 2012)
(все кэши отключены, включая кэш дисков. Кэш контроллера работает в режиме Write-back)
SAS
Чтение 575 МБ в секунду в один поток
Запись 575 МБ в секунду в один поток
Чтение 560 МБ в секунду в 4 потока
Запись 525 МБ в секунду в 4 потока
Запись + чтение 350 МБ в секунду в 4 потока (копирование с массива на массив)
Последовательные IOPS с одной машины 15.000 (32 потока)
Последовательные IOPS с 8 машин по 32 потока 70.000
100% случайные операции чтения 2.100 IOPS (одна машина)
100% случайные операции записи 900 IOPS (одна машина)
SSD
Чтение 525 МБ в секунду в один поток
Запись 525 МБ в секунду в один поток
Чтение 525 МБ в секунду в 4 потока
Запись 525 МБ в секунду в 4 потока
Запись + чтение 525 МБ в секунду в 4 потока (копирование с диска на диск)
Последовательные IOPS с одной машины 90.000 (32 потока)
Последовательные IOPS с 8 машин по 32 потока 90.000
100% случайные операции чтения 33.700 IOPS (одна машина)
100% случайные операции записи 33.300 IOPS (одна машина)
Как-то так. По ощущениям всё работает очень быстро.
Бюждет железа под хранилку в районе 15.000$ Если исключить SSD и контроллер (у Supermicro в платформе базово идет неплохой LSI 2108), можно скроить еще 3.000$. То есть можно получить хранилище за 12.000$ по железу и + 7.000 рублей за server 2012 Foundation
P.S. Скорость передачи данных по сети при живой миграции 875 МБ в секунду. По ощущениям машинки переезжают очень быстро.