BSDPORTAL.RU

На этом сайте обсуждаются вопросы использования ОС FreeBSD
 Портал  •  Статьи  •  Форум  •  Wiki  •  Поиск  •  FAQ  •  Обои  •   Официальная документация  •  Новые темы 

Часовой пояс: UTC + 4 часа




Начать новую тему Ответить на тему  [ Сообщений: 21 ]  На страницу 1, 2  След.
Автор Сообщение
 Заголовок сообщения: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Сб 10 дек, 2016 4:58 pm 
В сети

Зарегистрирован: Вт 17 авг, 2010 8:48 pm
Сообщения: 491
Откуда: Беларусь
Товарищи! Помогите добрым советом!

Как бы вы организовали пул для выдачи его по iscsi для удаленного гипервизора?
Имеется 14 дисков
Изучая вопрос наткнулся на следующие рекомендации:
1) в raidz использовать не более 9 дисков. актуально ещё?;
2) raidz2 надежнее. добьюсь ли я подобного эффекта с использовать доп.дисков в hot-spare? по объёму пула точно выиграю, а по надёжности?;
3) при создании zfs тома необходимо правильно выставить режим volmode=dev;
4) при создании пула использовать метки gpt. А может вообще не создавать никаких разделов, а использовать /dev/diskid/ ?

Что бы вы ещё порекомендовали?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Сб 10 дек, 2016 8:48 pm 
Не в сети

Зарегистрирован: Пт 03 сен, 2004 1:26 pm
Сообщения: 2240
erema15 писал(а):
Товарищи! Помогите добрым советом!

Как бы вы организовали пул для выдачи его по iscsi для удаленного гипервизора?


написали бы КОМУ(гипервизору) собрались шарить ZFSoveriSCSI, мб более удачные
советы получили...

Цитата:
Имеется 14 дисков


что планируется и что хочется? Отдача пула исключительно под диски ВМ: zvol
и NFS?

Цитата:
Изучая вопрос наткнулся на следующие рекомендации:
1) в raidz использовать не более 9 дисков. актуально ещё?;


актуально, это проблема?

Чем больше vdev в пуле, тем быстрей он работает,
например для raidz (raid5), оптимально: 3 и 5 дисков в пуле,
тогда можно создать raid5 с несколькими vdev (типа raid50):

# zpool create raid50 raidz ada0 ada1 ada2 raidz ada3 ada4 ada5 raidz ada6 ada7 ada8 raidz ada9 ada10 ada11

получаете raidz с 4'мя vdev, два диска не удел: ada12 и ada13

или

# zpool create raid50 raidz ada0 ada1 ada2 ada3 ada4 raidz ada5 ada6 ada7 ada8 ada9

получаете raidz с 2'мя vdev, остаются ada10 ada11 ada12 ada13, их можно пустить на raid10

# zpool create raid10 mirror ada10 ada11 mirror ada12 ada13

И да, нет ничего быстрее RAID10 - слова Бонвика и других создателей zfs.

Цитата:
2) raidz2 надежнее. добьюсь ли я подобного эффекта с использовать доп.дисков в hot-spare? по объёму пула точно выиграю, а по надёжности?;


ниче не понял
raidz2 - надежный, но медленный

hot-spare - не работал во FreeBSD, как и в Linux, начиная с 11.0 - обещали демон для
реализации hot-spare, не изучал, не пробовал.

Цитата:
3) при создании zfs тома необходимо правильно выставить режим volmode=dev;


вроде в man'е все есть? Если отдача как блочного уст-ва под диски для VM, вроде
"dev" оптимально.

Цитата:
4) при создании пула использовать метки gpt. А может вообще не создавать никаких разделов, а использовать /dev/diskid/ ?


от zfs recommendation: zfs быстрее работает с raw-devices
- в этом случае удобней gptid или diskid
но некотрые считают что удобней для манипуляции с gpt-label (gpt),
дают метки типа disk0,disk1... и используют их при создании пула (zpool)

Не забывайте, что можете создать пул с gpt: ada0, ada1 ...
затем импортировать by gptid:
# zpool import -d /dev/gptid

Выбирайте что Вам удобней, поэкспериментируйте с заменой: zpool replace

Посмотрите что выставляет FreeBSD 10.3/11.x by default:
Код:
 kern.geom.label.gpt.enable
 kern.geom.label.gptid.enable
 kern.geom.label.disk_ident.enable


и не забудьте установить enable нужную переменную ядра и disable - не нужные,
в зависимости от того что будете использовать: gpt или diskid или gptid

Цитата:
Что бы вы ещё порекомендовали?


обычно, для более быстрой работы:

set compression=lz4
atime=off
checksum=off
dedup=off

не забыть про reservation, чтобы не забить пул больше 80% и получить тормоза

Ну и можно задействовать 2xSSD с ZIL и L2ARC, если RAM много, можно и без ZIL,
тогда еще некоторые параметры можно будет подкрутить для ARC min/max

Sorry, не смотрел реализацию нового iscsi-target в FreeBSD, посему, по нему
ничего не подскажу, умеет ли он write cache как Comstar Target?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Сб 10 дек, 2016 11:26 pm 
В сети

Зарегистрирован: Вт 17 авг, 2010 8:48 pm
Сообщения: 491
Откуда: Беларусь
lavr, спасибо за отклик.

lavr писал(а):
написали бы КОМУ(гипервизору) собрались шарить ZFSoveriSCSI, мб более удачные
советы получили...

Это будет Hyper-V 2008R2 либо 2012R2. Гипервизор будет брать lun по iscsi, но не будет хранить на нем vhd, а в сыром виде отдавать в VM.

lavr писал(а):
что планируется и что хочется? Отдача пула исключительно под диски ВМ: zvol
и NFS?

Планируется основной объем отдать под backup-сервер. Да, это будет исключительно zvol

lavr писал(а):
актуально, это проблема?

не то что бы проблема... хотелось бы более эффективно использовать объем дисков, но чтобы не raid-0 ))

lavr писал(а):
Чем больше vdev в пуле, тем быстрей он работает,
например для raidz (raid5), оптимально: 3 и 5 дисков в пуле,
тогда можно создать raid5 с несколькими vdev (типа raid50):

вариант с 5 дисками в пуле очень мне интересен, спасибо.


lavr писал(а):
hot-spare - не работал во FreeBSD, как и в Linux, начиная с 11.0 - обещали демон для
реализации hot-spare, не изучал, не пробовал.

ах, как жаль. у меня 10.3. уж больно "вкусная" фича пропала.

lavr писал(а):
Посмотрите что выставляет FreeBSD 10.3/11.x by default:
Код:
 kern.geom.label.gpt.enable
 kern.geom.label.gptid.enable
 kern.geom.label.disk_ident.enable

и не забудьте установить enable нужную переменную ядра и disable - не нужные,
в зависимости от того что будете использовать: gpt или diskid или gptid

by default все включено. если я буду использовать diskid, то не должно же быть каких-то проблем. можно и не выключать?

lavr писал(а):
set compression=lz4
atime=off
checksum=off
dedup=off

Как раз думал про dedup. Сильно ли он прожорлив? На лету скорее всего нельзя его переключать?

lavr писал(а):
не забыть про reservation, чтобы не забить пул больше 80% и получить тормоза

Т.е. в моё случае нужно нарезать zvol'ы максимум на 80% от объема всего пула. Правильно ли я понял?

lavr писал(а):
Ну и можно задействовать 2xSSD с ZIL и L2ARC, если RAM много, можно и без ZIL,
тогда еще некоторые параметры можно будет подкрутить для ARC min/max

SSD для данных целей не найду. RAM 10ГБ, пул выходит где-то 2-2.5ТБ.

lavr писал(а):
Sorry, не смотрел реализацию нового iscsi-target в FreeBSD, посему, по нему
ничего не подскажу, умеет ли он write cache как Comstar Target?


В мане CTLADM(8) есть такое:
Цитата:
writecache Set to "off", disables write caching for the LUN, if
supported by the backend.
это оно?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Вс 11 дек, 2016 12:46 am 
Не в сети

Зарегистрирован: Пт 03 сен, 2004 1:26 pm
Сообщения: 2240
erema15 писал(а):
Это будет Hyper-V 2008R2 либо 2012R2. Гипервизор будет брать lun по iscsi, но не будет хранить на нем vhd, а в сыром виде отдавать в VM.


понято, sorry, Windows - не мое.

Цитата:
вариант с 5 дисками в пуле очень мне интересен, спасибо.


да не на чем, но мб подумать о RAID10 - дисков то 14?
места будет меньше, но быстрей, памяти то маловато.

Цитата:
by default все включено. если я буду использовать diskid, то не должно же быть каких-то проблем. можно и не выключать?


попробуйте так и так, эксперимент с заменой и поймете на чем
Вам остановится.

Цитата:
Как раз думал про dedup. Сильно ли он прожорлив? На лету скорее всего нельзя его переключать?


с Вашей памятью, и для отдачи по iSCSI - dedup не нужен, а вот SSD бы не
помешал.

Цитата:
Т.е. в моё случае нужно нарезать zvol'ы максимум на 80% от объема всего пула. Правильно ли я понял?


да, лучше если пул будет заполнен не больше чем на 70%, imho

Цитата:
SSD для данных целей не найду. RAM 10ГБ, пул выходит где-то 2-2.5ТБ.


мало RAM -> dedup=off, 2TB - видимо много маленьких дисков,
видимо это HP Integrity :) хоть какой-то прок

Цитата:
В мане CTLADM(8) есть такое:
Код:
writecache    Set to "off", disables write caching for the LUN, if
                   supported by the backend.
это оно?


похоже, sorry, поздно уже читать.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Вс 11 дек, 2016 12:41 pm 
Не в сети

Зарегистрирован: Пт 03 сен, 2004 1:26 pm
Сообщения: 2240
erema15 писал(а):
Что бы вы ещё порекомендовали?


да, если у Вас 1Gbit ethernet и есть возможность включить jumbo frame
- обязательно.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Вс 11 дек, 2016 4:19 pm 
В сети

Зарегистрирован: Вт 17 авг, 2010 8:48 pm
Сообщения: 491
Откуда: Беларусь
Да, у меня есть 2 комплекта HP Integrity + msa30. Буду выжимать всё что можно из этого old shit, нечего пыль на складе собирать :D .
Сделал агрегацию 2-ух гигабитных интерфейсов. Про jumbo frame думал, но стеснялся попробовать. Теперь похрабрел ))
Есть ли большой смысл играться с размером блока, как на стороне пула, та и на стороне уже VM? Мелкие файлы хранить не планируется.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Вс 11 дек, 2016 5:29 pm 
Не в сети

Зарегистрирован: Пт 03 сен, 2004 1:26 pm
Сообщения: 2240
erema15 писал(а):
Да, у меня есть 2 комплекта HP Integrity + msa30. Буду выжимать всё что можно из этого old shit, нечего пыль на складе собирать :D .
Сделал агрегацию 2-ух гигабитных интерфейсов. Про jumbo frame думал, но стеснялся попробовать. Теперь похрабрел ))
Есть ли большой смысл играться с размером блока, как на стороне пула, та и на стороне уже VM? Мелкие файлы хранить не планируется.


смысл в том чтобы найти наиболее производительные параметры - есть всегда,
но до ввода в продакшн.

нужно смотреть какой blocksize можно сделать у NTFS (тут я не силен, вроде
как allocation unit можно 64k)

теперь, допустим у нас raid5 -> 4 диска + 1 parity,
если 4'е диска размечены с sectorsize=4K, получаем 4x4k=16k (как распределены данные
по 4'ем дискам, тот же zvol, по 4'ем - потому что вычитаем диск под parity)
Таким же макаром высчитывается оптимальное кол-во дисков для RAIDZ, RAIDZ2, RAIDZ3
(это когда я написал что для raidz: 3 и 5 лучше всего, из-за укладывания в границы)

Тогда, чтобы не было overhead'а, volblocksize сделать >= 16k, например 32k или 64k

Но тут нужно знать Windoze и недокументированные возможности, как задать
в registery переменную NTFS allocation units = 64k

Диски могут быть с 512 сектором, но zfs все равно можно оформить с ashift=12 (как для 4k),
ибо, если потом будете заменять диски и они будут 4k, то пул, если он оформлен
с ashift=9 (512) - не изменить, только backup и создание по новой.
Если пул из разнокалиберных дисков: 512 и 4k, а создан с ashift=9 под 512, то
здорово не будет. Посему, обычно советуют на вырост создавать пул с ashift=12,
ну диски теперь 4k и наступит момент когда будете заменять старые...

Не знаю, получилось ли понятно объяснить?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Пн 12 дек, 2016 9:36 pm 
В сети

Зарегистрирован: Вт 17 авг, 2010 8:48 pm
Сообщения: 491
Откуда: Беларусь
Спасибо, lavr. Всё в общем понятно, но чтобы собрать полную картину нужно будет провести n-ое количество тестов.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Сб 17 дек, 2016 5:37 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 116
Откуда: Санкт-Петербург
попутный вопрос: в man написано, что рекомендуется от 3 до 9 дисков под RAIDZ.
Чем плохо будет, если я сделаю из 12-15 дисков? скорость не так сильно волнует, важнее минимизировать потери объёма.
и не понял куда пихать ashift? в zfs этой опции чёт не вижу.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Сб 17 дек, 2016 6:10 pm 
Не в сети

Зарегистрирован: Пт 03 сен, 2004 1:26 pm
Сообщения: 2240
Serzh писал(а):
попутный вопрос: в man написано, что рекомендуется от 3 до 9 дисков под RAIDZ.
Чем плохо будет, если я сделаю из 12-15 дисков? скорость не так сильно волнует, важнее минимизировать потери объёма.


как минимум два важных фактора:
- IOPS
- resilvering - при замене/replace диска, будете ждать завершения несколько суток

Цитата:
и не понял куда пихать ashift? в zfs этой опции чёт не вижу.


# zpool create ashift=[9|12] tank

ashift=9 для HDD с 512b per sector [default]
ashift=12 для HDD с 4k per sector

ashift нужно задавать сразу при создании пула -> google

Нет смысла использовать zfs в случае наплевательского отношения к
рекомендациям, для этого можно найти иные средства, менее затратные:
- graid
- graid3 (самый быстрый)
- graid5

или вовсе gconcat.

Вы же вроде убедились в этом? Или еще не достаточно?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Ср 28 дек, 2016 3:24 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 116
Откуда: Санкт-Петербург
наплевательского отношения нет, но непонятна причина этих рекомендаций.
Можно пояснить откуда такие выводы?
на мой взгляд IOPS должен быть тем выше, чем больше дисков. При увеличении их количества только возрастают накладные расходы на расчёт контрольных сумм. resilvering в любом случае будет не быстрее скорости записи на заменяемый диск.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Ср 28 дек, 2016 5:18 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 116
Откуда: Санкт-Петербург
Код:
# zpool create -o ashift=12 data mfid1
property 'ashift' is not a valid pool property
# zpool create ashift=12 data mfid1
cannot open 'data': no such GEOM provider
must be a full path or shorthand device name

помогло только:
Код:
# sysctl vfs.zfs.min_auto_ashift=12
vfs.zfs.min_auto_ashift: 9 -> 12


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Ср 28 дек, 2016 9:36 pm 
Не в сети

Зарегистрирован: Пт 03 сен, 2004 1:26 pm
Сообщения: 2240
Serzh писал(а):
наплевательского отношения нет, но непонятна причина этих рекомендаций.
Можно пояснить откуда такие выводы?
на мой взгляд IOPS должен быть тем выше, чем больше дисков. При увеличении их количества только возрастают накладные расходы на расчёт контрольных сумм. resilvering в любом случае будет не быстрее скорости записи на заменяемый диск.


IOPS возрастает на READ операции, чем больше дисков, тем выше IOPS, но
известно (и практически и из конструктива) что оптимальное кол-во дисков в VDEV от 3 до 9,
в этом случае достигается оптимальное соотношение производительности с накладными
расходами.
IOPS на WRITE всегда приблизительно такой же как и на single disk.

Теперь подумайте что происходит при resilvering'е?
подсказка - не только чтение. Далее - прозрачно.

На пальцах, ну как-то так...


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Чт 29 дек, 2016 9:37 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 116
Откуда: Санкт-Петербург
то есть оптимально делать zpool из 36 дисков как 4 raidz по 9 дисков. так?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Чт 29 дек, 2016 11:52 am 
Не в сети

Зарегистрирован: Ср 14 окт, 2009 2:26 pm
Сообщения: 581
https://calomel.org/zfs_raid_speed_capacity.html


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Чт 29 дек, 2016 12:59 pm 
Не в сети

Зарегистрирован: Пт 03 сен, 2004 1:26 pm
Сообщения: 2240
Serzh писал(а):
то есть оптимально делать zpool из 36 дисков как 4 raidz по 9 дисков. так?


зачем создавать 4'е пула?

под "оптимально" можно понимать:
- наиболее эффективная скорость random read iops
- наиболее эффективное использование storage space

Одна из лучших рекомендаций теории и практики, вместе с таблицами, которые
следует разобрать и можно распечатать и повесить перед глазами:

https://www.delphix.com/blog/delphix-en ... love-raidz

хотя существует масса рекомендаций и упрощенных прикидок...

- кол-во дисков в VDEV чем меньше, тем выше iops для random read,
оптимально от 3 до 9, но это общая цифра для raidz, radz2 и raidz3
- есть прикидочные "формулы" для L2ARC, из расчета сколько съедят буфера под L2ARC
из RAM и какого объема создавать L2ARC на SSD исходя из размера пула
...
...

одна из прикидок такова, recordsize в ZFS by default 128KiB, значит данные распеределяются
по всем дискам в VDEV:

raidz 3xHDD, минус 1xHDD на parity, остается 2xHDD под данные:

3-disk RAID-Z = 128KiB / 2 = 64KiB - кратно, хорошо
4-disk RAID-Z = 128KiB / 3 = ~43KiB - не кратно, плохо
5-disk RAID-Z = 128KiB / 4 = 32KiB - кратно, хорошо
9-disk RAID-Z = 128KiB / 8 = 16KiB - кратно, хорошо

аналогично и для raidz2/3, формула:

max stripe size = record_size / (num_vdev_disks - num_disks_parity)

Прочитайте что есть VDEV.

Вернемся к Вашему примеру: 36 дисков, как лучше организовать RAIDZ?
Как уже было сказано, не нужно создавать 4'е пула raidz, лучше создать ОДИН ПУЛ
с НЕСКОЛЬКИМИ VDEV, именно это увеличивает производительность пула zfs.

Чтобы пул был быстрей, лучше в каждом VDEV по 3xHDD,
а чтобы пул был оптимальней по размеру, лучше VDEV по 9xHDD,
возможно, пул с VDEV по 5xHDD будет лучшим выбором и по размеру и по random read iops.

Чтобы убедиться в верхнем, создать три пула и посмотреть iostat каждого, выбрать
наиболее подходящий.

Создаем ОДИН пул из 36'и дисков, варианты:

1. vdev по 3xHDD
# zpool create tank raidz disk1 disk2 disk3 raidz disk4 disk5 disk6 raidz disk7 disk8 disk9 ... raidz disk34 disk35 disk36

это один пул из 11'и vdev в каждом vdev по 3'и диска

2. vdev по 5xHDD (5x7=35 HDD и один диск в запасе)
# zpool create tank raidz disk1 disk2 disk3 disk4 disk5 raidz disk6 disk7 disk8 disk9 disk10 ... riadz disk31 disk32 disk33 disk34 disk35

один пул из 7xVDEV, каждый VDEV по 5'ть дисков, 35 дисков в использовании, один запасной

3. vdev по 9xHDD
# zpool create tank raidz disk1 disk2 disk3 disk4 disk5 disk6 disk7 disk8 disk9 raidz ...

один пул из 4xVDEV, в каждом VDEV по 9ть дисков

Те, выше у нас raidz, точнее raid50, именно такая рекомендация ZFS по организации пулов
из большого кол-ва дисков. Использовать не один VDEV из 36'ти дисков, а несколько VDEV
в которых рекомендуемое кол-во дисков от 3 до 9, чем меньше, тем выше iops random read

И да, строго не рекомендуется создавать пул из нескольких VDEV с разным кол-ом дисков
в VDEV, например, у нас 11xHDD, пул из VDEVx3HDD + VDEVx3HDD + VDEVx5HDD
есть зло.

Как-то так... надеюсь поможет


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Пт 30 дек, 2016 10:41 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 116
Откуда: Санкт-Петербург
я и имел в виду один пул с 4 vdev по 9 дисков.

задача записывать и отдавать чанки видео. Record Size думал ставить максимальный 1Мб.
пока для тестов загнал все 36 дисков в один vdev raidz2 - скорость записи в 100 потоков почти 5Гб/сек, упирается только в физику каждого диска. CPU в районе 30%

Мне начальство разрешило провести эксперимент на живых абонентах. Я предлагаю текущий Centos заменить на фрю с ZFS, приводя в пример Netflix, которые разогнали до 40гигабит с сервера отдачу. У нас сейчас больше 7 гигов с аппаратным RAID не получается, правда на старых серверах было по 24 диска. Новые пришли с 36. Если я смогу отдать хотя бы 20 гиг с сервера, то это докажет мою теорию о том, что фря в таких задачах лучше линукса и аппаратный RAID - зло.

Оперативы 256гиг, ещё заказаны 1Тб SSD, думал поставить их под L2ARC


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Пт 30 дек, 2016 11:09 am 
Не в сети

Зарегистрирован: Вт 18 сен, 2007 10:26 am
Сообщения: 878
Откуда: СССР, Красноярск
Где-то я уже видел аналогичную задачу...
Наверно здесь:
"ZFS и производительность — миф или реальность" https://events.yandex.ru/lib/talks/2694/


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Пт 30 дек, 2016 12:33 pm 
Не в сети

Зарегистрирован: Пт 03 сен, 2004 1:26 pm
Сообщения: 2240
Serzh писал(а):
я и имел в виду один пул с 4 vdev по 9 дисков.

задача записывать и отдавать чанки видео. Record Size думал ставить максимальный 1Мб.
пока для тестов загнал все 36 дисков в один vdev raidz2 - скорость записи в 100 потоков почти 5Гб/сек, упирается только в физику каждого диска. CPU в районе 30%

Мне начальство разрешило провести эксперимент на живых абонентах. Я предлагаю текущий Centos заменить на фрю с ZFS, приводя в пример Netflix, которые разогнали до 40гигабит с сервера отдачу. У нас сейчас больше 7 гигов с аппаратным RAID не получается, правда на старых серверах было по 24 диска. Новые пришли с 36. Если я смогу отдать хотя бы 20 гиг с сервера, то это докажет мою теорию о том, что фря в таких задачах лучше линукса и аппаратный RAID - зло.

Оперативы 256гиг, ещё заказаны 1Тб SSD, думал поставить их под L2ARC



record size = 1MB - будет удобно для упаковки видео-файлов, если все они большие,
но не стоит забывать что при сохранении файла 1.2MB, выделятся будет 2MB хранилища,
это к оптимальности упаковки и вероятно, скорость с rsize=1M немного упадет.
Нужно тестировать, с одной стороны - rsize=1M хорошо для упаковки и меньше ovethead'а
дисков, хорошо просто для хранения, с другой стороны - предстоит отдача файлов
и желательно с большей скоростью.

1. - задача сохранения видео
- зависит от типа видео, генерации
- dedup off, вероятно compression off (видео обычно уже сжатое, избавляемся от
лишних накладных расходов на CPU), atime=off, checksum=off
- primarycache - зависит от zil/l2arc на ssd

прим: со скоростью записи, вряд ли можно что-то сделать (10K/15K RPM SAS или SSD)

2. - задача отдачи, максимально быстро
- диски 10K или 15K rpm SAS или SSD
- zil/l2arc вынести на SSD
- ZIL ~ 10GB
- соотношение L2ARC-to-ARC ratio, колеблется от 4:1, до 10:1, ну как пример:
у Вас RAM=256GB, под ARC отдаете 252GB (4GB оставляете под KERNEL+OS, можно меньше),
тогда как минимум L2ARC=4*252=1TB
- raidz (raid50) - я обычно делал VDEV=3xHDD для скорости, или VDEV=5xHDD более
оптимально для space+speed
- посмотреть в сторону prefetch
...

3. - тюнить TCP/IP стек, lagg(bonding) или лучше карты на 10Gbit...

Все верхнее с учетом текущих возможных багов в 11.R, возможно перейти на
11S, возможно... но не факт, читать списки рассылки freebsd

ps. В Debian ZOL ведет себя сейчас вполне адекватно и TCP тюнится и система, это так,
на всякий случай.

Удачи


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS: подготовка пула для iSCSI target
СообщениеДобавлено: Вс 15 янв, 2017 11:55 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 116
Откуда: Санкт-Петербург
то есть хотите сказать что vdev из трёх дисков будет быстрее чем из пяти? может я что-то не понимаю тогда? у меня сейчас тестовый vdev raidz2 из 36 дисков отдаёт максимально возможную скорость, упирается только в физику дисков. Системные 2 диска на 300Гб 15К, но думал поменять их на 2xSSD по 1Тб, большую часть которых отдать под L2ARC
Чанки видео большие - по несколько сотен мег. Сетевухи две десятки. Но Netfilx уверяет, что разогнал отдачу до 40гигов с сервера. Вот и я хочу так же. Сетевуху ещё одну двуголовую поставить не проблема, если 20 гиг будут отдаваться без проблем.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 21 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 4 часа


Кто сейчас на конференции

Зарегистрированные пользователи: Bing [Bot], erema15, Google [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB
Яндекс.Метрика