lab501 forum  

Go Back   lab501 forum > Hardware > Memorii & stocare
Connect with Facebook

Memorii & stocare RAM, ROM, SSD, HDD ...


Reply
 
Thread Tools Search this Thread Display Modes
Old 07-10-2014, 02:04   #1
Luc
Senior Member
 
Luc's Avatar
 
Join Date: Sep 2010
Location: Arad
Posts: 367
Mentioned: 2 Post(s)


Unhappy VERY low write speed pe RAID5

Salut!

Ocupandu-ma de editare video, trebuie sa am mare grija cand vine vorba de stocarea materialelor video. Dupa niste search-uri pe google si luand in considerare bugetul meu, am ajuns la concluzia ca cea mai potrivita solutie pentru mine a fost sa fac un RAID5 din 3 bucati WD Red 2TB.

Zis si facut. Toate bune, pana cand, ca tot omul, am ajuns la torente si am constatat cu stupoare ca uTorrent imi da Buffer Overloaded la banala viteza de download de ~5.7 MB/s, ceea ce nu mi s-a intamplat veci pururi cu un singur Samsung Spinpoint F3.

Asa ca am scos Crystal Mark si am dat mai multe benchmark-uri (sample sizes diferite, mai multe runs etc. etc.) si din nou am constatat, cu aceeasi stupoare, cum ca Write Speed-ul se afla undeva pe la 30-50 MB/s pentru cine nu cunoaste acest HDD sexos numit WD Red, pot sa va spun despre el ca este capabil sa scrie la viteze de 120+ MB/s cand NU este in RAID (l-am folosit si inainte de a crea matricea).

La read speed insa nicio problema, mereu a iesit peste 100 MB/s, uneori chiar peste 200.

Am incercat singurul truc pe care il cunosteam, si anume am dat disable la buffer flushing din Intel Rapid Storage, care cica sporeste performanta (dar daca se ia curentul trebuie sa zici Tatal Nostru macar de vreo 10 ori inainte sa repornesti PC-ul ca e aproape sigur ca ai pierdut date). Am mai rulat un Crystal Mark si... surpriza!



Am dat din nou enable la buffer flushing si am rulat imediat un alt test, doar ca sa constat ca viteza de scriere a revenit frumos la ~33 MB/s.

Ce concluzie pot sa trag de aici? Ca RAID5-ul are acest handicap la write speed? Si ca daca vreau o performanta decenta din el trebuie sa-mi cumpar un UPS sa pot rula permanent cu buffer flushing disabled?

Multumesc anticipat pentru orice sfat. Am dat recent un export la o nunta in format full HD (fisier de 21GB) si... rabdarea mea e generoasa dar holy shit!

PS: Mentionez ca folosesc controller-ul placii de baza, un ASRock Z97M OC Formula. Am mai citit pe un forum cum ca tot felul de calcule complexe trebuie facute la un RAID5 cand au loc operatiuni pe el, si ca daca nu ai un controller RAID care are accelerare hardware pentru asta, vitezele vor fi slabe pentru ca ii revine procesorului care nu stie sa le faca eficient. Acum nu stiu daca se aplica asta la mine tinand cont ca am reusit sa ating viteze respectabile cu acel buffer flushing disabled.
__________________

Last edited by Luc; 07-10-2014 at 02:07.
Luc is offline   Reply With Quote
Old 07-10-2014, 08:41   #2
mascotzel
Ancient friend
 
mascotzel's Avatar
 
Join Date: Aug 2009
Posts: 5,504
Mentioned: 26 Post(s)




Default

ultimele versiuni de utorrent sunt crap
incearca 2.2.1
__________________
pensionar...ciocu' mic
mascotzel is offline   Reply With Quote
Old 07-10-2014, 09:06   #3
mbc
VIP
 
mbc's Avatar
 
Join Date: Oct 2010
Location: Cluj-Napoca
Posts: 28,841
Mentioned: 1490 Post(s)

PC-ul meu



Default

RAID 5 e foarte complex comparat cu RAID 10 si ar trebui folosit doar pe servere adevarate cu controller dedicat. RAID 0 si RAID 1 sunt cele mai potrivite pentru computere normale. RAID 10 e si el ok.

Si nu, nu-ti stoca productia video in acelasi loc in care tragi torrentele (wtf?) torrentele forjeaza maxim HDD-ul, mai ales la ce legaturi de net avem pe aici iar datele importante nu vrei sa le ai in acelasi loc cu torrentele.

Ca idee, o structura ok ar fi urmatoarea:
1. HDD0 pentru OS - aici pui doar OS-ul, software divers si nimic altceva. Poate fi un SSD mic sau ceva. Va fi probabil cel mai putin solicitat HDD.
2. HDD1 pentru torrente - aici ai un singur HDD, rapid pe care nu tii chestii importante.
3. HDD 2 si 3 - RAID1 din ele. Aici tii doar chestii importante: productie video, documente importante samd.
4. HDD4 - hot spare pentru RAID1 - doar daca computerul suporta.
__________________
[PC-ul meu], Thinkpad T14
mbc is offline   Reply With Quote
Old 07-10-2014, 09:28   #4
Neo
Ancient friend
 
Neo's Avatar
 
Join Date: Mar 2010
Location: event horizon
Posts: 10,355
Mentioned: 386 Post(s)


Default

Cam ce-a spus colegul mbc, RAID 5 pe controller de motherboard (deci software) este crimă și pedeapsă. Fie îți iei un controller dedicat - ceea ce ar trebui oricum să fie pe lista ta de to-do dacă vrei siguranță serioasă și viteze decente, fie mergi pe RAID 1.

Ca idee:
Quote:
In August 2012, Dell posted an advisory against the use of RAID 5 in any configuration and of RAID 50 with "Class 2 7200 RPM drives of 1 TB and higher capacity" for business-critical data.
Pentru că...
Quote:
RAID 5 comprises block-level striping with distributed parity. Unlike in RAID 4, parity information is distributed among the drives. It requires that all drives but one be present to operate. Upon failure of a single drive, subsequent reads can be calculated from the distributed parity such that no data is lost. RAID 5 requires at least three disks.
Dacă vrei RAID 5, ai nevoie de mai mult de 3 discuri, nu poți merge cu minimum (1 la mână), ai nevoie de un controller dedicat care să aibă suficient bandwidth încât să scrie lejer pe toate trei HDDurile parity data (doi la mână) și (asta în general) trebuie să rulezi regulat smartmontools pe toate HDDurile să vezi dacă nu crapă ceva pentru că în RAID nu mai ai acces la SMART via programe uzuale.

Pare-mi-se poți face RAID 1 și din 3 discuri?
__________________
In Țara minunilor Periferice [Partea 1]. Keyboard Wonderland [Part 1].
HHKB Hybrid Type-S review - ro & en.
GMMK Pro Review - ro. GMMK2 Review - ro.
Neo is offline   Reply With Quote
Old 07-10-2014, 11:10   #5
Arise
VIP
 
Arise's Avatar
 
Join Date: May 2011
Posts: 18,987
Mentioned: 790 Post(s)

PC-ul meu



Default

Normal ca se face, raid1 pe 3 discuri e mai sigur (se pot strica doua diskuri) dar raid5 pe 3 discuri e mai avantajos dpdv al spatiului (dublu fata de raid1).


Sent from my iPhone using Tapatalk
__________________
Using your brain is good for you.
Arise is offline   Reply With Quote
Old 07-10-2014, 11:10   #6
Pirat
Ancient friend
 
Pirat's Avatar
 
Join Date: Jul 2009
Location: Brasov
Posts: 2,752
Mentioned: 65 Post(s)

PC-ul meu



Default

Raid 1 e limitat la 2 member disk, dar poti adauga hotspare.
__________________
NAS: Core i3-9300T, RAM 32GB ECC, Asus P11C-M/4L, RAID-Z2 4x4TB, Truenas
VMHost1: Ryzen 5 3600, RAM 64GB ECC, Asrock AB350M PRO4, 2TB NVME, 1TB RAID1 SSD, Intel 10Gb, Proxmox
VMHost2: Ryzen 7 5700x, RAM 128GB, Asrock B450M Steel Legend, 2x 2TB NVME, Intel 10Gb, Proxmox
Pirat is offline   Reply With Quote
Old 07-10-2014, 11:20   #7
mbc
VIP
 
mbc's Avatar
 
Join Date: Oct 2010
Location: Cluj-Napoca
Posts: 28,841
Mentioned: 1490 Post(s)

PC-ul meu



Default

Cu 3 discuri pot face raid1 intre 2 dintre ele si setezi un Cobian Backup sa iti faca backup pe al treilea daca folosesti windows (sau robocopy daca stii ce si cum). Zic asta pentru ca, daca ai backup, ai backup. Daca ai hot spare ti se poate strica al doilea HDD cand face rebuild. Bine, si backupul o poate da in bara daca e sa o luam asa.
__________________
[PC-ul meu], Thinkpad T14
mbc is offline   Reply With Quote
Old 07-10-2014, 11:22   #8
Arise
VIP
 
Arise's Avatar
 
Join Date: May 2011
Posts: 18,987
Mentioned: 790 Post(s)

PC-ul meu



Default VERY low write speed pe RAID5

@Pirat @mbc Nu, faci direct mirror pe toate cele 3 HDD-uri, de fapt la nivel conceptual poti avea o infinitate de disk-uri.
Raid1 inseamna sa scrii aceeasi informatie pe doua sau mai multe diskuri.

Nu ai motiv sa faci hot sparing sau copiere separata decat daca controllerul hardware nu iti permite decat 2 diskuri pe raid1.


Sent from my iPhone using Tapatalk
__________________
Using your brain is good for you.

Last edited by Arise; 07-10-2014 at 11:24.
Arise is offline   Reply With Quote
Old 07-10-2014, 11:25   #9
mbc
VIP
 
mbc's Avatar
 
Join Date: Oct 2010
Location: Cluj-Napoca
Posts: 28,841
Mentioned: 1490 Post(s)

PC-ul meu



Default

Nu merge RAID 1 pe 3 discuri. In practica. Poate doar la controllere adevarate, nu la ce are el. La HP nu merge, de exemplu.
__________________
[PC-ul meu], Thinkpad T14
mbc is offline   Reply With Quote
Old 07-10-2014, 11:47   #10
Arise
VIP
 
Arise's Avatar
 
Join Date: May 2011
Posts: 18,987
Mentioned: 790 Post(s)

PC-ul meu



Default

Nu am experiență cu controllere hardware, dar software merge fără nici un fel de problemă.
__________________
Using your brain is good for you.
Arise is offline   Reply With Quote
Old 07-10-2014, 17:11   #11
Luc
Senior Member
 
Luc's Avatar
 
Join Date: Sep 2010
Location: Arad
Posts: 367
Mentioned: 2 Post(s)


Default

Quote:
Originally Posted by Arise View Post
raid5 pe 3 discuri e mai avantajos dpdv al spatiului (dublu fata de raid1).


Sent from my iPhone using Tapatalk
asta fiind si motivul pentru care am ales varianta RAID5.

@mbc: de cateva zile am reintrodus vechiul Spinpoint pe care il scosesem fiindca tot clickaia (are si el o varsta), si toate torentele merg pe el acum. Nu am mai mentionat si ca am un 840 EVO pentru OS si suita Adobe cu care lucrez, deci sunt cat de cat in graficul tau

Multumesc tuturor pentru sugestii, se pare ca am facut o greseala. In mod ideal ar trebui sa fac acum un back-up la toate datele (2.4TB...) pe un alt hard, sa scot RAID5-ul si sa fac un RAID1 din 2 Red-uri, iar pe al 3-lea ma gandeam sa il pun intr-un rack extern pe care sa nu-l tin conectat la PC. Un fel de back-up la back-up care sa fie si mai safe, ca sta doar in sertar.
__________________
Luc is offline   Reply With Quote
Old 07-10-2014, 17:20   #12
mbc
VIP
 
mbc's Avatar
 
Join Date: Oct 2010
Location: Cluj-Napoca
Posts: 28,841
Mentioned: 1490 Post(s)

PC-ul meu



Default

Ideea de baza: tine datele importante pe hdd separat de datele neimportante
__________________
[PC-ul meu], Thinkpad T14
mbc is offline   Reply With Quote
Old 07-10-2014, 17:39   #13
Arise
VIP
 
Arise's Avatar
 
Join Date: May 2011
Posts: 18,987
Mentioned: 790 Post(s)

PC-ul meu



Default

Păi ar trebui să te decizi dacă prioritizezi spațiul (pentru capacitate dublă) cu RAID5 sau siguranța cu RAID1 cu 3 diskuri (sau 2 și un offsite backup).

Pentru torrente e mai bine să folosești un HDD separat.
__________________
Using your brain is good for you.
Arise is offline   Reply With Quote
Old 07-10-2014, 17:43   #14
Luc
Senior Member
 
Luc's Avatar
 
Join Date: Sep 2010
Location: Arad
Posts: 367
Mentioned: 2 Post(s)


Default

Dar la RAID5 nu am si spatiu si siguranta? Din cate stiu, imi poate crapa oricare hard din cele 3 si nu pierd nimic.
__________________
Luc is offline   Reply With Quote
Old 07-10-2014, 17:57   #15
Neo
Ancient friend
 
Neo's Avatar
 
Join Date: Mar 2010
Location: event horizon
Posts: 10,355
Mentioned: 386 Post(s)


Default

S-a descoperit statistic că de obicei dacă ai luat toate HDDurile odată, sunt șanse maxime să crape toate odată (sau, cel puțin, >1). Prin urmare, eu văd RAID 1 și un HDD separat (offline backup) ca fiind soluția cea mai bună.

Asta sau NAS cu ZFS și-ai scăpat de dureri de cap, dar înseamnă o investiție destul de serioasă (ECC RAM, etc).

Eu de obicei fac backups regulate pe Bluray (devine ineficient la cum se strânge media lol), dar măcar știu că am hard copies.
__________________
In Țara minunilor Periferice [Partea 1]. Keyboard Wonderland [Part 1].
HHKB Hybrid Type-S review - ro & en.
GMMK Pro Review - ro. GMMK2 Review - ro.
Neo is offline   Reply With Quote
Old 07-10-2014, 18:46   #16
Luc
Senior Member
 
Luc's Avatar
 
Join Date: Sep 2010
Location: Arad
Posts: 367
Mentioned: 2 Post(s)


Default

De aveam o camara sau pivnita mergea, ca o nunta are in medie 80GB raw footage
__________________
Luc is offline   Reply With Quote
Old 07-10-2014, 22:09   #17
kretzu77
Ancient friend
 
kretzu77's Avatar
 
Join Date: Dec 2010
Location: după colţ, vis a vis de clădirea aia din faţă
Posts: 22,609
Mentioned: 736 Post(s)

PC-ul meu



Default

Eu am raid10 (din 4 hdd-uri de 640GB; am de fapt doar 2*640GB).
Si cu toate astea tot fac backup pe NAS la anumite directoare (pe NAS avand raid1 de 2*2TB).
Si cu toate astea, anumitor directoare de pe NAS le fac backup pe un hdd extern (WD 1TB USB) legat la NAS.

Stiu, sunt paranoic.

Dar tocmai ce o persoana din gasca a pierdut toate filmele si pozele de cand s-a nascut fi-su' si pana acum (2 ani). Le avea pe toate pe un hdd extern chior.
A trebuit sa apeleze la recuperare profesionala, cu costurile de rigoare (dupa ce am incercat chiar sa scot hdd-ul din carcasa si sa-l conectez direct la PC; fara rezultat favorabil).


@Neo
Stocarea pe termen mediu (lung nu stiu daca este recomandat) pe optice trebuie facuta in anumite conditii de temperatura si umiditate. Le respecti?
__________________
Ne nastem pe rand si murim pe sarite.
Sa-ti dea iubita papucii spunand ca puteti ramane prieteni e ca si cum ti-ar muri cainele si maica-ta iti spune ca poti sa-l pastrezi.
kretzu77 is offline   Reply With Quote
Old 08-10-2014, 00:05   #18
Arise
VIP
 
Arise's Avatar
 
Join Date: May 2011
Posts: 18,987
Mentioned: 790 Post(s)

PC-ul meu



Default

@Luc Nu îmi place deloc cum pui problema, eu în principiu sunt de acord cu folosirea RAID-ului în scopuri de backup, asta deși RAID-ul este doar pentru redundanță.

Dar RAID5 este mai problematic, comparativ cu RAID1 de exemplu.

Nu știu ce înțelegi tu din știința numită statistică/probabilistică, dar regula generală este că dacă ai trei HDD-uri ai mai multe șanse să se strice decât dacă ai avea doar două.

Să îți explic băbește, pe un exemplu mai comun.
Presupun că știi/ai auzit despre ruleta rusească. Aia în care bagi un glonț în butoiașul unui Colt apoi duci la tâmplă și apeși pe trăgaci.

Să zicem că toate HDD-uri din lumea asta sunt fix 6.
Poți să cumperi doar două să faci RAID1 sau să cumperi trei să faci RAID5.
Ambele variante îți permit să pierzi un singur HDD, al doilea HDD dacă pică înseamnă pierderea datelor.

Acum, revenim la pistol, ai două gloanțe sau 3 gloanțe. Întrebarea e simplă, în care caz crezi că ai ghinionul maxim?

Dacă ai avea un singur glonț șansele să te împuști ar fi de 1/6. Dacă ai avea două gloanțe șansele să te împuști sunt de 2/6. Iar dacă ai avea 3 gloanțe... șansele evident sunt 3/6.

Acum, să admitem că pică un HDD, adică să zicem că primul glonț te lovește, dar supraviețuiești, probabil că nu ai țintit bine.
Mai departe, șansele devin în primul caz 1/5 iar în al doilea caz 2/5. (5 pentru că din 6 gloanțe maxim, ai epuizat unul).

Deci, ce vreau să explic aici, cu cât ai mai multe HDD-uri cu atât cresc șansele ca unul dintre ele să pice la un moment dat.

Așa cum a scris Neo, HDD-urile din același batch, utilizate în condiții similare în RAID, tind să pice în același timp, la interval de câteva ore.

Există studii și calcule privind redundanța și resilience-ul, o să pun câteva linkuri, ideea este că în clipa în care pică un HDD trebuie să îl schimbi repede. Trebuie să iei în mod serios în calcul această variantă, trebuie să te întrebi în cât timp poți schimba acel HDD, dacă nu îl ai deja ca hot spare. Să cumperi un HDD înseamnă să dai comandă la emag, în cel mai bun caz să zicem ai 24H. Apoi, odată instalat, în funcție de capacitate, cu cât mai mare cu atât mai rău, trebuie să aștepți să se facă sync iar pe matrice. Poate dura și asta câteva ore bune, sau câteva zile chiar.

Dacă un HDD moare și faci rebuild pe RAID5 matrix, și în timpul rebuildului unul dintre HDD-uri are și el un sector defect, atunci adio. Extrem de complicat să recuperezi datele pentru că în RAID5 cu 3 HDD-uri se păstrează pe ele și datele și paritatea.
Dacă ești pe RAID1, este ușor să citești datele de pe un HDD chiar și offline în caz de probleme, mai poți recupera fișiere. De exemplu, ai două HDD-uri de 1TB în RAID1, poți oricând cumpăra alte două HDD-uri să zicem de 2TB, și copiezi la nivel de sector unul din HDD-urile de 1TB pe unul din cele două HDD-uri de 2TB, apoi cu ambele HDD-uri de 2TB conectate poți reconstrui matricea.

Găsești aici cifre și analize pe caz:
http://riceball.com/d/content/note-r...add-more-disks
http://blog.rlr-uk.com/2009/05/how-r...e-is-raid.html
http://evadman.blogspot.ro/2010/08/r...abilities.html
http://www.zdnet.com/blog/storage/wh...ng-in-2009/162

@kretzu77: e valabil și pentru tine, cu RAID10 ești mai puțin protejat decât cu RAID1.
__________________
Using your brain is good for you.

Last edited by Arise; 08-10-2014 at 00:14.
Arise is offline   Reply With Quote
Old 08-10-2014, 00:17   #19
Neo
Ancient friend
 
Neo's Avatar
 
Join Date: Mar 2010
Location: event horizon
Posts: 10,355
Mentioned: 386 Post(s)


Default

Quote:
Originally Posted by Luc View Post
De aveam o camara sau pivnita mergea, ca o nunta are in medie 80GB raw footage
Cu atâta mă întorc eu după o zi productivă. Editarea... pfffuuuh.

Stocarea este printre cele mai costisitoare lucruri dacă o faci cum trebuie. Nu-ți spune nimeni chestia asta cu răutate, doar că opțiunile sunt oarecum limitate și nimeni și nimic nu garantează că treburile nu se duc naibii.

Deci ai 2 soluții:
- alegi cloud (lol), HDD extern chior, discuri, HDDuri vechi, whatevs și-ți asumi riscurile (imense dpmdv);
- investești. Aici de foarte multe ori returul este oarecum proporțional cu investiția, în termeni de minimizarea riscului. Evident, shit happens și un NAS super țeapăn, cu proc bun, ECC DDR, controller RAID hardware, configurat în ZFS cum trebuie și alimentat de un UPS și configurat super corect e lovit de trăznet și te aia pe backups.

Quote:
Originally Posted by kretzu77 View Post
Dar tocmai ce o persoana din gasca a pierdut toate filmele si pozele de cand s-a nascut fi-su' si pana acum (2 ani). Le avea pe toate pe un hdd extern chior.
A trebuit sa apeleze la recuperare profesionala, cu costurile de rigoare (dupa ce am incercat chiar sa scot hdd-ul din carcasa si sa-l conectez direct la PC; fara rezultat favorabil).
This. Dacă ce ai este foarte important, ajungi să cheltuiești mult mai mult la final.


Quote:
Originally Posted by kretzu77 View Post
@Neo
Stocarea pe termen mediu (lung nu stiu daca este recomandat) pe optice trebuie facuta in anumite conditii de temperatura si umiditate. Le respecti?
Am discuri scrise acum 15 ani și încă mai merg Dar de obicei fac transfer când se modifică dimensiunile discurilor optice (i.e. au apărut DVDurile, am trecut tot ce era pe CD pe DVDuri, au apărut BR, am trecut toate DVDurile pe BR). Momentan am un set de BR pe care am backups critice - restul este pe HDDurile din computer unde am smartmontools automatizate cu ceva scripts să-mi ruleze și să-mi tragă palme dacă găsesc ceva în SMART - temporar până îmi pun pe picioare NASul. Trebuie oleac' de bulan, se pare că am Fingers crossed, lol.
__________________
In Țara minunilor Periferice [Partea 1]. Keyboard Wonderland [Part 1].
HHKB Hybrid Type-S review - ro & en.
GMMK Pro Review - ro. GMMK2 Review - ro.
Neo is offline   Reply With Quote
Old 08-10-2014, 00:41   #20
kretzu77
Ancient friend
 
kretzu77's Avatar
 
Join Date: Dec 2010
Location: după colţ, vis a vis de clădirea aia din faţă
Posts: 22,609
Mentioned: 736 Post(s)

PC-ul meu



Default

Quote:
Originally Posted by Arise View Post
@kretzu77: e valabil și pentru tine, cu RAID10 ești mai puțin protejat decât cu RAID1.
E singurul mod in care sa am si viteza si redundanta (cu marja de 1 disk busit maxim, desigur).
__________________
Ne nastem pe rand si murim pe sarite.
Sa-ti dea iubita papucii spunand ca puteti ramane prieteni e ca si cum ti-ar muri cainele si maica-ta iti spune ca poti sa-l pastrezi.
kretzu77 is offline   Reply With Quote
Reply

Thread Tools Search this Thread
Search this Thread:

Advanced Search
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

Similar Threads
Thread Thread Starter Forum Replies Last Post
World of Speed Chipicao Gaming 26 18-07-2014 16:25
CAD? CAM? Games? Speed. Neo Cutia de sub birou 54 27-09-2013 03:40
Need for Speed Hot Pursuit i860 Gaming 206 21-02-2012 15:40
Need for Speed Shift 2 yo_cristi Gaming 179 02-07-2011 08:51
Problema 'CPU Speed' Xybws Procesoare si chipseturi 3 13-05-2011 13:07

 
Forum Stats
Members: 9,575
Threads: 27,919
Posts: 783,105
Total Online: 3351

Newest Member: Skylinedoom

Latest Threads
- by matose
- by suzuki
- by Kspic

Advertisement

Partner Links



All times are GMT +3. The time now is 16:25.


Powered by vBulletin® Version 3.8.6
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.