RAID nopeaksi editointilevyksi?

[zone6]

Levy on aikamoinen pullonkaula välillä ja suuret SSD:t eivät ole taloudellisesti järkeviä.
Nopeuden puute näkyy videotouhujen lisäksi mm. photoshopista tallennettaessa. Kuvan tallennus voi viedä helposti sen minuutin-kaksi. Kuvat kuitenkin ovat helposti yli 2G kokoisia joten tiff:n käyttö on pakollista.

Onko kokemusta USB3:seen laitetusta RAID1-levystä, tuoko paljon lisänopeutta verrattuna tuollaiseen sata3:ssa kiinni olevaan kovalevyyn?


Ajatuksena olisi järkeistää ulkoisten backup-levyjen kasaa ja samalla saada taas nopeudet ajan mukaisemmiksi tyyliin:

- sisäinen 4TB + sisäiset SSD-levyt nykyisellään jolloin järjestelmä ja välimuistit ovat SSD
- ulkoinen RAID, 2x 4TB jossa on kaikki kuva- ja videomateriaali (tai ehkä 2x6TB jotta olisi pari vuotta kasvunvaraa)
- ulkoinen JBOD jossa on useampi levy näkymässä isona backup-tilana. Esim. 8TB ja levyinä voisi käyttää nykyisistä ulkoisista irroitettuja.

Nykyään kun koneen takana on 4 ulkoista levyä lisäkapasiteettina ja varmistuksina, tuntuu johtohärdelli erillisine virtajohtoineen häiritsevältä.

[Rockford]

Jos 1 Tt SSD riittäis editointilevyksi niin miettisin kyllä ekana sitä. Siihen pitäis kuitenkin tuollainen 2 Gt kuva tallentua muutamassa sekunnissa, M.2 PCIe liitäntäisenä nopeamminkin (toki reilusti kalliimpi vaihtoehto). Voikohan pullonkaula muuten olla jossain muualla kuin levyssä jos tallennus todella on noin hidasta?

Ei kokemusta RAID:ista ulkoisena eikä sisäisenä, mutta ainakin tämän videon perusteella sisäisellä RAID0:lla saa ihan kivasti vauhtia isojen tiedostojen lukemiseen ja kirjoittamiseen: https://www.youtube.com/watch?v=2WmlNjYpefY" onclick="window.open(this.href);return false;

RAID1 on tietysti eri asia.

- ulkoinen JBOD jossa on useampi levy näkymässä isona backup-tilana. Esim. 8TB ja levyinä voisi käyttää nykyisistä ulkoisista irroitettuja.

Jotain tämmöistä olen itsekin tässä haaveillut, kun juuri tuli uusi 12 Tt datakovo koneeseen ja sen käyttönoton jälkeen ois 6+6+5+5 Tt levyt vapaana, mutta mihinkään noista ei mahdu tuon datalevyn varmuuskopio ja ainakaan mikään manuaalinen varmuuskopion palastelu useammalle levylle ei oikein kiinnosta.

Nykyään kun koneen takana on 4 ulkoista levyä lisäkapasiteettina ja varmistuksina, tuntuu johtohärdelli erillisine virtajohtoineen häiritsevältä.

Mulla on ollut vain 1 kpl eSATA-telakka, jossa olen käyttänyt useampaa irtolevyä varmuuskopiointiin.

[zone6]

SSD:n kanssa puljaamisessa on se ikävä, että editointia varten sinne pitäisi aina siirrellä tiedostot. Työnkulku ei silloin ole mitenkään sujuvaa kun kuvat kuitenkin ovat LR:ssä ja editointi tapahtuu joko sillä tai photoshopilla + muilla työkaluilla tilanteesta riippuen.

Videon kohdalla SSD on helppo koska editointiin tarvittavat videopätkät voi aina kopioida SSD-levylle työstöä varten.

[Rockford]

Minusta kuvien siirtely kokonaisina kansioina on LR:ssä hyvinkin sujuvaa ja itse tyhjäilen muistikortit aina 1Tt SSD:lle, jossa kuvat mahdollisuuksien mukaan säilötään niin pitkään että ne on käyty läpi.

Ymmärsin kuitenkin kysyjän tekevän isompia photarointeja joten silloinhan SSD:lle voi tallentaa vain ne PSD/TIFF-filet mitä photarista ulos tulee jolloin minuuttien tallennusaika pitäisi kutistua merkittävästi. Arvatenkin yhtä isompaa edittiä tulee tallennettua aika tiuhaan.

Tietenkään SSD ei silti poista etua mitä saa siitä että myös muu levy (muut levyt) on nopeampia jos/kun osa työstettävistä kuvista siellä väistämättä sijaitsee. Mukava noita pyörivien levyjen RAID:eja ois kokeilla rakennella jos budjetti kestäis ja en olisi näin allerginen metelille. Melun takia olen yrittänyt päästä siihen että normitilanteessa yksi pyörivä levy riittää.

[villeh]

Tähän voisi kirjoittaa aika pitkästikkin, koitan kuitenkin kiteyttää tämän nopeasti. Itselläni siis on ollut tuollainen viritys kohtalaisen kauan.

Käytössä on tuollainen 5 levyn RAID pakka. Nyt on pakko sanoa että ihan täysin en tuota uusinta setuppia muista mutta siellä taitaa olla nyt sisällä 4x 2T levyt ja RAID1.. noh jokainen voi tehdä tuosta sellaisen RAID kun omaan käyttöön haluaa joten en perustele enempää eri raid versioita.

Pakka on USB3 perässä ja editoin sillä pääasiassa 1080p kuvaa ja sitten kaikki NEF kuvat. Lisäksi Photo mechanic ingest hoitaa kaikki kuvat muistikortilta (XQD) suoraan tuonne pakalle, tässä ei ole mitään ongelmaa / lagimista.

4k kanssa tulee jonkinverran ongelmaa. Tähän auttaisi todnäk proxy.

Sitten olen itse toteuttanut jälkihoidon niin että kun se pakka on täysi niin ostan 1-2kpl (riippuen miten tärkeää materiaalia on tulossa) ja "tyhjennän" sen RAID pakan tuollaiselle uudelle normi 3,5" levylle ja nostan levyt palokaappiin. Lisäksi itse RAID pakan käynnistän vain kun editoin jotain.

Tässä pidän erityisen tärkeänä sitä että missään nimessä en säilytä niitä levyjä RAID formaatissa koska jos tuo pakka hajoaa esim fyysisesti, niin levyjähän ei sitten noinvain lueta. Sitten kun ne sen hetken materiaalit on kaikki normi levyllä ilman raidia, niin tyhjennän kaikki raidin levyt ja aloitan homman alusta.

Nyt tosin on olemassa jo thunderbolt pakkoja ja jos omistaa macin niin kannattaa melkein hankkia sellainen. Ja seuraava tulevaisuuden steppi ainakin itellä on että tulee pienempi (tilan suhteen) raidi ja sisällä on SSD levyt. Esim 2-3x 1T tai 2-3x 512Gb ja tuo vaatii vain sitten hieman nopeamman tahdin tyhjentää ne levyt normi 3,5" levyille mutta nopeus on todnäk sitten taas ihan omaa luokkaansa.

[zone6]

RAID:n rinnalla minäkin käyttäisin backup-levyä sekä pilvivarmistusta (molemmat nytkin käytössä).

Onko useamman kuin kahden levyn RAID:lla mitä lisäetuja? Enemmän nopeutta?

[villeh]

RAID:n rinnalla minäkin käyttäisin backup-levyä sekä pilvivarmistusta (molemmat nytkin käytössä).

Onko useamman kuin kahden levyn RAID:lla mitä lisäetuja? Enemmän nopeutta?

Luonnollisesti kärsii hajota useampi levy. Riippuu hirveästi millaisia määriä sitä dataa tulee, itse en ainakaan mihinkään pilvihommaan lähtisi koska hyvin yleisesti niissä on esim 1 megan maksimi upload.

Raid on varma valinta että kärsii hajota yksi/kaksi levy(ä) ja siittä sitten backup kiinteästi muualle.

[mremonen]

Onko useamman kuin kahden levyn RAID:lla mitä lisäetuja? Enemmän nopeutta?

Riippuu RAID-toteutuksesta. Nopein on RAID 1 lukutapahtumien osalta ja se voidaan rakentaa kahdella identtisellä levyllä. Kapasiteetti on sama kuin yhden levyn kapasiteetti. RAID 10 (1+0) on nopein kirjoitus- ja lukutapahtumien osalta, mutta se vaatii neljä identtistä levyä, joista kokonaiskapasiteetiksi tulee puolet yhteenlasketusta kapasiteetista.

Vikasietoisin on RAID 6, mutta sitä yleisempi RAID 5 myös antaa eniten käytössä olevaa levytilaa käytettyjä levyjä kohden. Mitä enemmän RAID 5-pakassa on levyjä, sitä pienempi overhead on. RAID 5 on kuitenkin hitaampi kuin yksittäinen levy ja vikatapauksessa erittäin hidas. Minimissään RAID 5 vaatii kolme identtistä levyä.

Mulla on koneen sisällä (SSD-levyjen lisäksi) RAID10 (RAID 1+0) neljällä kolmen teran levyllä tehtynä. NAS-purkissa sitten viisi 2.5 teraista RAID5-konfiguraatiossa.

[zone6]

Isommilla RAID-tasoilla myös hinnat nousevat. 4 levyn pakka ei enää ole ihan halpaa - äkkiä saa lähelle samaa kapasiteettia yhdistämällä SSD-levyjäkin.

RAID 1:n hyödyt tulevat siis vain lukiessa ja kirjoitus on yhä junnaavan hidasta?

[JoeSupreme]

Itselle nämä Raidit on jotenkin jäänyt hieman mysteeriksi.
On mahdollista että se miten RAID toimii liittyy myös RAID ohjaimesta, tai siitä onko RAID tehty softapohjaisesti esim. Windows 10:llä tämä nykyään onnistuu.

Nämä kaksi testiä olen itse omakohtaisesti tehnyt, kyseessä emolevyllä olevassa rautatason RAID tuesta intelin piirisarja Z68 (Tjsp), kyseessä 2x 1TB Samsungin levyjä:

RAID 0 = Luku ja kirjoitusnopeus ovat lähes yhtä kuin molempien levyjen kirjoitus-lukunopeus on, ollen n. 250 MB/S, oisko yksittäin ollut 150MB/S ja yhteinen levytila oli 2 TB

RAID 1 = Luku ja Kirjoitus nopeus olivat sitä mitä yhden yksittäisen levyn, näin ollen n. 150MB/S. Testasin nämä kovalevyn kirjoitus / Lukunopeutta mittaavalla ohjelmalla, jostain syystä en minkäänlaista nopeus hyötyä koskaan tästä saanut. Yhteinen levytila näin ollen 1 TB koska oli peilattu keskenään.

Sittemmin olen purkanut pois käytöstä rautatason RAID:n koska siinä on riski että jos emolevy hajoaa, en näitä RAID:ia voi avata toisella järjestelmällä, vaan siirtynyt käyttämään Windows 10:n softatason raidia joka on toiminut ihan hyvin. En ole eroa huomannut toistaiseksi alkuperäisiin viritelmiin vuoden-kahden aikana.

Ja tosiaan RAID 0 nyt kyseessä ja käytän tätä photarin / lightroomin cache asemana ja onhan se vähän kökön hidas vrt. mihin tahansa SSD asemaan.

[Rockford]

Isommilla RAID-tasoilla myös hinnat nousevat. 4 levyn pakka ei enää ole ihan halpaa - äkkiä saa lähelle samaa kapasiteettia yhdistämällä SSD-levyjäkin.

RAID 1+0 hukkaa tietysti suhteellisen paljon levytilaa. Toisaalta tuttu päivitti vasta Macissä kiinni olevan Drobon levyt, nyt siis 5x WD Red 8TB, josta siis saanee käyttöön noin 30TB niin en kyllä aivan ymmärrä miten saat SSD-levyjä yhdistämällä lähellekään samalla hinnalla tuon tallennustilan?

Noi WD:n levyt maksanee noin 1300€, jolla hinnalla saa nähdäkseni noin 5TB SSD-levyä.

[mremonen]

Isommilla RAID-tasoilla myös hinnat nousevat. 4 levyn pakka ei enää ole ihan halpaa - äkkiä saa lähelle samaa kapasiteettia yhdistämällä SSD-levyjäkin.

Mutta RAIDilla haetaan sitä vikasietoisuutta, ei nopeutta.

RAID 1:n hyödyt tulevat siis vain lukiessa ja kirjoitus on yhä junnaavan hidasta?

Khyl. Tai oikeastaan, jos ei ole rautatoteutusta (RAID hoidettu softalla, kuten näissä PC-laitteissa yleensä), niin kirjoitus on itse asiassa hitaampaa. Koska on kirjoitettava kahdelle levylle ennen kuin homma on pukka. Ja softatoteutuksessa se ei tapahdu yhtäaikaa, vaan ensin kirjoitetaan toislle ja sitten toiselle levylle.

Lukutapahtuma on nopeampi, koska lukee kahdelta levyltä yhtäaikaa ja etenkin normaalien kiintolevyjen tapauksessa saadaan seek-timeista napsastua pois, kun on kaksi eri plättää. Mutta aika marginaalista tuo nopeutus.

[mremonen]

Sittemmin olen purkanut pois käytöstä rautatason RAID:n koska siinä on riski että jos emolevy hajoaa, en näitä RAID:ia voi avata toisella järjestelmällä, vaan siirtynyt käyttämään Windows 10:n softatason raidia joka on toiminut ihan hyvin.

RAID1:n voi aina purkaa yksittäisiksi levyiksi. Eritoten, jos on toteutettu raudalla, koska silloin ne levyt ei ymmärrä RAIDista mitään. Tekevät vain mitä käsketään.

Ja tosiaan RAID 0 nyt kyseessä ja käytän tätä photarin / lightroomin cache asemana ja onhan se vähän kökön hidas vrt. mihin tahansa SSD asemaan.

Cache-asemaksi suosittelen SSD:tä. Mulla on sellainen väylässä oleva Asuksen RAIDR, kun on vain SATA-liityntöjä emolla.

[mremonen]

nyt siis 5x WD Red 8TB,

WD:n REDit on lähinnä NAS-purkkeihin tarkoitettuja. Painotettu luotettavuutta nopeuden kustannuksella. Mutta datalevyinä menevät, jos välimuisti on hoidettu muuta kautta.

[zone6]

Isommilla RAID-tasoilla myös hinnat nousevat. 4 levyn pakka ei enää ole ihan halpaa - äkkiä saa lähelle samaa kapasiteettia yhdistämällä SSD-levyjäkin.

Mutta RAIDilla haetaan sitä vikasietoisuutta, ei nopeutta.

Kuka mitäkin hakee. Vikasietoisuutta en hae vaan vauhtia. Vikoja varten on backupit.

RAID 1:n hyödyt tulevat siis vain lukiessa ja kirjoitus on yhä junnaavan hidasta?

Khyl. Tai oikeastaan, jos ei ole rautatoteutusta (RAID hoidettu softalla, kuten näissä PC-laitteissa yleensä), niin kirjoitus on itse asiassa hitaampaa. Koska on kirjoitettava kahdelle levylle ennen kuin homma on pukka. Ja softatoteutuksessa se ei tapahdu yhtäaikaa, vaan ensin kirjoitetaan toislle ja sitten toiselle levylle.

Lukutapahtuma on nopeampi, koska lukee kahdelta levyltä yhtäaikaa ja etenkin normaalien kiintolevyjen tapauksessa saadaan seek-timeista napsastua pois, kun on kaksi eri plättää. Mutta aika marginaalista tuo nopeutus.

Luulin, että niissä Raid-purkeissa olisi ollut raudalla tuo. Siis niissä on sisällä joku purkka-linux joka raidaa softana levyt ja sitten myydään $$$-hinnalla pakettia?

[Rockford]

nyt siis 5x WD Red 8TB,

WD:n REDit on lähinnä NAS-purkkeihin tarkoitettuja. Painotettu luotettavuutta nopeuden kustannuksella. Mutta datalevyinä menevät, jos välimuisti on hoidettu muuta kautta.

Drobo lienee DAS eikä NAS, mutta WD Red on silti ymmärtääkseni suosituin levytyyppi mitä noissa käytetään. Ja yllättävän hiljaisia noi 5-levyn Drobot on noitten kanssa olleet.

WD näyttää käyttävän Redejä myös omassa DAS-tuotteessaan: https://www.youtube.com/watch?v=0omq8bVSjeY#t=45s" onclick="window.open(this.href);return false;