ISCSI áruház szegény
Jó napot, kedves közösségéhez!
Ebben a cikkben szeretném megosztani a tapasztalatokat létrehozásának lemezt, ami sok kísérletezés, próbálgatás és leletek, ízesített keserű csalódások. És végül, hogy véget ért egy elég érdekes, tekintettel a költségvetési és gyors tárolására.
Ha egy hasonló probléma, vagy csak érdekli a cím, akkor szívesen habrakat.
Így az utóbbi időben, mielőtt a tanszék az a feladat, hogy egy klaszter VMware ESXi 5.1 hypervisor tároló nagy mennyiségű. Rajta, azt terveztük, hogy helyezze a titkosított maildirből a galambdúc és a „felhő” fájlok tárolására. Feltétel költségvetési juttatás volt, hogy egy helyen kell tárolni a kritikus vállalati információk, és ez a rész kell titkosítani.
Sajnos, vagy talán szerencsére az ilyen nagyra törő célokat van egy nagy költségvetést nem terheli. Ezért engedheti meg, hogy alá márka tárolunk, mint igazi rajongók a szélsőségek, nem tudott, és a kiosztott fizikai erőforrások kiválasztotta a következő hardver:
- Server Chassis Supermicro CSE-836BE16-R920B
Sok volt a vita, válasszon az egységek száma, mérete merevlemezek, a sebesség, a test vagy, ha a platform, áttekintette a különböző lehetőségeket, füstölt és internet telepedett ez a verzió, mint az optimális feladatainkat. - Alaplap Supermicro MBD-X9DRI-F-O
Ennek legfőbb feltétele az volt jelenlétében 4 PCI-E x8 portok. - Processzorok Intel Xeon E5-2603
A választás egyszerű volt -, hogy már a pénzt. Emellett szükséges volt, hogy 2 processzor egyszerre egy helyett először, majd ha szükséges, akkor vásárolni, mert egy forgalmas slot mindössze 3 PCI-E, és mi volt 4. - Meghajtók Seagate Constellation ES.3 ST3000NM0033
SATA mert olcsóbb, és ugyanazt a pénzt is kapott több nagyobb mennyiségű helyet, mint amikor a SAS. - RAID vezérlő Adaptec ASR-7805Q
Mivel ez a tárolás, nem csekélység a vezérlő. Ebben a sorozatban van SSD caching, ami nagyon hasznos lenne számunkra, és ott BBU egyszer egy sor, ami szintén egy nagyon hasznos lehetőség. - SSD Intel SSDSC2CW240A310 kerekek
Ők csak akkor kell dolgozni MaxCache (aka SSD gyorsítótár). - Hálózati kártyák Intel X520 DA2
Annak elkerülése érdekében, a szűk hálózati felülethez, szükséges volt, hogy egy 10 GB közötti kapcsolat csomópontok és tárolás ESXi. Tanulmányozása után a piac kínálatát, mi jöhet, és nem túl elegáns, de alkalmas az ár és a sebesség a lehetőséget használja a 10 Gigabit Ethernet kártya.
Mindez kerül nekünk körülbelül 200 ezer rubel.
végrehajtás
A célok kiadni, hogy az, hogy biztosítsa a forrásokat tároló ügyfelek, úgy döntöttünk, hogy az iSCSI és NFS. A legésszerűbb és gyors megoldás természetesen az lenne, hogy használja a FCoE, hogy ne menjen be a TCP a kapcsolódó rezsiköltségek, amelyek általában meg lehetne tenni a mi hálózati kártyát, de sajnos nincs SFP a kapcsolót az FCoE támogatás, vásárolni nem volt lehetséges, mivel ez nekünk kerülni 500 TR felett.
Ismét füst internet, talált egy kiutat ebből a vn2vn technológia, hanem tanulni dolgozni ESXi vn2vn csak 6.x, így gondolkodás nélkül tovább kezdtünk mi is.
A vállalati szabvány Linux Server - CentOS, de a jelenlegi kernel (2.6.32-358) titkosítás nagyon lassú, ezért kellett használni, mint a Fedora operációs rendszer. Természetesen ez egy sokszög Red Hat, de az utóbbi magok Linux adatok titkosítva virtuálisan „on the fly”, és a többiek, mint például, nem szükséges.
Ezen felül, a jelenlegi változat 19 fogják használni, mint az alapját RHEL 7, ezért lehetővé teszi számunkra, hogy nyugodtan menjen CentOS 7.
Tehát, hogy ne fújja fel a cikket, és nem mozdulni a témakör kihagyja az összes érdektelen típusú vas szerelvény, döfés a vezérlővel, az operációs rendszer telepítése és egyéb dolgok. Azt is megpróbál a lehető legkevesebbet leírni magát a Target és korlátozni a megkezdett munkát az ESXi.
A célt szeretnénk kapni a következő:
Meet, itt vannak.
www.peach.ne.jp/archives/istgt
Régen a FreeBSD.
Cél működik elég jól, de néhány kivételtől eltekintve.
Először is, nem tudja, hogyan blockio, másrészt nem lehet, legalábbis nekem nem volt lehetséges, hogy különböző MaxRec és MaxXtran. A kis MaxRec szekvenciális írási sebessége nem több, mint 250 MB / s, és olvassa meglehetősen magas - 700 MB / sec. Kb 40K iopsov kaptam véletlenszerűen rögzítésekor 4k egy sorban mélysége 32. növekedése MaxRec rögzítési sebesség növelésével egészen 700 MB / sec olvasási esik 600 MB / sec. Iopsy esik olvasni 30K és 20K a rekordot.
Azaz, valami egyik találná a középutat, a beállítások módosítása, de valahogy úgy tűnt, nem Trouvé.
stgt.sourceforge.net
Ezzel Cél sikerül beállítani a felület a hypervisor. ESXi állandóan zavaros LUN - tudomásul egyiket a másik után, vagy már látja egyáltalán. Felmerült a gyanú, hogy probléma van a téves kötelező sorszámát, de előíró őket a config nem működik.
Sebesség is nem elégedett. Érünk el ez nagyobb, mint 500 MB / s, vagy olvasni, vagy nem tudott írni. A több IOPS - olvasható 20K, 15K írok.
Az eredmény - a problémát a config és alacsony a fordulatszám. Visszautasítani.
scst.sourceforge.net
Végül eljutottunk a verseny vezetője.
A visszaállítás után a kernel és a minimális értéket a célt kaptunk 750MB / s olvasási és 950MB / s írási. IOPS a fileio mód - 44K a 37K írni és olvasni. Azonnal, szinte egy dob.
Célozni ez tűnt a tökéletes választás.
iSCSI VMWare ESXi 5.1 SCST és Fedora
És most, sőt, amelyre mindannyian összegyűltek itt.
Kis cél utasításokkal beállításával és ESXi kezdeményezője. Nem azonnal úgy döntött, hogy írjon egy cikket a Habr, így az utasítás nem egy körökre - rekonstruálható memóriát, de ez lesz a csúcspontja a beállításokat, amelyek elérték a kívánt eredményt.
Előállítás ESXi 5.1
Az alábbi beállítások készülnek a hypervisor:
- konfigurált iSCSI-kezdeményező leválasztásuk Késleltetett ACK minden Cél. Ez összhangban tett: kb.vmware.com/selfservice/microsites/search.do?language=en_UScmd=displayKCexternalId=1002598
- kezdeményező paramétereket megfelelően változott a cél paraméterekkel:
InitialR2T = Nem
ImmediateData = Igen
MaxConnections = 1
MaxRecvDataSegmentLength = 1048576
MaxBurstLength = 1048576
FirstBurstLength = 65536
DefaultTime2Wait = 0
DefaultTime2Retain = 0
MaxOutstandingR2T = 32
DataPDUInOrder = Nem
DataSequenceInOrder = Nem
ErrorRecoveryLevel = 0
HeaderDigest = Nincs
DataDigest = Nincs
OFMarker = Nem
IFMarker = Nem
OFMarkInt = elutasítása
IFMarkInt = elutasítása
Be kell tiltani Megszakításmérséklés és LRO hálózati adapterek. Megteheti ezt a parancsot:
Annak érdekében, hogy újra nincs beállítva ezeket az értékeket, felveheti őket ebben a script:
előkészítés Fedora
Töltse le és telepítse a minimális változat a legújabb verzióját Fedora.
Mi frissíteni a rendszert, és újraindítás után:
A rendszer csak akkor fog működni a helyi hálózaton, így tiltva a tűzfal és a SELinux:
Állítsa be a hálózati interfész és ki a szolgáltatást NetworkManager.service. Ez nem egyeztethető össze BRIDGE interfészek, és szükség volt rá az NFS.
A NIC van tiltva LRO.
Az ajánlások szerint az Intel változtatni a következő rendszer beállításait:
Felkészülés a célt
De ahhoz, hogy ne okozzon nehézséget írom le részletesen ismertetjük.
Ide azok a környezet
A csomag telepítése építeni, és előkészíti a kernel forrás:
Most meg kell tennie javításokat. Töltse SCST SVN repository:
Másolás a szükséges pachti a
Add a sort a rendszermag konfigurációs:
Kernel.spec folytassa a szerkesztést.
Mi hozzá a javításokat, lehetőleg a másik után:
Adjuk hozzá a csapat a tapaszt felhelyezése, akkor ajánlott felvenni a másik után bejegyzéseket:
Miután minden intézkedésekről indít szerelvényt rpm kernel csomag tartalmazza a firmware fájlokat:
Az összeszerelés után befejeződött telepíti a kernel firmware és kernel headers:
A sikeres, remélem, hogy a letöltés megy a forrás könyvtárba és SCST root felhasználó összeszedni magát célzása:
Az összeszerelés után, adjuk hozzá a szolgáltatás az induláskor:
És állítsa be a konfigurációt /etc/scst.conf. Például, az én:
Beállítása után a konfigurációs fájlokat, futtatni SCST:
Ha mindent helyesen tette, hogy a megfelelő célpont tűnik ESXi.
Köszönöm, hogy elolvasta a végéig!