Grid Kullanıcı Araçları
TR-Grid sitesinden
Konu başlıkları |
Grid Kullanıcı Araçları
Grid yapısında pek çok küme bilgisayarları bulunmaktadır ve bu bilgisayarlar üzerinde çalışan servisler sürekli kontrol edilmelidir. Gerek site yöneticileri veya kullanıcılar, gerek bölge yöneticileri sitelerin durumlarını devamlı kontrol ederek bir sorun oluştuğunda en kısa zamanda müdahale edebilirler. İzleme araçları yanında kullanıcılara rehberlik edecek, bir sorunla karşılaştıklarında veya bilgi edinmek istediklerinde başvurabilecekleri kaynaklar da kullanıcı araçları içinde anlatılacaktır.
Grid İzleme Araçları
Küme bilgisayarların oluşturduğu sitenin durumunu gözlemleme ve gerektiğinde yönetme olarak kullanılabilecek araçları kapsamaktadır. Siteden sorumlu personeller bu araçları kullanarak, gerektiği durumlarda müdahalede bulunurlar.
GOCDB (The Grid Operations Centre DB)
GOCDB: https://goc.grid-support.ac.uk/gridsite/gocdb2/index.php
Dünya üzerinde dağınık olarak bulunan tüm sitelerin kaydının tutulduğu yerdir. Site ile ilgili,
- Sorumlu personel iletişim bilgileri
- Bölge ve ülkesi
- Sitenin durumu
- Çeşitli hesaplama kaynakları
- Arıza tanımı ve zamanı
Gibi statik bilgileri tutar. Diğer kullanıcı araçları da bu veri tabanını kullanabilmektedir. Site ile ilgili bakım çalışmaları yapıldığında, işlemin tanımı ve ne kadar süreceği kullanıcılara bu araç aracılığıyla bildirilir. Site bakıma alındığında belirtilen zaman aralığında iş gönderilemez. Site ile ilgili işlemler bitiminde sorumlu personel tarafından tekrar hizmete açılır.
SAM (Service Availability Monitor)
SAM: https://lcg-sam.cern.ch:8443/sam/sam.py
Test tanımlamaları ve sonuçları, site bilgileri Oracle veri tabanı kullanılarak kaydedilir. Sorgulamalar bu veri tabanı üzerinden yapılır. SFT (Site Functionality Test) denetleme aracının daha gelişmiş halidir. LCG orta katman mimarisinde anlatılan hesaplama veya depolama elemanı, kaynak aracısı vb. gibi ana servislerin durumları hakkında bilgiler verir. Farklı zaman aralıklarında belirtilen siteye deneme işleri gönderilir ve gönderilen bu işlerin sonuçları bu araç aracılığıyla gösterilir. Böylece site üzerinde çalışan servisler hakkında bilgi edinilerek, problemlerin oluşması durumunda daha hızlı bir şekilde çözümleme sağlanır.
GSTAT
GSTAT: http://goc.grid.sinica.edu.tw/gstat/
Gridi oluşturan tüm sitelerin durumu GSTAT kullanılarak görülür. Grid hesaplama elemanını(CE) sorgulayan LDAP tabanlı filtre öğesini kullanır. Filtre, web portalları tarafından kullanılması amacıyla işlenmiş veriyi üretir.
Şu an 50 farklı ülkede toplam 237 site bulunmaktadır. Bu sitelerin hangisinde problemin olduğu veya site ile ilgili uyarıların olup olmadığı buradan gösterilir. Toplam işlemci ve boş olan işlemci sayısı, çalışan ve bekleyen işlerin sayısı, kullanılan depolama kaynaklarının miktarı gibi grid hakkında genel bilgiler verebilir.
Bilgi alınmak istenilen sitede hangi yazılım ve paketlerin kurulu olduğu bilgisini verir.
Grid hakkında genel bilgi verebildiği gibi, gridi oluşturan siteler hakkında da detaylı bilgiler verebilmektedir. Site de kullanılan orta katman yazılımı, işlemci sayısı ve depolama kaynağının miktarı bilgileri yanında sitenin yoğunluğunu belirten çalışan, bekleyen iş sayısı ve kaynakların kullanılma miktarını da gösterebilen bir araçtır. Tüm bu bilgilerin yanında, GSTAT kullanılarak sitenin bulunduğu ülke ve koordinatları ve desteklediği sanal organizasyonlara kadar çeşitli bilgiler edinebilinir.
RTM (Real Time Monitor)
RTM: http://gridportal.hep.ph.ic.ac.uk/rtm/
Dünya üzerinde coğrafik olarak dağınık bulunan tüm siteler ve bu siteler üzerinde çalışan işler hakkında gerçek zamanlı görsel bilgiler sunan araçtır. Bilgiler farklı formatlarda gösterilebilir. Bunlar;
- 2 Boyutlu haritada gösterimi
- Günlük raporlamalar
- 3 Boyutlu yerküre üzerinde gösterimi
- Google Earth
GSTAT izleme aracına benzer şekilde tüm grid hakkında bilgi alınabildiği gibi siteler hakkında da bilgi alınabilir. Grid üzerinde tüm işlerin durumlarına göre (gönderilmiş, bekleyen, çalışan, başarılı şekilde sonlanan, …) iş sayıları yanında siteye özgü çalışan işlerinde hakkında bilgiler verir.
RTM'de görselliği sağlamak için Java kullanılmıştır. Arka planda mySQL veri tabanı ile birlikte R-GMA bilgi servisi kullanılarak bilgiler sürekli güncellenir. Böylece sitede ki tüm işlemler için gerçek zamanda oluyormuş görüntüsü elde edilir. Biten işler anında temizlenmez.
TR-GRID Pakiti
TR-Grid Paliti: http://www.grid.org.tr/servisler/gridaraclari/pakiti/
Ulusal gridimizi oluşturan TR-GRID sitelerini denetlememizi sağlayan araçtır. Siteler de güvenliğin ve tutarlılığın sağlanması için çalışan servislerin düzenli şekilde güncellenmesi gerekmektedir. Pakiti aracı, site üzerinde bulunan her bir makinenin güncelleme durumları ile ilgili bilgi vermektedir. Böylece site yöneticileri güncellemede yazılımların çekilmesi gereken sürümlerini buradan kontrol edebilir.
TR-Grid GANGLIA
TR-Grid Ganglia: http://www.grid.org.tr/servisler/gridaraclari/ganglia/
Site yöneticisine makinelerinin durumu hakkında bilgi verir. Her bir site hakkında bilgi alınabileceği gibi, siteleri oluşturan host makineleri içinde bilgi alınabilir. Aşağıdaki bilgileri sunar.
- Makine türü
- İşletim sistemi
- İşlemci sayısı ve hızı
- Toplam bellek
- Kullanım yükü
TR-Grid MRTG
TR-Grid MRTG: http://www.grid.org.tr/servisler/gridaraclari/mrtg/
Şimdiye kadar bahsedilen her bir izleme aracı, ya grid hakkında ya da site hakkında bilgiler sunmakta idi. MRTG izleme aracı ise kaynaklar arasında ki ağ trafiği ile ilgili bilgiler vermektedir. Her bir gigabit ethernet trafiği ile ilgili detaylı bilgiler MRTG aracı kullanılarak alınabilir.
TR-Grid NAGIOS
TR-Grid Nagios: http://www.grid.org.tr/servisler/gridaraclari/nagios/
Ulusal gridimizi oluşturan tüm sitelerde ki makinelerin durumları ile ilgili bilgileri teknik personele sunar. Her bir makineye ping atılarak o makinenin durumu gözlenir. Eğer sorun varsa problem mail aracılığıyla teknik personele iletilir. Mailde makinenin adı ve IP adresi, durumu ve ping atılan zamanı bildirilir. Problem çözüldükten sonra da aynı yöntemle personel bilgilendirilir.
Grid Bilgi Edinme Araçları
Şu ana kadar tanımlanan tüm araçlar genel olarak grid veya site üzerinde çalışan servisler, kullanıcıların gönderdiği işler veya ağ trafiği ile ilgiliydi. Burada ise kullanıcılara rehberlik edebilecek, bir sorunla karşılaştığında çözümü bulabilecek kaynaklar verilecektir.
LCG Directory
LCG Directory: http://lcg.web.cern.ch/LCG/Sites/the-LCG-directory.html
Grid hakkında kullanıcıların veya site yöneticilerin gereksinim duyduğu tüm kaynaklar burada verilmektedir. Bunun yanında çeşitli linkleri de sağlayarak büyük bir bilgi havuzu oluşturmaktadır.
GOC WIKI
Goc Wiki: http://goc.grid.sinica.edu.tw/gocwiki/
- Yönetici rehberi (Site kurulumu ve düzenlenmesi)
- Olası problemleri düzeltme rehberi
- Kullanıcı Rehberi
- Sık sorulan Sorular
- Kullanıcı Destekleyici dokümanlar
Gibi hem site yöneticilerinin hem de siteye iş gönderebilir kullanıcıların yararlanabileceği bilgileri sunar.
GridPP
GridPP: http://www.gridpp.ac.uk/wiki/Main_Page
Fizikçi ve bilgisayar bilimcileri tarafından oluşturulmuş işbirliğidir. GridPP Siteleri, orta katman, sanal organizasyonlar, güvenlik, denetim ve izleme, LCG hizmetleri ve yararlı linkler hakkında bilgiler buradan bulunabilir.
Glite-3.1User Guide
Glite-3.1 User Guide: https://edms.cern.ch/file/722398//gLite-3-UserGuide.html
Kullanıcılara glite ortakatmanı ile ilgili pek çok bilgi veren bir dokümandır. Genel olarak orta katman mimarisinin kullanıcılara yönelik anlatımı yanında bir işin nasıl gönderileceği, durumunun nasıl öğrenilebileceği gibi iş yönetimi yanında verilerinizin nasıl grid ortamına taşınacağı, üzerinde ne gibi işlemler yapılabileceği ve sonuçların nasıl kendi makinenize alınabileceği gibi önemli bilgileri de kullanıcılara sunar.
Savannah
Savannah: https://savannah.cern.ch/
Kullanıcıların gridi kullanırken karşılaştığı problemlere çözüm bulduğu yerdir. Var olan tüm bugların listesi de burada yayınlanmaktadır. Böylece kullanıcılar karşılaştıkları sorunlara çözüm bulabilirler. Kullanıcılar, bundan önce problemlere getirilen çözümlerden faydalanabileceği gibi kendi problemlerini de buraya yazabilirler.
JDL Yardımcı Dökümanı
JDL Dökümanı(doc): http://www.goc.ac.cn/download/EGEE-JRA1-TEC-590869-JDL-Attributes-v0-7.doc
JDL Dökümanı(pdf): https://edms.cern.ch/file/555796/1/EGEE-JRA1-TEC-555796-JDL-Attributes-v0-8.pdf
Kullanıcılar site kaynaklarını kullanabilmeleri için, iş gereksinimlerine bağlı olarak bir JDL (İş tanımlama dili) dosyası hazırlamalıdır. Bu dosyada genel olarak iş tipi, girdi ve çıktı dosyaları isimleri, varsa parametrelerin geçirilmesi veya göndermek istedikleri sitenin ismi tanımlanır. Bu dökümanlarda bir işin özelliklerini kullanıcının nasıl tanımlayacağı ile ilgili detaylı bilgiler bulunmaktadır.
