TR-Grid Uzerinde 7TeV'lik Veriler Uzerinde Analiz
TR-Grid sitesinden
Konu başlıkları |
GİRİŞ
Bu dokuman deneylerin de baslamasiyla gercek 7TeV LHC verileri uzerinde nasil analiz yapilacagini gostermek amaciyla hazirlanmistir. ntrDumper paketi kullanilarak 7 TeV'lik verilerin analiz edilmesi ve ROOT programi tarafindan daha incelenebilir hale getirilmesi ornek olarak gosterilmektedir. Boylece, yuksek boyutlardaki dESD/AOD bicimindeki veri setleri boyut olarak cok daha kucuk yer kaplayan duz(flat) bir ntuple'a donusturulerek analizde kullanilabilecek hemen hemen her cesit fizik nesnesi (elektron, muon, jet vs) ve tetikleyici (trigger) bilgisine kolayca erisilebilecektir. ntrDumper paketi analizle ilgili hemen her cesit fizik nesnesini icerdiginden, paketin bilgisayar kodu da kendi basina basit bir analiz koduna ornek teskil etmektedir.
9 Nisan 2010 tarihinde, TR ATLAS calisma grubu toplantisinda verilmis olan bu konuyla ilgili sunuma asagidaki link ile ulasabilirsiniz.
Hazirlanan dokumanda (SLC5 ortamında) Atlas 15.6.5 ve Ganga 5.5.3 sürümleri kullanılmıştır. Bunun için asagidaki adimlar takip edilmistir.
– PhysicsAnalysis/ExoticPhys/ExoticPhysTools/ntrDumper paketinin indirilmesi
– Athena ortamında derleme
– Ganga ile iş grid ortamına gönderme
– DQ2 üzerinden sonuçlar alınması
– ROOT programı ile histogram incelenmesi
• Kullanılan Veri Seti
– data10_7TeV.00152489.physics_MinBias.merge.AOD.f239_m433
Gereksinimler
Grid Sertifikasi
Yuksek Enerji Fizigi (YEF) kullanicilarimiz icin ayirmis oldugumuz lufer.ulakbim.gov.tr makinesinde kullanici hesabiniz olmasi ve gecerli grid sertifikaniza sahip olmaniz gerekmektedir. Asagida ki yonergeyi takip ederek hem kullanici hesabinizi actirabilir, hem de grid sertifikanizi edinebilirsiniz.
grid-cert-info komutu ile sertifikanizi gorunteleyebilir, sertifikanizi kullanabileceginiz sureyi sorgulayabilirsiniz. Sertifikanizin gecerlilik suresinin dolmus olmasi durumunda grid-teknik at ulakbim.gov.tr adresine durumunuzu bildirebilirsiniz.
Sanal Organizasyon
Sizin icin imzalanmis olan grid sertifikaniz bir sanal organizasyonla (vo) iliskilendirilmelidir. YEF calismayan kullanicilarimiz ulusal sanal organizasyonlarimizdan olan trgrida, trgridb, trgride … sanal organizasyonuna dahil edilmektedir. LHC verileri uzerinde analiz yapacaksaniz atlas organizasyonuna dahil olmalisiniz. .
voms-proxy-init –voms atlas komutu ile proxy yaratabiliyorsaniz bu vo'ya dahilsiniz demektir. Asagida bu konuyla ilgili bilgi bulabilirsiniz.
Var olan arac ve yazilimlar
ATLAS deneylerini destekleyen hesaplama merkezlerinin SLC5 isletim sistemine gecmeleri gerekmektedir. Isletim sistemleri ile birlikte orta katmani yazilimini 64 bitlik olan glite 3.2'ye cekmeleri de gerekmektedir. TR ULAKBIM sitesi uzerinde gerekli islemler tamamlanmis ve yeni cikan atlas yazilimlari yuklenmis durumdadir. 64 bitlik kurulu olan atlas yazilimlarinin listesi asagida verilmistir.
| VO-atlas-offline-14.2.25
VO-atlas-production-14.2.25.1 VO-atlas-production-14.2.25.10 VO-atlas-production-14.2.25.11 VO-atlas-production-14.2.25.2 VO-atlas-production-14.2.25.3 VO-atlas-production-14.2.25.4 VO-atlas-production-14.2.25.5 VO-atlas-production-14.2.25.6 VO-atlas-production-14.2.25.7 VO-atlas-production-14.2.25.8 VO-atlas-production-14.2.25.9 VO-atlas-offline-15.3.1 VO-atlas-production-15.3.1.1 VO-atlas-production-15.3.1.10 VO-atlas-production-15.3.1.11 VO-atlas-production-15.3.1.12 VO-atlas-production-15.3.1.13 VO-atlas-production-15.3.1.14 VO-atlas-production-15.3.1.2 VO-atlas-production-15.3.1.20 VO-atlas-production-15.3.1.21 VO-atlas-production-15.3.1.3 VO-atlas-production-15.3.1.4 VO-atlas-production-15.3.1.5 VO-atlas-production-15.3.1.6 VO-atlas-production-15.3.1.7 VO-atlas-production-15.3.1.8 VO-atlas-production-15.3.1.9
| VO-atlas-offline-15.5.0
VO-atlas-offline-15.5.1 VO-atlas-offline-15.5.2 VO-atlas-offline-15.5.4 VO-atlas-wzbenchmarks-15.5.4.1.1 VO-atlas-tier0-15.5.4.10 VO-atlas-offline-15.5.5 VO-atlas-offline-15.6.0 VO-atlas-production-15.6.0.1 VO-atlas-production-15.6.0.2 VO-atlas-production-15.6.0.3 VO-atlas-offline-15.6.1 VO-atlas-production-15.6.1.2 VO-atlas-production-15.6.1.3 VO-atlas-production-15.6.1.4 VO-atlas-production-15.6.1.5 VO-atlas-production-15.6.1.6 VO-atlas-production-15.6.1.7 VO-atlas-offline-15.6.3 VO-atlas-production-15.6.3.1 VO-atlas-production-15.6.3.10 VO-atlas-production-15.6.3.11 VO-atlas-production-15.6.3.12 VO-atlas-production-15.6.3.13 VO-atlas-production-15.6.3.14 VO-atlas-production-15.6.3.2 VO-atlas-production-15.6.3.3 VO-atlas-production-15.6.3.4 VO-atlas-production-15.6.3.5
| VO-atlas-production-15.6.3.6
VO-atlas-production-15.6.3.7 VO-atlas-production-15.6.3.8 VO-atlas-production-15.6.3.9 VO-atlas-offline-15.6.5 VO-atlas-production-15.6.5.3 VO-atlas-production-15.6.5.5 VO-atlas-wzbenchmarks-15.6.5.5.1 VO-atlas-offline-15.6.6 VO-atlas-production-15.6.6.1 VO-atlas-production-15.6.6.3 VO-atlas-production-15.6.6.4 VO-atlas-production-15.6.6.5 VO-atlas-production-15.6.6.6 VO-atlas-production-15.6.6.7 VO-atlas-offline-15.6.7 VO-atlas-production-15.6.7.4 VO-atlas-production-15.6.7.5 VO-atlas-production-15.6.7.7 VO-atlas-production-15.6.7.8 VO-atlas-offline-15.6.8 VO-atlas-production-15.6.8.2 VO-atlas-dq2clients-0.1.31 VO-atlas-dq2clients-0.1.32 VO-atlas-dq2clients-0.1.33 VO-atlas-dq2clients-0.1.34 VO-atlas-poolcond VO-atlas-cloud-NL VO-atlas-tier-T2 VO-atlas-gcc-x86_64-slc5 |
Asagidaki link uzerinden guncel yuklu olan tum yazilimlara ulasabilirsiniz. Calismak istediginiz yazilimin TR-Grid uzerinde bulunmamasi durumunda bize bildirebilirsiniz.
Bunun yaninda atlas kullanicilarinin ihtiyac duyacaklari ganga ve DQ2 gibi araclar da kullanici arayuzu uzerinde (kefal.ulakbim.gov.tr) kurulmus durumdadir. Kurulum esnasinda ilgili araclarin en guncel halleri kurulmustur.
- DQ2 Revision: 1.6 - Ganga 5.5.3-hotfix1
Kullanicilarimiz ileride farkli surumlere analiz icin ihtiyac duyduklarinda teknik merkezi (grid-teknik at ulakbim.gov.tr) haberdar etmeleri ve istekte bulunmalari gerekmektedir. Ortak alana talep edilen surum kurularak tum kullanicilarin yararlanmasi saglanabilir.
Cevre Degiskenlerin Tanimlanmasi
Asagida ki islemlerin sirasiyla yapilmasi gerekmektedir.
CMT ile kullanacağınız paketlerin ayarlanması
cd $HOME mkdir cmthome cd cmthome
cmthome dizini içerisinde yazacağınız requirements dosyasının içeriği aşağıdaki gibi olmalıdır. Boylece hangi yazilimla (SITEROOT parametresi) hangi dizinde (ATLAS_TEST_AREA) calismak istediginizi belirtmis oluyorsunuz. Bu iki parametreyi ihtiyaclariniz dogrultusunda degistirip calismaya baslayabilirsiniz.
set CMTSITE STANDALONE
set SITEROOT /opt/exp_soft/atlas/prod/releases/rel_15-17
macro ATLAS_TEST_AREA ${HOME}/testarea
macro ATLAS_DIST_AREA ${SITEROOT}
use AtlasLogin AtlasLogin-* $(ATLAS_DIST_AREA)
Hangi atlas yaziliminda hangi SITEROOT parametresini belirleyeceginizi asagidaki komutla ogrenebilirsiniz.
ls /opt/exp_soft/atlas/prod/releases/rel_1*/AtlasOffline/
/opt/exp_soft/atlas/prod/releases/rel_14-10/AtlasOffline/:
14.2.25
...
...
/opt/exp_soft/atlas/prod/releases/rel_15-19/AtlasOffline/:
15.6.7
/opt/exp_soft/atlas/prod/releases/rel_15-20/AtlasOffline/:
15.6.8
/opt/exp_soft/atlas/prod/releases/rel_15-4/AtlasOffline/:
15.3.1
/opt/exp_soft/atlas/prod/releases/rel_15-9/AtlasOffline/:
15.5.2
Ornegin 15.6.8 surumunu kullanmak icin asagidaki path degiskenini SITEROOT olarak belirlemelisiniz.
/opt/exp_soft/atlas/prod/releases/rel_15-20/AtlasOffline/
CMT ile setup dosyalarini olusturabilmek icin;
source /opt/exp_soft/atlas/prod/releases/rel_15-20/CMT/v1r20p20090520/mgr/setup.sh cmt config
requirements dosyasinda belirlemis oldugumuz calisma dizinini yaratip bu dizin altinda calisacagimiz atlas surumu icin gerekli cevre degiskenlerini asagidaki sekilde tanimliyoruz. Boylece calisma ortami istedigimiz atlas yazilimi ve dizin de hazirlanmis oluyor.
mkdir $TestArea cd $TestArea source cmthome/setup.sh -tag=15.6.5,setup,32
TestArea requirements dosyası içerisinde tanımladığımız yerdir.
/home_palamut2/akkoyun/testarea/AtlasOffline-15.6.5
SVN üzerinden analiz paketlerinin alınması gerekmektedir. Bunun için:
cmt co PhysicsAnalysis/ExoticPhys/ExoticPhysTools/ntrDumper
İlgili dizin içine giderek tekrar bu paket için ayarlama yapılması gerekmektedir.
cd PhysicsAnalysis/ExoticPhys/ExoticPhysTools/ntrDumper/cmt source setup.sh -tag=15.6.5,setup,32
Bu paketleri derlemek icin gmake komutu kullanilmalidir. Bu dokumanda derleme islemi kullanici arayuzu makinesi uzerinde yapilmistir. Cunku uzerinde degisiklik yapilan ntrDumper, diger makineler uzerinden erisilebilir durumda degildir. Eger buna benzer bir engelleme yoksa, derleme islemininde isin calisacagi hesaplama ucunda yapilmasi daha dogru bir yaklasim olacaktir. Cunku sizin calistiginiz bilgisayar ile karsi tarafta isin kosturulacagi bilgisayarin ozellikleri ayni olmayabilir.
Isin Test Edilmesi
Derleme sonrasi isin grid uzerinde kosturulmasi ve analiz sonuclarinin uretilebilmesi icin ganga kullanilmasi gerekmektedir. Ancak, ganga ile grid ortamina onlarca is gondermeden once lokalde test edilmesi size zaman kazandiracaktir. Cunku eger analiz isinizde bir sorun varsa, bu sorunu hizlica belirlemek lokalde daha hizli olacaktir. Diger durumda, gondermis oldugunuz isin planlanmasi, ilgili sitede bos cekirdek beklemesi, sonlanmasi ve bu sonucun WMS uzerinden aktarilmasi zaman alacak islemlerdir. Bu durumda bir hata mesaji icin saatleri bulan beklemeler yasayabilirsiniz. Bunun yerinde once isinizi lokalde test etmelisiniz, ancak test edeceginiz isin uzun sureli tum kaynaklari kullanmayacak olmasina dikkat etmelisiniz. Kullanici arayuzu makinesi farkli disiplinler de bulunan yuzlerce arastirmaci tarafindan kullaniliyor olup burada test calismalarinizin uzamasi diger kullanicilara zarar verecektir.
Kullanici arayuzu makinesinde test edebilmek icin run dizinine gecmeli ve input.txt dosyasini duzenlemelisiniz. Lokalde calisabilmek icin calisacaginiz veri setinden bir ROOT dosyasini bilgisayariniza tasimaniz gerekmektedir. Daha sonra bu dosyanin yerini atlas yazilimina input.txt dosyasini duzenleyerek gosterebilirsiniz. Bu ornekte ilgili dosya /tmp/akkoyun dizini altina kopyalanmistir.
cd .../run cat input.txt
/tmp/akkoyun/data10_7TeV.00152489.physics_MinBias.merge.AOD.f239_m433/data10_7TeV.00152489.physics_MinBias.merge.AOD.f239_m433._lb0022-lb0025._0001.1
Test isini baslatmak icin asagidaki komut calistirilmalidir.
python ntrDumperLCG.py
Bazi hata mesajlari verilse de gozardi edilebilir. Ileriki surumlerde bu hata mesajlari da kaybolmaktadir.
Analiz isleri icin grid ortamina alternatif olarak kume de kullanilabilir. TR ULAKBIM sitesine grid araciligiyla kefal'den is gonderebildiginiz gibi kume alarak da kullanilacak sekilde is gonderebilirsiniz. Bu, kefal uzerinde derlemis oldugunuz paket programlarini sanki ayni bilgisayarda kosturuyormussunuz gibi birden fazla cekirdekte calistirmaniza olanak saglayacaktir. Boylece, islerinizin log ve analiz sonucu dosyalari gercek zamanli takip edip hizli bir sekilde calismanizi sonlandirabilirsiniz. PBS araciligiyla ULAKBIM kumesinde is kosturabilmek icin teknik merkezle irtibata geciniz. Calismaniza ornek bir pbs betik dosyasi size saglanacaktir.
Ganga araciligiyla grid uzerinde kosturulmasi
Lokalde test ettikten ve sonuclari kontrol ettikten sonra bir sorun yoksa calismanizi onlarca isle grid ortamina ganga uzerinden gonderebilirsiniz. kefal uzerinden lxplus'da kurulu olan ganga aracini belirleyip calisabileceginiz gibi lokalde kurmus oldugumuz ganga aracini da kullanabilirsiniz. Daha hizli olmasi acisindan lokalde kurulan araci tercih etmenizi oneririz.
Kullanici arayuzu uzerinde kurulu olan gangayi kullanmak icin asagidaki komutu calistirmaniz yeterlidir.
/opt/exp_soft/atlas/tools/ganga/install/5.5.3-hotfix1/bin/ganga
AFS uzerinden lxplus'ta kurulu olan ganga'yi kullanabilmek icin asagidaki komutu calistirmaniz gerekmektedir.
source /afs/cern.ch/sw/ganga/install/etc/setup-atlas.sh ganga
Daha sonra hazirlamis oldugunuz konfigurasyon dosyasini ganga araciligiyla grid ortamina gonderebilirsiniz. gangaARA-testdata.py adli konfigurasyon dosyanizi calistirabilmeniz icin asagidaki komutu kullanmaniz gerekmektedir.
execfile('gangaARA-testdata.py')
Daha sonra Jobs komutu ile isinizin durumunu surekli sorgulayabilirsiniz. Isiniz basarili bir sekilde sonlandiktan sonra DQ2 araciligyla analiz sonrasi uretilen ntuple dosyalarini lokale tasiyabilirsiniz. Bundan once, konfigurasyon dosyasi bu ornekte su sekilde hazirlanmalidir.
#### j = Job() j.application=Athena() j.application.option_file=['ntrDumperLCG.py'] j.application.atlas_exetype='PYARA' j.application.atlas_release='15.6.5' j.application.athena_compile=False j.application.prepare() j.application.exclude_from_user_area=["*.o","*.root*","*.exe"] #### j.inputdata=DQ2Dataset() j.inputdata.dataset=['data10_7TeV.00152489.physics_MinBias.merge.AOD.f239_m433'] j.inputdata.names=['data10_7TeV.00152489.physics_MinBias.merge.AOD.f239_m433._lb0022-lb0025._0001.1'] j.inputdata.number_of_files=1 j.inputsandbox=['/home_palamut2/akkoyun/testarea/AtlasOffline-15.6.5/PhysicsAnalysis/ExoticPhys/ExoticPhysTools/ntrDumper/run/7TeVLBCollection.xml'] #### j.outputdata=DQ2OutputDataset() j.outputdata.outputdata=['histos.root' ] j.splitter=DQ2JobSplitter() #j.splitter.numsubjobs = 5 j.backend=LCG() j.backend.requirements.cloud='DE' j.submit() ####
Yukaridaki konfigurasyon dosyasinda onemli olan noktalar burada listelenmistir.
- Kullanacagimiz athena versiyonunun belirlenmesi gerekmektedir. Aksi takdirde derleme esnasinda kullanmis oldugumuz 15.6.5 yaziliminin olmadigi bir siteye bu is planlanabilir. Sonrasinda, isiniz ortam farkindan dolayi hata ile sonuclanir.
- Lokalde derledigimiz icin karsi tarafta derleme yapmasini istemedigimizi soyluyoruz. Yoksa, ntrDumper paketine erisemeyip derlenmis paketin yeni ortamda tekrar derlenmesine baslayacak olup gerekli dosyalari bulamayacagindan is baslamadan hata ile sonlanacaktir.
- Derleme sirasinda uretilen ve gereksiz yer kaplayan "*.o","*.root*","*.exe" uzantili dosyalarin cikartilmasini istiyoruz.
- Uzerinde calisacagimiz veri setini ve bu veri seti icinden secilmis dosyayi ganga'ya soyluyoruz. Secmis oldugumuz 7 TeV'lik gercek veri setinden bir tanesi uzerinde islem yapabilmek icin, bu konfigurasyon dosyasinda tek is tanimlanmistir.
- Bu örnekteki GRL(good run list) xml dosyası, ATLAS’ın run-query sitesi kullanılarak elde edilebilir. (Uyarı: Data quality ile ilgili bazı bilgiler bu konuşma hazırlandığı sırada eksik olduğundan bu örnek sadece deneme amaçlıdır.) 7TeVLBCollection.xml dosyasinin icerigi asagida paylasilmistir.
- Analiz sonrasi uretilecek olan ntuple dosyasinin ismini belirliyoruz.
- Isi grid ortaminda ozel bir cloud uzerinde planlayabiliriz. Burada Almanya'nin cloud sistemi secilmistir. Bizim dahil oldugumuz cloud Hollanda’da kurulmus olan NL'dir. Site ismi de belirtilerek isin dogrudan TR ULAKBIM merkezinde de calismasi planlanabilir. Ancak, bir isin belli bir hesaplama merkezinde calismasini istedigimizde o veri setinin burada bulunup bulunmadigi, ilgili atlas yaziliminin kurulu oldugunu kontrol etmelisiniz.
7TeVLBCollection.xml dosyasinin icerigi:
<?xml version="1.0" ?> <!DOCTYPE LumiRangeCollection SYSTEM 'http://atlas-runquery.cern.ch/LumiRangeCollection.dtd'> <LumiRangeCollection> <NamedLumiRange> <Name>MyLBCollection</Name> <Version>2.1</Version> <Metadata Name="Query">find run 152166+ and lhc stablebeams true and lhc beamenergy 3000-4000 and events 10+ and dq pix,sct,atlsol,atlgl g and dq lar,til,idgl,mdt,rpc y+ </Metadata> <Metadata Name="RunList">152409,152345,152221,152214,152166</Metadata> <Metadata Name="RQTSVNVersion">CoolRunQuery-00-02-42</Metadata> <Metadata Name="StreamListInfo"> <Stream Name="physics_CosmicCalo" TotalNumOfEvents="509449" NumOfSelectedEvents="369483"/> <Stream Name="physics_CosmicCaloEM" TotalNumOfEvents="62858" NumOfSelectedEvents="44966"/> <Stream Name="physics_CosmicMuons" TotalNumOfEvents="126652" NumOfSelectedEvents="0"/> <Stream Name="physics_L1Calo" TotalNumOfEvents="309166" NumOfSelectedEvents="288526"/> <Stream Name="physics_L1CaloEM" TotalNumOfEvents="151896" NumOfSelectedEvents="141287"/> <Stream Name="physics_MinBias" TotalNumOfEvents="9523056" NumOfSelectedEvents="8675391"/> <Stream Name="physics_MuonswBeam" TotalNumOfEvents="121134" NumOfSelectedEvents="88157"/> <Stream Name="physics_RNDM" TotalNumOfEvents="2432052" NumOfSelectedEvents="1959452"/> </Metadata> <LumiBlockCollection> <Run>152409</Run> <LBRange Start="126" End="716"/> </LumiBlockCollection> <LumiBlockCollection> <Run>152345</Run> <LBRange Start="128" End="207"/> </LumiBlockCollection> <LumiBlockCollection> <Run>152221</Run> <LBRange Start="5" End="167"/> </LumiBlockCollection> <LumiBlockCollection> <Run>152214</Run> <LBRange Start="159" End="201"/> </LumiBlockCollection> <LumiBlockCollection> <Run>152166</Run> <LBRange Start="206" End="300"/> </LumiBlockCollection> </NamedLumiRange> </LumiRangeCollection>
DQ2 ile sonuc dosyasinin alinmasi
İş bittikten sonra bu dosyanın DQ2 ile lokale taşınması gerekiyor. Analiz icin grid ortamina gonderilen islerin sonuclari, hesaplama merkezinin scratch adi verilen yerde tutulur. Bu veriler, belli bir sure sonra kullanici bildirilmeksizin silinecektir. (OSG alt yapisinda kullanicinin veri silinmeden bilgilendirilmesi var sadece.) Bu yuzden bu alanda uretmis oldugunuz analiz verilerini lokale tasimaniz gerekmektedir. Bunun icin asagidaki komut setlerini kefal uzerinden kullanmaniz gerekecektir.
DQ2 kullanabilmek için
source /opt/exp_soft/atlas/tools/DQ2Clients/setup.sh
Böylece tüm DQ2 komutlarına ulaşabilirsiniz. dq2-ls user10.emrah* komutu ile tüm dosyalarımı sorgulayabiliyorum.
user10.EmrahAkkoyun2.ganga.8.20100408/ user10.EmrahAkkoyun.0407080419.892317.lib._000001 user10.EmrahAkkoyun2.ganga.aca92ed21fa8a65efd1241cc50efe9bc.input user10.EmrahAkkoyun2.ganga.262b19b3acd9850a1e9123b0674f0f97.input user10.EmrahAkkoyun2.ganga.5.20100408.FZK-LCG2_SCRATCHDISK user10.EmrahAkkoyun2.ganga.5.20100408/ user10.emrahakkoyun.160310.evgenZnu4160.v10 user10.EmrahAkkoyun2.ganga.25662ab93f4b4937f66650dd1b31d1a2.input user10.EmrahAkkoyun2.ganga.13a0b7eceec212bc7758999ca6033dc4.input user10.EmrahAkkoyun.0407083352.601971.lib._000002 user10.EmrahAkkoyun2.ganga.1f73086869b2c8595ac6150236afc883.input user10.EmrahAkkoyun2.ganga.8659a0e94babfb8e6869caed3540f890.input user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK user10.EmrahAkkoyun2.ganga.1aef1fa17058ccaa0e9f38f6ceff6d94.input user10.EmrahAkkoyun2.ganga.6.20100408.FZK-LCG2_SCRATCHDISK user10.EmrahAkkoyun2.ganga.6.20100408/
8 Nisan'da bu analiz isi basarili bir sekilde sonlandigindan aradigim dosya ismimde 20100408 tarihi olmalidir. Ayni zamanda ganga ile gondermis oldugum isin numarasi 8 oldugundan bu da dosya isminde yer almalidir. Buna gore analiz sonrasi uretilen dosya asagidakidir.
user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK
Asagidaki komut ile bu dizinde kac adet dosyamin oldugunu, ne zaman yaratildigini ve boyutunun ne kadar oldugunu sorgulayabilirim.
dq2-ls -f user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK
user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK [ ] user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root e9c415b3-bb96-40cf-b5e3-67b0e53d69f5 ad:bd5d5af3 10072 total files: 1 local files: 0 total size: 10072 date: 2010-04-08 02:40:16
Son olarak, analiz sonrasi uretilen dosyayi bulduktan sonra grid ortamindan lokal bilgisayarima tasinmasi gerekmektedir. Bunun icin asagidaki komut kullanilir. Sonrasinda belirttiginiz isimdeki dizinin altina uretmis oldugunuz ntuple dosyasinin kopyasinin alindigini goreceksiniz. Komutun ciktilari incelendiginde hangi hesaplama merkezinden verilerin cekildigi, hangi srm bilgisi altinda bu dosyanin bulundugu ve transferinizin durumunu gorebilirsiniz.
dq2-get -f user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK
Querying DQ2 central catalogues to resolve datasetname user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK Datasets found: 1 user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK: Querying DQ2 central catalogues for replicas... Querying DQ2 central catalogues for files in dataset... user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK: Complete replica available user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK: Using site FZK-LCG2_SCRATCHDISK user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK: Querying local file catalogue of site FZK-LCG2_SCRATCHDISK... user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root: Getting SRM metadata for srm://atlassrm- fzk.gridka.de:8443/srm/managerv2?SFN=/pnfs/gridka.de/atlas/disk-only/atlasscratchdisk/user10/EmrahAkkoyun2/ganga/user10.EmrahAkkoyun2.ganga.8.20 100408/user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root: is cached. user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root: Starting transfer: lcg-cp -v --vo atlas -b -D srmv2 srm://atlassrm-fzk.gridka.de:8443/srm/managerv2?SFN=/pnfs/gridka.de/atlas/disk-only/atlasscratchdisk/user10/EmrahAkkoyun2/ ganga/user10.EmrahAkkoyun2.ganga.8.20100408/ user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root file:///home_palamut2/akkoyun/ user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/ user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root: 0/10072 transferred user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root: 10072/10072 transferred user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root: validated Finished
Uretilen dosya asagidaki sekildedir. user10 standart olarak dosya isminde gelmektedir. Daha sonra sertifika DN'inde (/C=TR/O=TRGrid/OU=TUBITAK-ULAKBIM/CN=Emrah Akkoyun2) bulunan CN kismi isme dahil edilir. Daha sonra ganga ile is gonderdiginizden ganga, isinizin o anki ID numarasi ve dosyanizin yaratilma tarihi gelmektedir. Son olarak ganga ya konfigurasyon dosyasinda belirttiginiz cikti dosyasinin ismi gelmektedir. Bu bilgiler, size DQ2 ile dosyanizi bulmanizda faydali olacaktir.
user10.EmrahAkkoyun2.ganga.8.201004080230002277._00001.histos.root
ntuple dosyasinin ROOT araciligiyla incelenmesi
Analiz sonrasi uretilen ntuple dosyalarini kefal uzerinden iki yolla incelemek mumkundur. Birincisi CERN'de kurulu olan ROOT programi cevre degiskenlerinin ayarlamasidir. Ancak, kurulum uzakta oldugundan bu yontem yavas olacagindan tercih edilmemelidir.
Ekranda goruntu alacaginizdan ssh ile baglanirken -Y parametresini kullanmalisiniz. Eger putty gibi windows uzerinden baglanacaksaniz Xforward11'e izin vermeniz gerecektir. Sonrasinda /afs uzerinden asagidaki tanimlamalari yaparak lxplus'da kurulu olan ROOT programini kullanabilirsiniz.
export ROOTSYS=/afs/cern.ch/sw/root/v5.10.00/slc3_gcc3.2.3/root export PATH=$PATH:$ROOTSYS/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ROOTSYS/lib
Ikinci ve tavsiye edilen yontem, kullanici arayuzunde kurulmus olan ROOT programinin kullanilmasidir. Cok daha hizli calisacak olan bu yontemle uretmis oldugunuz analiz dosyalarinin histogramini cizdirebilirsiniz. Bunun icin oncelikle cevre degiskenlerinin asagidaki sekilde tanimlanmasi gerekmektedir.
export ROOTSYS=/opt/exp_soft/atlas/root/ export PATH=$PATH:$ROOTSYS/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/exp_soft/cms/root/lib/root/
Daha sonra root dosyasi ile histos.root dosyasinin acilmasi gerekmektedir.
root -l user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/histos.root
root [0] Attaching file user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/histos.root as _file0...
.ls komutu ile ntuple hakkinda detaylari sorgulayabilirsiniz.
TFile** user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/histos.root TFile* user10.EmrahAkkoyun2.ganga.8.20100408.FZK-LCG2_SCRATCHDISK/histos.root KEY: TText ntrDumperInfo;1 $Id: ntrDumper.cxx 270884 2009-12-20 13:32:18Z eozcan $ Event info Container = ByteStreamEventInfo Truth Jet Container = Cone4TruthJets Electron Container = ElectronAODCollection Jet Container = AntiKt4H1TopoJets jet_moment branch filled with = SplitMerge Muon Container = StacoMuonCollection ETmiss Container = MET_RefFinal GoodRunsLists xml = /tmp/pbs.3611407.pbs3/gangajob_sax13227/7TeVLBCollection.xml muon triggers: mu10 2mu4 mu20_MSonly 2mu10 mu4_mu6 mu10i_loose mu20 2mu6 mu20i_loose mu 40 2mu20 jet triggers: J350 2b23_3L1J23 3b18_4L1J18 2b35_4L1J35 2b42_3L1J42 3b23_4L1J23 photon triggers: g20_loose g20i_loose 2g20_loose g40_medium 2g20_loose g150_loose met triggers: xe35_tight xe65 electron triggers: e10_medium 2e5_medium e20_loose em105_passHLT e20i_loose e20i_medium 1 2e15_medium e55_loose1 e105_loose1 e20_medium1 combined triggers: g25_loose_xe30 e20_loose_xe20 e20_loose_xe30 e10_loose_mu6 e20_loose _xe30 g25_loose_xe30 mu10_j18 2mu6_e10_loose 2mu6_g10_loose KEY: TTree ntrTree;1 ntrTree
Son olarak grafiksek ekran da sorgulama yapabilmek icin asagidaki komut calistirilir.
b = new TBrowser();
Hazırlayan: Emrah AKKOYUN, Tulay Cuhadar-Donszelmann, Erkcan OZCAN





