Gride portal aracılığıyla iş gönderme (P-GRADE Portalı)
TR-Grid sitesinden
Konu başlıkları |
P-GRADE Portalına Giriş
Portalda kullanıcı hesabı açtırmak için portal@grid.org.tr adresine talebinizi bildiriniz.
Size verilen kullanıcı adı ve şifresiyle http://portal.grid.org.tr:8080/gridsphere/gridsphere adresinden P-GRADE portalına ulaşabilirsiniz.
MyProxy Sunucusuna Sertifika Yüklenmesi
Portal aracılığıyla gride iş gönderebilmek için proxy oluşturmanız gerekecektir. Proxy oluşturmak için de sertifikanızın MyProxy sunucusuna yüklenmesi gerekir. Sertifikanın MyProxy sunucusuna yüklenmesi bir kereliğine, portalı ilk kullanmaya başladığınızda yapılacaktır. Sertifikanız siz kaldırana kadar ya da süresi dolana kadar MyProxy sunucusunda tutulur.
- Sertifika dosyalarınızı (usercert.pem, userkey.pem) çalıştığınız lokal makineye alın.
- “Certificates” sekmesini açın.
- “Upload” butonuna tıklayın.
- “Browse” butonunu kullanarak “userkey.pem” dosyasını seçin, OK butonuna tıklayın.
- Sertifika şifrenizi girin.
- “Browse” butonunu kullanarak “usercert.pem” dosyasını seçin, OK butonuna tıklayın.
- Aşağıdaki bilgilerle formu doldurun:
- Hostname: myproxy.ulakbim.gov.tr
- Port: 7512
- Login: Kullanıcı adı belirleyin.
- Password: Şifre belirleyin.
- Lifetime: Sertifikanın ne kadar süreyle MyProxy sunucusunda tutulacağını belirleyin.
Burada belirlediğiniz kullanıcı adı ve şifresini daha sonra proxy oluştururken kullanacaksınız.
Hazır Olan İş Akışını Yükleme
Bu bölümde "Centre of Parallel Computing at the University of Westminster" tarafından oluşturulmuş bir iş akışını portal hesabınıza yükleyeceksiniz. İş akışına buradan erişebilirsiniz.
Trafik simülasyonu yapan bu iş akışı, yollardaki araba yoğunluğunun grafikle gösterildiği bir JPEG dosyası oluşturmaktadır. Bu iş akışıyla ilgili daha fazla bilgiye [1] adresinden ulaşılabilir.
- “Workflow” sekmesindeki “Upload” alt menüsünü seçin.
- “Browse” butonunu kullanarak “traffic_simulation_workflow.tar.gz” dosyasını seçin, OK butonuna tıklayın.
- “Workflow” sekmesindeki “Workflow Manager” alt menüsünü seçin.
- “Workflow Editor” butonuyla iş akışı oluşturma editörünü açın. Menüdeki “Open” seçeneğini kullanarak önceden yüklediğiniz iş akışını açın.
- “Workflow” menusundeki “Workflow properties” özelliğini kullanarak, iş akışındaki işleri bağlı olduğunuz sanal organizasyona yönlendirin.
- “Save” ya da “Save as” ile iş akışını kaydedin.
Portala Proxy Yüklenmesi
İş göndermeden önce proxy oluşturmanız, oluşturduğunuz proxy'i de bağlı olduğunuz, işinizin çalıştırılacağı sanal organizasyona atamaniz gerekir.
- “Certificates” sekmesini açın.
- “Download” butonuna tıklayın.
- Aşağıdaki bilgilerle formu doldurun:
- Hostname: myproxy.ulakbim.gov.tr
- Port: 7512
- Login: Sertifika yüklerken belirlediğiniz kullanıcı adı
- Password: Sertifika yüklerken belirlediğiniz şifre
- Lifetime: Oluşturduğunuz proxy'nin ne kadar süreyle geçerli olacağını belirleyebilirsiniz.
- Description: Oluşturduğunuz proxy ile ilgili açıklama yazabilirsiniz.
- Download işlemi tamamlandığında “Set for Grid” butonunu kullanarak oluşturduğunuz proxy'i bağlı olduğunuz sanal organizasyona atayın.
Trafik Simülasyonu İş Akışının Çalıştırılması, Takip Edilmesi
- “Workflow” sekmesine giderek “Refresh” butonuna tıklayın.
- İş akışına ait “Submit” butonuyla iş akışını gönderin.
- “Workflow Editor”ü açarak, ya da önce “Details”, daha sonra “Visualize” butonlarını kullanarak iş akışının işleyişini gözlemleyebilirsiniz.
Yeni Bir İş Akışı Oluşturmak
Bu bölümde yeni bir iş akışı oluşturulup çalıştırılacaktır.
İş akışının işlerinde “Matris İşlemleri” programı kullanılacaktır. Programı ve iki örnek girdi dosyasını buradan indirebilirsiniz.
Matris İşlemleri Programıyla İlgili
“Matrix Operations” programı, aldığı komut satırı değişkenlerine göre 8 farklı matris işlemini gerçekleştirebilen, C dilinde yazılmış bir programdır.
Yapılacak işleme bağlı olarak bir ya da iki matris, INPUT1 ve INPUT2 isimli dosyalardan okunarak, OUTPUT dosyasına gerçekleştirilen işlemin sonucu yazılır. Bu dosyalar, aşağıda belirtilen formatla matrisleri tanımlamaktadır:
- <satır sayısı> <sütun sayısı>
- <a11> <a12> ...
- <a21> <a22> ...
- ... ... ...
- <satır sayısı> <sütun sayısı>
Programla yapılabilen matris işlemleri ve bu işlemlere karşılık gelen komut satırı değişkenleri tabloda gösterilmiştir.
| İşlem | Komut Satırı Değişkeni | İşleme Bağlı Değişken | Tanım |
|---|---|---|---|
| Toplama | A | OUTPUT = INPUT1 + INPUT2 | |
| Çıkarma | S | OUTPUT = INPUT1 - INPUT2 | |
| Çarpma | M | OUTPUT = INPUT1 * INPUT2 | |
| Ters Çarpma | R | OUTPUT = INPUT2 * INPUT1 | |
| Devrik Matris | T | OUTPUT = INPUT1'in devrik matrisi | |
| Satır | L | Tam Sayı Değer | INPUT1'in seçilen satırı |
| Sütun | C | Tam Sayı Değer | INPUT1'in seçilen sütunu |
Örneğin, INPUT1 ve INPUT2 dosyalarında tanımlanmış matrislerin çarpılması için program
- ./matrix_operations M
- ya da
- ya da
- ./matrix_operations M V
şeklinde çalıştırılmalıdır.
İşlemin sonucu matrix_operations, INPUT1 ve INPUT2 dosyalarının da bulunduğu çalışma dizininde oluşturulan OUTPUT dosyasına yazılacaktır.
İş Akışının Oluşturulması
Bu bölümde şekilde görülen iş akışı oluşturulup çalıştırılacaktır.
Örnek İş Akışı
Çarpma İşi
- Workflow Editor” butonunu kullanarak iş akışı oluşturma editörünü açın. Aşağıdaki değerlerle yeni bir iş tanımlayın:
- Name: Carpma
- Job type: SEQ
- Job executable: “matrix_operations” dosyası
- Attributes: M V
- Grid: Bağlı olduğunuz sanal organizasyon
- Aşağıdaki değerlerle 1. adımda oluşturulan işe girdi kapısı (port) tanımlayın:
- Port Name: 0
- Type: In
- File type: Local
- File: INPUT1 dosyası
- Internal File Name: INPUT1 (büyük-küçük harf duyarlı!)
- Aşağıdaki parametrelerle ikinci girdi kapısını tanımlayın:
- Port Name: 1
- Type: In
- File type: Local
- File: INPUT2 dosyası
- Internal File Name: INPUT2 (büyük-küçük harf duyarlı!)
- Aşağıdaki parametrelerle çıktı kapısını tanımlayın:
- Port Name: 2
- Type: Out
- File type: Local
- Internal File Name: OUTPUT (büyük-küçük harf duyarlı)
- File storage type: Permanent
Devrik Matris İşi
- Aşağıdaki değerlerle yeni bir iş tanımlayın:
- Name: DevrikMatris
- Job type: SEQ
- Job executable: “matrix_operations” dosyası
- Attributes: T V
- Grid: Bağlı olduğunuz sanal organizasyon
- Yeni bir girdi kapısı oluşturup, Çarpma işinin çıktı kapısını bu kapıya bağlayın. Aşağıdaki değerlerle girdi kapısının özelliklerini tamamlayın:
- Port Name: 0
- Internal File Name: INPUT1 (büyük-küçük harf duyarlı)
- Aşağıdaki değerlerle işin çıktı kapısını tanımlayın:
- Port Name: 1
- Type: Out
- File type: Local
- Internal File Name: OUTPUT (büyük-küçük harf duyarlı)
- File storage type: Permanent
- İş akışını “MatrisIslemleri” adıyla kaydedip browser’a geri dönün, “Refresh” ve ardından "Submit" utonlarını kullanarak oluşturduğunuz iş akışını gönderin.
- İş akışı “finished” durumuna ulaştığında, iş akışının sonucunu indirebilirsiniz.
Parametre Çalışmasıyla İş Akışı Geliştirme, Çalıştırma
Parametre çalışması bir programın aynı anda birden fazla, birbirinden farklı girdilerle çalıştırılmasını sağlar. P-GRADE Portalı 2.5 sürümünden itibaren parametre çalışması içeren iş akışlarının geliştirilmesi ve çalıştırılmasını desteklemektedir.
Bu bölümde parametre çalışması içeren bir iş akışı oluşturulacaktır. İş akışına önce matris çarpması yapan bir iş eklenecek, bu işin girdi kapılarından birisi parametre çalışması kapısına dönüştürülecektir. Daha sonra iş akışına otomatik girdi üreten iş eklenerek, bu işin çıktısı matris çarpma işinin parametre çalışması girdi kapısına bağlanacaktır.
Matris Çarpma İşi
- “Workflow” sekmesindeki “Workflow Editor” butonunu kullanarak iş akışı oluşturma editörünü açın. Yeni bir iş oluşturup aşağıdaki değerlerle özelliklerini tanımlayın:
- Name: Carpma
- Job type: SEQ
- Job executable: “matrix_operations” dosyası
- Attributes: M V
- Grid: Bağlı olduğunuz sanal organizasyon
- İşin özelliklerindeki “JDL Editor...” butonuyla işin JDL editörünü açın. “Environment” sekmesinde, “Environment Variables” kısmında LFC_HOST, LCG_CATALOG_TYPE ve LCG_GFAL_INFOSYS çevre değişkenlerini tanımlayın. Bu değişkenlerin değerleri trgrid sanal organizasyonları için aşağıdaki gibidir:
- LFC_HOST: lfc.ulakbim.gov.tr
- LCG_CATALOG_TYPE: lfc
- LCG_GFAL_INFOSYS: bdii.ulakbim.gov.tr:2170
- Aşağıdaki değerlerle 1. adımda oluşturulan işe girdi kapısı (port) tanımlayın:
- Port Name: 0
- Type: In
- File type: Local
- File: INPUT1 dosyası
- Internal File Name: INPUT1 (büyük-küçük harf duyarlı!)
- Aşağıdaki değerlerle ikinci girdi kapısını tanımlayın:
- Port Name: 1
- Type: In
- File type: Local
- File: INPUT2 dosyası
- Internal File Name: INPUT2 (büyük-küçük harf duyarlı!)
- Aşağıdaki değerlerle çıktı kapısını tanımlayın:
- Port Name: 2
- Type: Out
- File type: Local
- Internal File Name: OUTPUT (büyük-küçük harf duyarlı)
- File storage type: Permanent
- İş akışı bu haliyle çalıştırıldığında INPUT1*INPUT2 işleminin sonucu OUTPUT dosyasında elde edilecektir. İş akışı parametre çalışmasına dönüştürüldüğünde, bu iş birden fazla girdi dosyalarıyla çalıştırılıp bu girdi dosyaları için sonuçlar elde edilebilecektir.
İş Akışının Parametre Çalışmasına Dönüştürülmesi
- Çarpma işinin ilk girdi kapısına (Port 0) sağ tıklayıp “Switch to PS” ile parametre çalışması girdi kapısına dönüştürün.
- İş akışına yeni bir iş ekleyin. İş akışına sağ tıklayarak önce “Switch to Generator” sonra “Switch to Automatic” işlemleriyle otomatik olarak girdi dosyalarını üreten işi (auto generator) oluşturun. İşin özelliklerini tanımlayın:
- Job Name: Matrix1Gen
- Input File Text:
3 3
1 2 3
4 5 6
7 8 <X>
“Parse” butonuna tıkladıktan sonra “Keys” alanındaki “X” üzerine çift tıklayarak X değişkeninin alacağı değerlerin türünü, değer aralığını belirleyin. Örneğin “Range From:9 To:15 By:3” olarak belirlenip “Generate” butonu tıklandğında 9,12,15 olarak 3 X değeri için 3 girdi dosyası oluşturulacaktır.
- İşin çıktı kapısının özelliklerini tanımlayın:
- Directory: Üretilen dosyalarının kaydedileceği LFN dizini (Örnek: /grid/trgridb/psdeneme)
- Internal File Name: Üretilen girdi dosyalarının adı (Örnek: Matrix1)
- “Auto Generator” işinin özelliklerinden “Attributes Editor” editörünü açarak
- “Environment” sekmesinde, çarpma işinin özelliklerinde tanımlandığı gibi “Environment Variables” kısmında LFC_HOST, LCG_CATALOG_TYPE ve LCG_GFAL_INFOSYS çevre değişkenlerini tanımlayın. Bu değişkenlerin değerleri trgrid sanal organizasyonları için aşağıdaki gibidir:
- LFC_HOST: lfc.ulakbim.gov.tr
- LCG_CATALOG_TYPE: lfc
- LCG_GFAL_INFOSYS: bdii.ulakbim.gov.tr:2170
- “Output data” sekmesinde:
- Output SE: Üretilen dosyaların kaydedileceği depolama elemanı, “lcg-infosites --vo <sanal org> se” komutunun sonuçlarından birisi (Örnek: se.ulakbim.gov.tr)
- “Environment” sekmesinde, çarpma işinin özelliklerinde tanımlandığı gibi “Environment Variables” kısmında LFC_HOST, LCG_CATALOG_TYPE ve LCG_GFAL_INFOSYS çevre değişkenlerini tanımlayın. Bu değişkenlerin değerleri trgrid sanal organizasyonları için aşağıdaki gibidir:
- İş akışı editörünün “Workflow” menusunden “PS Properties” ile parametre çalışması özelliklerini tanımlayın:
- Output Directory: İş akışının sonuçlarının kaydedileceği LFN dizini (Örnek: /grid/trgridb/psdeneme)
- Grid: Bağlı olduğunuz sanal organizasyon
- LCG Catalog Type: lfc
- LFC Host: lfc.ulakbim.gov.tr
- Auto Generator işinin çıktı kapısını Carpma işinin PS girdi kapısına bağlayın. İş akışını kaydedip çalıştırabilirsiniz.
- İş akışı tamamlandığında sonuçlara iş akışının parametre çalışması özelliklerinde belirtilen LFC dizini altında (5. adımdaki Output Directory) ulaşılabilir.
