SL4.5 64 Bit WN Kurulumu
TR-Grid, özgür ansiklopedi
TR-03-METU ve TR-10-ULAKBIM Sitelerinin WN'lerinin 64 bit geçişi tamamlanmıştır. Diğer sitelerde bu geçiş planlandığı durumda aşağıdaki adımlar takip edilebilir.
Konu başlıkları |
[değiştir] İşletim Sistemi Kurulumu
1. SL 4.4 Kurulumu
Scientific Linux 4.4 kurulumu için "Redhat ve Scientific Linux için ağ üzerinden kurulum" bağlantısından faydalanılabilir.
2. SL 4.5 Geçişi
Scientific Linux web sayfasında yer alan https://www.scientificlinux.org/documentation/howto/upgrade.4x adresinden faydalınarak, aşağıdaki işlemler ile 4.5 geçişi sağlanabilir.
rpm -Uvh ftp://ftp.scientificlinux.org/linux/scientific/4x/i386/misc/RPMS/yum-conf-latest.SL.noarch.rpm
yum clean all
yum update yum
yum update
3. Kernel için Lustre patchi
Mevcut yapıda son sürüm kerneller için Lustre patchi bulunmamaktadır. En yakın sürüm için bulunan Lustre ile patchlenmiş kernel sürümü kullanılmaktadır. Bunun için gerekli olan paketler aşağıdaki gibidir:
kernel-lustre-smp-2.6.9-42.0.10.EL_lustre_1.6.0.1.x86_64.rpm
kernel-lustre-source-2.6.9-42.0.10.EL_lustre_1.6.0.1.x86_64.rpm
lustre-1.6.0.1-2.6.9_42.0.10.EL_lustre_1.6.0.1smp.x86_64.rpm
lustre-debuginfo-1.6.0.1-2.6.9_42.0.10.EL_lustre_1.6.0.1smp.x86_64.rpm
lustre-modules-1.6.0.1-2.6.9_42.0.10.EL_lustre_1.6.0.1smp.x86_64.rpm
lustre-source-1.6.0.1-2.6.9_42.0.10.EL_lustre_1.6.0.1smp.x86_64.rpm
Bu paketlerin kurulumu için expect paketine de ihtiyaç duyulmaktadır.
expect-5.42.1-1.x86_64.rpm
Bu paketlerin kurulumundan sonra, /etc/grub.conf dosyası içerisinde default açılış kernel'i olarak yeni eklenmiş olan Lustre patchli kernel seçilir.
Sistem reboot edilmeden önce, /etc/modprobe.conf dosyasına lustre ile ilgili olan satırın eklenmesi unutulmamalıdır.
alias lustre llite
[değiştir] Sistem Yapılandırmalarının Yapılması
1. Disk Yapılandırmaları
İşletim sistemi kurulumu ile oluşturulan /etc/fstab dosyası içerisinde disk alanları LABEL ile belirlenmiştir. Uzun vadede bu yapı sorun çıkarabileceği için, LABEL alanlarının fiziksel disk isimleri ile değiştirilmesi gerekmektedir.
/dev/sda1 / ext3 defaults 1 1 /dev/sda3 /home ext3 defaults 1 2
Yukarıdaki ile benzer yapıda /etc/fstab dosyaları değiştirilir.
Bu dosyanın değiştirilmesinden sonra, LABEL'lara göre hazırlanmış olan /etc/grub.conf dosyasında kernel satırları aşağıdki gibi değiştirilir.
kernel /boot/vmlinuz-2.6.9-42.0.10.EL_lustre-1.6.0.1smp ro root=/dev/sda1
Sistem kurulumunda default olarak ayrılan /data disk alanının /home ile değiştirilmesi gerekmektedir. Bu işlem yapıldıktan sonra, /data dizinin /home dizinine sembolik bağlantısının yapılması ve /data/tmp dizinin oluşturularak, tüm kullanıcıların kullanabileceği yapıda haklarının düzenlenmesi gerekmektedir.
2. Bonding Yapılandırılması
Mevcut yapıda sunucular üzerinde bulunan çift ethernet kartlarının kullanılabilmesi için, sabit IP adresleri ile birlikte bonding ayarlarının yapılması gerekmektedir.
Bu ayarlar için, /etc/sysconfig/network-scripts dizininde ifcfg-bond0, ifcfg-eth0, ifcfg-eth1 dosyaları düzenlenir.
/etc/sysconfig/network dosyası düzenlenir.
Ayarların yapılmasının ardından bonding ile ilgili satırların /etc/modprobe.conf dosyasına eklenmesi gerekmektedir.
3. Diğer Yapılandırmalar
/etc/hosts /etc/hosts dosyası içerisinde mevcut sitede bulunan her bir düğüm için kayıt olmalıdır.
/etc/sysconfig/selinux selinux desteği kapatılmalıdır.
/etc/security/access.conf WN sunucularına doğrudan bağlantının engellenmesi için access.conf dosyası düzenlenir. /etc/pam.d/sshd WN sunucularında ssh yetkilendirmelerinde access.conf dosyasının etkili olması için gerekli ayarlar yapılır.
[değiştir] Orta Katman Kurulumu
SL4.5 Orta katman uygulamasının kurulumunda https://twiki.cern.ch/twiki/bin/view/LCG/GenericInstallGuide310 web sayfasından faydalanılabilir.
1. Orta Katman Kurulumuna Hazırlık
- Kurulumu yapılmış olan sunucuda network ve ntp ayarlarının yapılmış olduğundan emin olmamız gerekmektedir.
- Java JDK 1.5.0_12 kurulur.
2. Yapılandırma Dosyalarının Oluşturulması
- /tubitak-site/sl-64/glite-3-TR-0x dizini oluşturulur.
- wn-list.conf, users.conf, groups.conf, site-info.def dosyalarini ve vo.d dizinini oluştur. Bu dosyaları ve dizini /tubitak-site/sl-64/glite-3-TR-0x dizine kopyalanır.
- site-info.def dosyasında GLOBUS_TCP_PORT_RANGE="20000 25000" yerine, GLOBUS_TCP_PORT_RANGE="20000,25000" düzeltmesi yapılır.
- yum repository düzenlenir, wikide belirtildiği gibi glite.repo, jpackage.repo, lcg-ca.repo hazırlanır.
yum update
yum install lcg-CA
- WN installation yapmadan perl-SOAP-Lite dependency sorununu çözmek gerekir. Aşağıda bulunan rpmler SL repository'den indirilerek aşağıdaki sıra ile kurulur.
wget http://glite.web.cern.ch/glite/packages/externals/bin/rhel30/RPMS/perl-Authen-SASL-2.08-1.1.el3.rf.noarch.rpm wget http://glite.web.cern.ch/glite/packages/externals/bin/rhel30/RPMS/perl-XML-Stream-1.22-1.1.el3.rf.noarch.rp wget http://glite.web.cern.ch/glite/packages/externals/bin/rhel30/RPMS/perl-Net-XMPP-1.0-1.1.el3.rf.noarch.rpm wget http://glite.web.cern.ch/glite/packages/externals/bin/rhel30/RPMS/perl-Net-Jabber-2.0-1.1.el3.rf.noarch.rpm wget http://glite.web.cern.ch/glite/packages/externals/bin/rhel30/RPMS/perl-MIME-Lite-2.117-2.1.el3.rf.noarch.rpm wget http://glite.web.cern.ch/glite/packages/externals/bin/rhel30/RPMS/perl-SOAP-Lite-0.60a-1.1.el3.rf.noarch.rpm yum install perl-Digest-SHA1 yum install perl-Digest-HMAC rpm -Uvh perl-Authen-SASL-2.08-1.1.el3.rf.noarch.rpm rpm -Uvh perl-XML-Stream-1.22-1.1.el3.rf.noarch.rpm rpm -Uvh perl-Net-XMPP-1.0-1.1.el3.rf.noarch.rpm rpm -Uvh perl-Net-Jabber-2.0-1.1.el3.rf.noarch.rpm rpm -Uvh perl-MIME-Lite-2.117-2.1.el3.rf.noarch.rpm rpm -Uvh perl-SOAP-Lite-0.60a-1.1.el3.rf.noarch.rpm
yum install glite-WN glite-TORQUE_client
/opt/glite/yaim/bin/yaim -c -s site-info.def.64 -n glite-WN -n TORQUE_client
- http://glite.web.cern.ch/glite/packages/R3.1/deployment/glite-WN/glite-WN-known-issues.asp sayfasındaki known issues kısmındaki buglara çözüm olarak aşağıdaki değişiklikler yapılır. Bu değişikliklerin her re-konfigurasyondan sonra tekrar yapılması ya da check edilmesi gerekmektedir.
/etc/profile.d/lcgenv.csh dosyasina setenv MALLOC_CHECK_ 0 satiri eklenir.
/etc/profile.d/grid-env.sh dosyasina gridenv_set "CLASSPATH" "/usr/share/java/log4j-1.2.14.jar" satiri eklenir.
/opt/glite/libexec/rgma-client-check/Java/producer dosyasinda CLASSPATH export'una $CLASSPATH eklenir.
/opt/glite/libexec/rgma-client-check/Java/consumer dosyasinda CLASSPATH export'una $CLASSPATH eklenir.
- Atlas VO'su için sharutils paketi kurulur.
yum install sharutils
- VOMS paket kurulumları
rpm -Uvh GridAUTH-vomscert-1.2-5.noarch.rpm
rpm -Uvh trgrid-vomscerts-0.2-1.i386.rpm
[değiştir] Orta Katman Kurulumu Arkasından Yapılacak Sistem Düzenlemeleri
1. SSH Yapılandırması
- ssh_config ve sshd_config yapılandırma dosyaları düzenlenir.
- ssh kurulum dizininde shosts.equiv dosyası oluşturulur.
- Kurulumu yapılan sitenin CE'sinde /opt/edg/sbin/edg-pbs-knownhosts çalıştırılarak, burada oluşan yeni ssh_known_hosts dosyası WN'lere kopyalanır.
2. LDAP Yapılandırmaları
Paylaşımlı ev dizinleri kullanılarak, küme üzerinden iş gönderimini sağlamak kullanıcı yetkilendirmelerinin yapılabilmesi için aşağıdaki dosyalar üzerinde yapılandırmalarının sağlanması gerekmektedir.
/etc/ldap.conf /etc/ldap.conf dosyasında LDAP birincil ve ikincil sunucularının tanımlanması sağlanır.
/etc/nsswitch.conf /etc/nsswitch.conf dosyasında yetkilendirmelerde file ve ldap kullanılması sağlanır.
/etc/pam.d/system-auth system-auth dosyasinda LDAP'dan yetkilendirme yapmak için gerekli düzenlemeler yapılır.
3. Dosya Sistemi Düzenlenmesi
- /etc/fstab dosyasında paylaştırılmış ev dizinlerinin bulunması sağlanır. Uzaktan mount edilecek olan disklerin dizinleri oluşturulur. Uzaktaki disklerin mount edilmesi sağlanır.
- /etc/passwd dosyasında, mpi desteklenen VO'lar için, ev dizinlerinin paylaştırılmış ev dizinleri olarak düzenlenmesi sağlanır.
- /etc/cron.daily/ dizini altında bulanan slocate.cron ve yum.cron dosyalarının silinmesi gerekmektedir.
4. /usr/lib/libstdc++.so.5
- Çalışan kodlarda uyumsuzluk olmaması için, 64 bit sunucularda pathde bulunmayan libstdc++.so.5 kütüphanesinin oluşturulması gerekmektedir.
5. MPICH Kurulumu
- Grid modunda MPI işlerinin çalışması için önceden hazırlanmış olan mpich rpm'inin kurulması gerekmektedir.
6. Son kontroller
- Disklerin mount edildiğinin kontrol edilmesi gerekir.
- pbs_mom çalışması gerekmektedir.
- gr.net ve grid.org.tr icin pakiti paketinin kurulması ve /etc/pakiti altında yapılandırma dosyalarının bulunması gerekmektedir.
- MPI işi çalıştırılabilen sitelerde, /data/tmp dizinin oluşturulması ve gerekli kullanıcı haklarının tanımlanması gerekmektedir.
- Ganglia ile izleyebilmek icin ganglia-gmond-3.0.3-1.fc4.i386.rpm paketinin kurulması gerekmektedir.
