Installation der Software des LHC Computing Grid auf einem Institutscluster Hartmut Stadie, Christopher Jung, Günter Quast, Klaus Rabbertz, Jens Rehn Institut für Experimentelle Kernphysik Universität Karlsruhe (TH) Was ist das LCG-2? Installation Status, offene Fragen
LHC Computing Grid Infrastruktur für LHC Computing inhomogen (Tier-n-Struktur), viele Zentren minimales LCG Cluster: SE, CE (, UI)
LCG: Benutzersicht EKP User Interface job desc. edg job submit edg job status edg job get output CERN Resource Broker Input Sandbox job status match job to site Output Sandbox UI: > grid-proxy-init Your identity: /O=GermanGrid/OU=EKP/CN=Hartmut Stadie Enter GRID pass phrase for this identity: Creating proxy... Done Your proxy is valid until: Mon Mar 29 19:42:55 2004 > edg-job-submit --vo cms gridtest.jdl > edg-job-status > edg-job-get-output input output GridKa Compute Element grid mapfile jobmanager local batch system Site Info Worker Node
gridtest.jdl: Executable = "testjob.sh"; StdOutput = "testjob.out"; StdError = "testjob.err"; InputSandbox = {"testjob.sh"}; OutputSandbox = {"testjob.out","testjob.err"}; #Requirements = other.glueceuniqueid == \ "adc0015.cern.ch:2119/jobmanager-lcgpbs-short"; testjob.out: td077.ifae.es Thu Mar 25 11:52:00 CET 2004 Job id Name User Time Use S Queue ---------------- ---------------- ---------------- -------- - ----- 5537.lcgce02 job_aug03_fit.s saltob 00:00:00 R localq 5538.lcgce02 job_aug03_fit.s saltob 00:00:00 R localq 5568.lcgce02 STDIN cms007 0 R short Thu Mar 25 11:57:00 CET 2004
Institutscluster Infrastruktur: Portale für Experimente Rechenknoten Fileserver Kontrollrechner Anbindung ans Grid??? Beim LCG-2 zwei Installationsmöglichkeiten: LCFGng von Hand
LCFGng LCFG: Local ConFiGuration system automatische Installation des OS Installation/Upgrade/Entfernung von Softwarepaketen(rpms). zentrale Konfiguration und Verwaltung der Rechner erweiterbar auf weitere Gridkomponenten und Anwendungssoftware leichte Installation neuerer LCG-Versionen
Installationsablauf LCFGng server: supplies profiles, rpms monitors status DHCP server DHCP: get ip mount installation dir read profile, run agents CE: agents read configuration and configure the node mounts installation dir SE: agents read configuration and configure the node mounts installation dir
Installation LCFGng installieren, (rpms, DHCP server, apache) wichtige Verzeichnisse: /opt/local/linux/7.3/rpmcfg /opt/local/linux/7.3/rpms /var/obj/conf/server/source cvs co -r lcg2 20040225 1700 lcg2 enthält: rpmlist, source, updaterep, examples, docs, manual-install local-cfg.h, site-cfg.h, etc. anpassen site name, version, ce name, se name,network,...
Profil für jeden Rechner in source anlegen: /* ekp-lcg-ce ============================================== CE Node for LCG-1 and site GIIS */ #define HOSTNAME ekp-lcg-ce #define NIC_MODULE 8139too #include "cfgdir-cfg.h" #include CFGDIR/macros-cfg.h" #include "site-cfg.h" #include CFGDIR/redhat73-cfg.h" #include CFGDIR/Users-cfg.h" #include CFGDIR/ComputingElement-cfg.h" #include "local-cfg.h" network.ipaddr_eth0 129.13.133.12 mkxprof -r -s -v ekp-lcg-ce./updaterpmcache.pl../source/ekp-lcg-ce Computer von Diskette booten, um die Installation zu starten Zertifikat nach /etc/grid-security kopieren
Installation bei Hand Anleitung: lcg2/manual-install/ui/ui manual install.txt rpms herunterladen rpms installieren Konfiguration anpassen: ntp, /etc/ld.so.conf, cron-job, /opt/edg/etc Testen: grid-proxy-init globus-job-run ekp-lcg-ce /bin/date edg-job-submit gridtest.jdl edg-job-status https:... edg-job-get-output https:...
Status Rechner in Karlsruhe: UI (LCG-1) und LCFGng server (von Hand) CE (LCG-2, LCFGng) SE (LCG-2, LCFGng) privat: UI (LCG-2) nächste Schritte: Anbindung der Rechenknoten Anbindung der Fileserver Veröffentlichung der Site http://www-ekp.physik.uni-karlsruhe.de/ stadie/grid/index.html
Fragen und Probleme Hardwareanforderungen im Betrieb? (in Karlsruhe: ausrangierte Rechner) Nutzung der IEKP-Resourcen von aussen Sicherheit, Stabilität? Authentizierung, wer darf wo rechnen? grid-mapfile, LDAP-Server Experimentsoftware? komplexe Softwareumgebungen, Wartung Arbeitsaufwand, Finanzierung?