G ri d m on i tori n g w i th N A G I O S (*) (*) Work in collaboration with P. Lo Re, G. S av a and G. T ortone WP3-I CHEP 2000, N F N 10.02.2000 M e e t i n g, N a p l e s, 29.1 1.20 0 2 R o b e r 1 t o B a r b e r a

m Dipartimento di Fisica dell Università di Catania and INFN Catania - Italy Outline Basic co n ce p t s f o r a d ist r ib u t e d o n it o r in g sy st e m T h e I N F N ch o ice : N ag io s Role of N a g i os for G r i d m on i t or i n g I N F N d ev elop m en t s P r e se n t st at u s o f t h e I N F N t e st b e d m o n it o r in g sy st e m ( l iv e d e m o ) 2

Basic co n ce p t s (g o al s) In the era of GRID computing, farm (L A N ) monitoring, fab ric (W A N ) monitoring, and j ob monitoring are three faces of the s ame prob l em. T he s y s tem for al l of them s houl d b e the s ame, or at l eas t w ith the s ame front-end. T he s y s tem mus t b e s cal ab l e up to O (1 0 3 4 ) nod es and O (1 0 2 ) s ites. T he s y s tem s houl d b e ind epend ent of the nature of the parameters to b e monitored and s houl d b ehav e in the s ame w ay for al l of them. T he s y s tem s houl d not b e d epend ent on a giv en information s erv ice. T he front-end mus t b e uniq ue w hil e the b ack -end s s houl d b e as many as pos s ib l e (b oth w ay s ). T he s y s tem mus t hav e a common (w eb ) us er interface and mus t b e s ecure. T he s y s tem mus t b e eas y to ins tal l, configure and maintain. 3

The INFN choice: Na g ios ( 1 ) Na g i o s i s ( n o t o n l y ) a n e t w o r k m o n i t o r i n g t o o l ( o p e n so u r c e ) d e v e l o p e d b y E t h a n G a l st a d a n d d e si g n e d t o r u n u n d e r L i n u x ( a l t h o u g h i s k n o w n t o b e p o r t e d o n m a n y U n i x f l a v o u r s). S o m e o f i t s f e a t u r e s i n c l u d e : si m p l e p l u g i n s d e si g n t h a t a l l o w s u se r s t o e a si l y d e v e l o p t h e i r o w n se r v i c e c h e c k s m o n i t o r i n g o f n e t w o r k se r v i c e s ( F T P, H T T P, S S H, ) m o n i t o r i n g o f h o st r e so u r c e s ( C P U l o a d / t e m p, d i sk u sa g e, ) m o n i t o r i n g o f j o b st a t u s ( i t i s j u st a q u e st i o n o f t h e r i g h t p l u g -i n ) a b i l i t y t o d e f i n e n e t w o r k h o st ( o r d e v i c e ) h i e r a r c h y u si n g p a r e n t h o st, a l l o w i n g d e t e c t i o n a n d d i st i n c t i o n b e t w e e n h o st s t h a t a r e d o w n a n d t h o se t h a t a r e u n r e a c h a b l e d i st r i b u t e d m o n i t o r i n g : a c e n t r a l Na g i o s se r v e r o b t a i n s c h e c k r e su l t s f r o m o n e o r m o r e Na g i o s d i st r i b u t e d se r v e r s. 4

5

Active ch eck s P a s s ive ch eck s 6

The INFN choice: Na g ios ( 2 ) contact noti f i cati ons w h e n s e r v i ce or h os t p r ob l e m s occu r (v i a e m ai l or u s e r d e f i ne d m e th od ) ab i l i ty to d e f i ne e v e nt h and l e r s to b e r u n d u r i ng s e r v i ce or h os t e v e nts f or p r oacti v e p r ob l e m r e s ol u ti on l og g i ng m e ch ani s m and au tom ati c l og -f i l e r otati on p l u g i s e S N M P q u e r i e s h k d e v i s r, s w i e s, op ti onal ns to nd to os t or ne tw or ce (r ou te tch ); w e b i nte r f ace f or v i e w cu r r e nt ne tw or k s tatu s, noti f i cati ons and p r ob l e m h i s tor y, l og f i l e, 7

Role of N a g i os for G r i d m on i t or i n g The idea is t o u s e N ag io s : t o v iew a s n ap s ho t o f t he G R I D / Tes t b ed r es o u r c es s t at u s, s er v ic es av ail ab il it y, n et w o r k m eas u r em en t s ( an d j o b s t at u s ) t o r n o t n s o n s t o r s v ( o r j o b ) f l t s ec eiv e if ic at io ho er ic e au t o v iew g r ap hs o f r es o u r c e s t at u s, n et w o r k m eas u r em en t s an d j o b s t at u s as a f u n c t io n o f t im e 8

Interesting features o f N agio s fo r G R ID m o nito ring ( 1 ) notifications: i t s p o s s i b l e t o d e f i n e g r o u p (s ) o f u s e r s (s i t e a d m i n s o r p r o d u c t i o n m a n a g e r ) t o n o t i f y w h e n a s e r v i c e (o r a h o s t, o r a j o b ) i s i n c r i t i c a l s t a t e ; e v e nt h and l e r s: t h e y a r e o p t i o n a l c o m m a n d s t h a t a r e e x e c u t e d w h e n e v e r a h o s t o r s e r v i c e s t a t e c h a n g e o c c o u r s ; a n o b v i o u s u s e o f e v e n t h a n d l e r s i s t h e a b i l i t y f o r Na g i o s t o p r o a c t i v e l y f i x p r o b l e m s b e f o r e a n y o n e i s n o t i f i e d ; a n o t h e r u s e i s t o l o g s e r v i c e o r h o s t e v e n t s t o a n e x t e r n a l d a t a b a s e ; p l u g in ar ch ite ctu r e : Na g i o s d o e s n o t i n c l u d e a n y i n t e r n a l m e c h a n i s m t o c h e c k t h e s t a t u s o f s e r v i c e s (o r h o s t s, o r j o b s ) ; i n s t e a d, Na g i o s r e l i e s o n e x t e r n a l p r o g r a m s (p l u g i n s ) t o d o a l l t h e m o n i t o r i n g a c t i v i t y ; t h i s f e a t u r e a l l o w s u s e r s t o e a s i l y d e v e l o p t h e i r o w n s e r v i c e c h e c k s ; 9

Interesting features o f N agio s fo r G R ID m o nito ring ( 2 ) remote s erv i c e c h ec k s - N R P E P a d d on : t h i s a d d o n i s d e s i g n e d t o p r o v i d e a w a y f o r e x e c u t i n g p l u g i n s o n a r e m o t e h o s t. T h e c h e c k _ n r p e p l u g i n r u n s o n t h e Na g i o s s e r v e r a n d i s u s e d t o s e n d p l u g i n e x e c u t i o n r e q u e s t s t o t h e NR P E P a g e n t o n t h e r e m o t e h o s t. T h e n r p e a g e n t w i l l t h e n r u n a n a p p r o p r i a t e p l u g i n o n t h e r e m o t e h o s t a n d r e t u r n t h e p l u g i n o u t p u t a n d r e t u r n c o d e t o t h e c h e c k _ n r p e p l u g i n o n t h e Na g i o s s e r v e r. T h e c h e c k _ n r p e p l u g i n t h e n p a s s e s t h e r e m o t e p l u g i n ' s o u t p u t a n d r e t u r n c o d e b a c k t o Na g i o s a s i f i t w e r e i t s o w n. A l l d a t a i n t r a n s i t a r e i n T r i p l e D E S e n c r i p t i o n f o r m a t ; p a s s i v e c h ec k s : Na g i o s c a n p r o c e s s s e r v i c e c h e c k r e s u l t s t h a t a r e s u b m i t t e d b y r e m o t e h o s t s t h r o u g h a d a e m o n t h a t r u n s o n t h e Na g i o s s e r v e r a n d a c l i e n t t h a t i s e x e c u t e d o n r e m o t e h o s t s ; 10

Interesting features o f N agio s fo r G R ID m o nito ring ( 3 ) a l a p o s s i b l e u s e o f i o s i s t o i n s t l o n e i o s e n s o r ( i n b e b o n e c o n f i g u r i o n f o r e h s i t e t o c o l l e c t m o n i t o r i n g r e s u l t s f r o m r e s o u r c e s d o n e m n i o s o l l e c t o r ( i n f u l l c o n f i g u r i o n t o c o l l e c t r o u p s o f m o n i t o r i n g r e s u l t s f r o m s e n s o r s t h i s f e u r e s h o w s t h e u n c t i o n i t y o v e r l t h e x i s t s b e t w e e n i o s d i s t r i b u t e d c h i t e c t u r e d G I I S / M D S o r R M A G R I D i n f o r m i o n c h i t e c t u r e g i o s c o l l e c t o r distributed monitoring - sc bil ity : a ag Nag al Nag s ar at ) ac an ai Nag c at ) g ; at f al ap at Nag ar an -G at ar ; Na site A host monitoring resu lts Na g i os se n sor Na g i os se n sor monitoring resu lts site B host 11

INFN developments of Nagios clickable g eo g r ap h ic m ap s g r ap h s o f r es o u r ces ( o r n et w o r k) m o n it o r in g r es u lt s : w e h av e d e v e l o p e d a w r ap p e r t h at p ar s e s t h e o u t p u t o f a p l u g i n e x e c u t i o n an d i n s e r t m o n i t o r i n g v al u e s i n t o a R R D ( R o u n d R o b i n D at ab as e - w w w.r r d t o o l.o r g ). A u s e r, f r o m Nag i o s w e b i n t e r f ac e, c an v i e w d ai l y, w e e k l y, m o n t h l y o r y e ar l y g r ap h s f o r a s e l e c t e d r e s o u r c e / s e r v i c e L D A P bas ed p lu g in : an o t h e r t h r e ad o f d e v e l o p m e n t ac t i v i t i e s i s t h e i m p l e m e n t at i o n o f a p l u g i n t h at w i l l p u l l ( p u s h ) i n f o r m at i o n f r o m a M D S s e r v e r, i n s t e ad t h an f r o m r e s o u r c e s / s e r v i c e s 12

Current situation Na g i o s i s t h e o f f i c i a l c h o i c e o f I NF N G r i d P r o j e c t f o r m o n i t o r i n g o f I NF N T e s t b e d 1 C o l l a b o r a t i o n i s g o i n g t o s t a r t w i t h C NR o n t h e u s e o f Na g i o s f o r n e t w o r k a n d f a b r i c m o n i t o r i n g P r e s e n t l y a Na g i o s s e r v e r i s i n s t a l l e d i n C a t a n i a a n d c h e c k s a p p r o x i m a t e l y ~130 s e r v i c e s o n ~35 h o s t s h t t p : / / i n f n -t b : g u e s t @ g i a n o.c t.i n f n.i t 13