wiki:WikiStart

BEHEER


Note: Per 1 januari 2016 maken we gebruik van Request Tracker voor het registreren van storingen. De bestaande tickets die zijn gemaakt in Trac zijn onderaan deze pagina te vinden.


Verandering SSID

We gaan de ssids voor de gebruikerstoegang veranderen, zie SSIDChange.

Eerstelijnsbeheer

Organisatie

Eerstelijnsbeheer wordt gedaan door een aantal nog-niet-zo-ervaren vrijwilligers. Deze vrijwilligers kijken ieder een (vaste) dag in de week naar Nagios en voeren kleine reparaties uit op de nodes, zoals het starten van de node-webserver als die er mee gestopt is. Ze besteden hieraan ongeveer 20 minuten per week (meer mag natuurlijk ook).

De voordelen van deze opzet zijn:

  • vrijwilligers die nog niet zo ervaren / niet zo deskundig zijn kunnen toch een heel nuttige bijdrage leveren
  • vrijwilligers kunnen wat leren m.b.t. freebsd en ook over hoe het netwerk in elkaar zit en ze kunnen mogelijk doorgroeien
  • er wordt regelmatig naar Nagios gekeken, zodat storingen die eenvoudig zijn op te lossen ook relatief snel worden opgelost en in ieder geval snel gesignaleerd
  • de 2e-lijnsbeheerders krijgen meer tijd voor de lastiger problemen.

Informatiebronnen

Node configuratie files welke worden gebruikt door Genesis zijn in Subversion te vinden.

De node-specifieke configuratiebestanden, gegenereerd uit Genesis.

Monitoring met behulp van Nagios is toegankelijk via de Nagios Pagina.

Voor elke Node is een aparte NodeOverzicht gemaakt met verwijzingen en informatie over de betreffende Node en de locatie.

Werkwijze

  1. Maak via ssh vanaf internet een verbinding met wleiden.net via een van de proxies. Bijvoorbeeld (in terminal) via proxy1:

ssh -A root@213.124.17.164

Je ssh-key moet bekend zijn op deze proxy. Een tweedelijnsbeheerder kan hierbij helpen.

  1. Check 'services' in Nagios

Check als eerste of er rode vakjes zijn in de lijst van nodes, prioriteit hebben 'hosts down'. Kijk ook hoe vaak deze service gecheckt is, een foutmelding kan veroorzaakt zijn door het tijdelijk niet bereikbaar zijn van de node.

Node down

Let op: 'down' betekent: niet bereikbaar voor de nagios server (sunny, verbonden met node UniGorN). Het kan dus ook een routeringsprobleem zijn, of de bereikbaarheid van de node/proxy is afhankelijk van een andere node die down is. Bij een proxy die 'down' is: check eerst of de bijbehorende node ook down is en los dat eerst op. Sommige nodes (WP, Cam, Drijfhuis, Recpark, Spoortje,...) hebben maar een interlink en zijn dus afhankelijk van de betreffende buurnode. Ook foutmeldingen over services kunnen veroorzaakt worden door een (tijdelijke) storing in de routering, waardoor een nagios check eventjes niet werkt.

Zoek in genesis op welke buren deze node heeft en log in bij een van deze buurnodes. Check of je de node kunt pingen op het interlink-ip-adres (zie genesis). Lukt dit niet, probeer dan een van de ander buurnodes. Als geen van de interlinks werkt, check dan of je de nano's wel kunt pingen.

nanostations pingen

Interlinks hebben een /29 subnet voor de node-interfaces en voor de nanostations. De conventie is dat de ip-adressen zijn toegekend in de volgorde: node-interface - nanostation in ap-modus - nanostation in station modus - node-interface. Als alle nano's down zijn wijst dit op een stroomstoring: maak een ticket aan, dat wordt fietsen!

Bij een werkende interlink: inloggen op de node met ssh. Als inloggen met ssh niet lukt dan ligt dat aan het ontbreken van je ssh-key op de node. Als sshd gestopt zou zijn gaat de node automatisch rebooten (watchdog op de node). Maak eventueel een ticket aan.

Na inloggen check dmesg voor 'vreemde boodschappen'. Paardenmiddel is een soft reboot. Als het probleem de routering is dan kan eleganter en met minder verstoring van het netwerk geprobeerd worden:

  • lvrouted interface info opnieuw laten lezen kill -HUP <lvrouted pid>; lvrouted pid vind je via ps -ax|grep lvrouted
  • lvrouted opnieuw starten: /usr/local/etc/rc.d/lvrouted restart

Uitloggen en vanaf de buurnode kijken of het pingen van de nodenaam werkt.

Bekende oorzaken van routeringsproblemen zijn het vollopen van /var (dat geeft een foutmelding bij de 'services' in Nagios) of een verkeerde tijd op de node (geeft ook een foutmelding in Nagios). Vollopen van /var wordt verholpen door een reboot. Maak wel een ticket aan (waarschijnlijk is de /etc/newsyslog.conf file niet de laatste versie). Verkeerde tijd komt op een aantal nodes voor na een stroomstoring (op sommige alix-bordjes zit geen bios-batterijtje).

HTTP Connection refused

Waarschijnlijke oorzaak: thttpd is gestopt. Inloggen op de betreffende node. Een van de recente boodschappen van 'dmesg' zal bijvoorbeeld zijn:
pid 1675 (thttpd), uid 0: exited on signal 6. Start thttpd op:
service thttpd start.

NTP CRITICAL: Offset unknown

Waarschijnlijke oorzaak: ntpd is gestopt of niet gestart. Inloggen op de betreffende node. Controleer of nptd draait:
ps ax | grep ntpd. Start ntpd door middel van:
service ntpd start

Rapporteren storingen

We gebruiken Request Tracker. Maak een ticket aan om een incident/storing te melden (hiervoor moet u wel [Aanmelden met uw WL-vrijwilligersgegevens])
Voor het gebruik van Request Tracker is een handleiding geschreven.

Vemeld hierbij de volledige nodenaam (Cetim1, Huub etc....) en de volledige "Host State Information". Bijvoorbeeld:

Host Status: 	
  DOWN  
 (for 3d 3h 28m 15s)
Status Information: 	PING CRITICAL - Packet loss = 100%
Performance Data: 	rta=5000.000000ms;3000.000000;5000.000000;0.000000 pl=100%;80;100;0
Current Attempt: 	1/10  (HARD state)
Last Check Time: 	01-24-2015 14:44:50
Check Type: 	ACTIVE
Check Latency / Duration: 	0.135 / 15.085 seconds
Next Scheduled Active Check:   	01-24-2015 22:45:10
Last State Change: 	01-21-2015 14:43:10
Last Notification: 	N/A (notification 0)
Is This Host Flapping? 	
  NO  
 (3.88% state change)
In Scheduled Downtime? 	
  NO  
Last Update: 	01-24-2015 18:11:20  ( 0d 0h 0m 5s ago)

Het laatste veld "Last Update" is namelijk het enige veld waaruit je achteraf kunt bepalen wanneer een storing gestart is. Dit kan erg nuttige informatie zijn op het moment dat contact moet worden opgenomen met een gebouwbeheerder.

Kijk in rapport 1 voor alle openstaande gerapporteerde storingen.

Hulpmiddelen

Check op dubbele ips

Om een check te draaien op het voorkomen van dubbele ip-adressen, zie tools in genesis:

.../genesis/nodes$ ../tools/batch-cmd  
grep 'inet ' *  | awk '{print $3}' | sort | uniq -c | sort -n

Controle werking proxy-server

Je kunt controleren of de pen_wrapper op de node (die de snelste proxy selecteert) naar behoren werkt.

env HTTP_PROXY=http://proxy.wleiden.net:3128 fetch -o - http://tinyproxy.stats

Het leuke van de file is dat je ook kunt zien op de proxy welke nodes op dat moment de desbetreffende proxy als primair hebben staan.

Workaround Ziggo modem MAC cache

Issue waarbij verkeer tussen de node met static IP adress en Ziggo modem met firmware 9.9.6004 lijkt te stoppen na een variabele tijd. Die MAC cache van die Ubee modem op firmware 9.9.6004 is echt niet lekker meer. Na 30 seconden lijkt het een MAC te vergeten en dan gaat de modem niet zelf actief pollen om het MAC opnieuw te achterhalen. Door de MAC cache erg kort te zetten op de node, zal er regelmatig een ARP request/reply komen en is de modem weer gelukkig.

Voor statische IP addressen:
sysctl net.link.ether.inet.max_age=30

Regel net.link.ether.inet.max_age=30 in /conf/base/etc/sysctl.conf toevoegen om het permanent te maken.

Power cycle van interface via RB PoE-switch

Procedure:

Use with care! disabling the wrong one will lock you out without possibility to recover except for replacing the device.

Bouw tunnel op naar de node:
client$ ssh -L 1234:192.168.88.1:80 <node>

Stop diensten en bereid interfaces voor:

  • node# service pf stop[[BR]]
  • node# ifconfig re0 alias 192.168.88.10/24[[BR]]

Verander de link:

Zet de boel weer terug zoals het was:
node# ifconfig re0 -alias 192.168.88.10
node# service pf start

DNS voor wleiden.net

Lokale wleiden.net-zonefiles worden automatisch gegenereerd uit genesis met /usr/local/tools/named_update.sh script op de dns-server (Sunny). Checken op foutjes in de config file dmv

root@sunny:~ # env FORCE=1 sh -x /usr/local/tools/named_update.sh

Openstaande Tickets in Trac

Er kunnen in Trac geen nieuwe tickets meer worden aangemaakt.
Hiervoor gebruiken we per 1 januari 2016 Request Tracker voor in de plaats.

Location: Generiek (26 matches)

Ticket Summary Status Owner Reporter Keywords
#1044 /tools/wl-config timeout HTTP_TIMEOUT=25 new huub
#1040 gformat.py hikt op 0.0.0.0 new huub
#984 /cfg directories nalopen op 'rogue' files new rick rick
#972 Link kwaliteits controle tbv usb dopjes new rick rick
#971 backup webserver new rick rick
#968 Uitrol automatische failover lvrouted default gateway new rick rick lvrouted
#959 updaten proxy lijst in configs new huub
#947 AMD CS5536 - USB resets new rick rick
#938 Wijzigen geregistreerd e-mailadres new mbreet
#937 Mobielvriendelijkheid website new rene website
#896 firewall configuratie nalopen bij gateways met publiek ip new huub
#647 Captive portal ingelogde gebruiker, welke toch niet ingelogd is new rick
#581 Uitrol nieuwe captive portal new rick
#580 Volle /var disken new rick
#579 automatische configuratie nagios op sunny new rick
#516 Website dode links new rene huub
#510 Website partners verouderd reopened rene huub website
#508 link packet loss metingen new rick rick
#480 Aanpassen firewall voor dubbeldekker ileiden gateway (Lvrouted routeert niet over wlan0 link (voorbeeld HybridStBavo2 - HybridStBavo1) assigned rick huub
#465 Webcams pages werken niet met HTTPS website new rick website
#413 thttpd log slaat op hol assigned mbreet huub
#356 Verwijdering 'normale' proxies new rick rick
#354 IP ranges samenvoegen accepted rick rick
#225 herstarten van daemons via ssh op normal_proxy ileiden = verkeerde route tabel. new rick rick
#223 Geen support voor /23 subnets in DHCP new rick rick
#219 ns_* bullet2_* bullet5_* ... new ronald rick

Location: Kaag (9 matches)

Ticket Summary Status Owner Reporter Keywords
#997 HybridKWVdeKaag CM9-kaartje vervangen new huub
#939 wireless leiden disgenoten rotary geen verbinding assigned henk rick
#904 HybridKaag1 nano richten new huub
#858 HybridHMKerk kast vervangen: no carrier op ue1 new huub
#727 HybridStBavo2 onbetrouwbare verbinding met StBavo1 new huub
#498 HybridHMKerk nanostation richten new huub
#497 HybridHMKerk bullet2 plaatsen new Henk henk
#373 packet loss op link UniGorN - Kaag2; veel verkeer via Watertoren new huub
#310 Zwak signaal WBRotaryZW new henk

Location: Leiden (24 matches)

Ticket Summary Status Owner Reporter Keywords
#1060 UniGor webcam down? new huub
#1054 NieuweEnergie down new huub
#1049 HybridLivingLab.wleiden.net.down volgens Nagios new marc
#1039 LHS down new huub
#1038 Plantsoen vr2 (link vosko) no carrier new huub
#1031 HybridLivinglab niet bereikbaar new ed
#1027 HybridSOM2 'no buffer space' new huub
#964 HybridHaagwijk ue0 geen bufferspace reopened huub
#963 HybridRobijn internetverbinding instabiel new huub
#957 Storing ???? (Groensteeg) new rick
#905 HybridJVC ongebruikte nano new huub
#791 HybridWP verbinding naar inet controleren new mbreet
#767 HybridStadhuis usb-lan adapter vervangen new huub
#757 HybridLebkov - HybridGeluidsnet1 link down new huub
#678 HybridRoomburgh1 vr2 nano down reopened huub
#629 HybridCatwalk ue0 ap down new huub
#473 HybridRijnVliet vrije vr0 in gebruik nemen new huub
#470 HybridGrip extra link maken new huub
#436 HybridHoutmarkt tweede ap geen response new huub
#391 Nodekast bij WP vervangen new huub
#343 asymmetrische bandbreedte kabel Hooglandsche kerk new huub
#342 switch bij vosko vervangen? new huub
#226 usb-lan adapter victoria vervangen new huub
#203 CNodeLCPL down new huub rick

Location: Leiderdorp (3 matches)

Ticket Summary Status Owner Reporter Keywords
#1074 Leythenrode switch vervangen new huub
#1053 Leythenrode2 ap-zw down new huub
#726 HybridGHR gebruiker : signaal valt weg new huub

Location: Noordwijkerhout (6 matches)

Ticket Summary Status Owner Reporter Keywords
#1077 Wulp en Tulpenzee geen internet new huub
#1056 StVictor storing internetverbinding new huub
#1025 HybridWulp pwd nano 172.16.7.53 new huub
#992 HybridLeeuwenhorst2 geen ue0 nano new huub
#991 HybridLeeuwenhorst1 geen ue0 interface new huub
#989 HybridLeeuwenhorst1 en 2 configuratie klopt niet?? new huub

Location: Oegstgeest (8 matches)

Ticket Summary Status Owner Reporter Keywords
#1075 Langevoort geen (stabiele) internetverbinding new huub
#1009 HybridLijtweg1 en 2 kasten vervangen new huub
#988 HybridLijtweg2 geen link naar LHS new huub
#849 HybridJorisdeWitte nanoM2-loco aansluiten new huub
#848 HybridJorisdeWitte en HybridAkzo2 interlink config new huub
#845 HybridLijtweg1 nanoM2 niet bereikbaar new huub
#801 HybridLijtweg1 usb-lan adapter vervangen/verwijderen new huub
#502 HybridRustenborch verbeteren new rick

Location: Teylingen (11 matches)

Ticket Summary Status Owner Reporter Keywords
#1014 HybridTEYBestuurscentrum usb adapters weg new huub
#1008 HybridJuffermans usb adapter weg new huub
#996 HybridTEYBestuurscentrum - HybridLeeuwenhorst2 link down new huub
#995 HybridTEYAkzoNobel2 password nano vr0 new huub
#994 HybridTEYAkzoNobel2 slechte verbinding ue0 nano new huub
#970 Ethernet link HybridTEYAkzoNobel2.wleiden.net. <> HybridTEYAkzoNobel1.wleiden.net. new wouter rick
#958 Vraagje (Voorhout) new rick
#950 Jachthaven Juffermans instabiel new rick
#751 ProxyKWVdekaag - inet down / http socket timeout new mbreet
#706 HybridTeyBartholomeus ap-oost hangt na setting aanpassen new wouter
#570 HybridTeyOudeRaadhuis: geen link naar Boterhuis new huub

Location: Westeinder (21 matches)

Ticket Summary Status Owner Reporter Keywords
#1083 Watertoren1 Nieuwe nanostation M5 niet goed aangesloten new huub
#1055 Rekpark303 repeater niet bereikbaar new huub
#1019 RekPark 303 - wel verbinding geen Internet new henk
#1012 HybridRekpark214a usb adapter weg new huub
#987 Kempers slecht link naar Watertoren3 new huub
#956 storing AP Westeinder Kudelstaart new rick
#949 Geen Internet in Jachthaven Kudelstaart new henk
#924 AP Westeinder Kempers 1 en 2 geen internet new ed
#922 Storing Ap Westeinder Kudelstaart 1 en new ed
#914 watertoren{1,2} - lvrouted stopped updating routes new rick
#913 Watertoren2 - interface vr1 flapping new rick
#907 HybridKudelstaart contactgegevens wijzigen assigned henk henk
#814 HybridDrijfhuis: ombouw new Henk huub
#776 Watertoren3: usb-lan adapter geeft 'no-buffer-space' probleem new Henk huub
#775 HybridWatertoren-ap zwak signaal? new huub
#744 HybridKudelstaart usb-lan adapter(s) vervangen assigned henk huub
#640 RekPark 303 - slecht bereik 3 boten new henk
#596 HybridRekpark214a tweede usb-lan adapter matig new huub
#577 RekPark214 Afronden werkzaamheden new henk
#561 USB-LAN adapter: no buffer space new huub
#435 HybridDrijfhuis ap3 uitgeschakeld assigned henk huub

Location: Zoeterwoude (19 matches)

Ticket Summary Status Owner Reporter Keywords
#1079 StJan: repeater Veldhoeve geen ping new huub
#1073 ZTWRijneke accesspoints down assigned rick huub
#1061 WiFI Rijneke Boulevard - werkt niet new rick rick
#1041 Meerburg switch plaatsen new huub
#1018 HybridZwet new huub
#1017 HybridZTWVdSterre usb adapter weg new huub
#1016 HybridZTWRijneke new huub
#1013 HybridStJan adapter(s) weg new huub
#948 BulletM2 Rusdam2.wleiden.net defect new rick rick
#935 HybridRustdam - ombouwen (APU/extra APs) new rick rick
#934 HybridZTWMeerburgkerk - reparaties new rick rick
#901 HybridHeineken bridge noord uitrichten new huub
#900 Kanalenplanning bij JVC en Meerburg new huub
#773 HybridZTWRijneke usb-lan adapter teveel new huub
#772 HybridZTWRijneke matige links naar HybridHMKerk en HybridWBRotary new huub
#761 HybridZTWDorpskerk HybridStJan matige link new huub
#676 HybridZTWDorpskerk link naar HybridROC2 packet loss new huub
#496 HybridVdSterre configuratie link noord (vr1) new huub
#495 HybridHeineken link zuid modificatie new huub


Voor trac hulp

For a complete list of local wiki pages, see TitleIndex.

Last modified 12 months ago Last modified on Mar 27, 2016, 4:42:38 PM

Attachments (1)

Download all attachments as: .zip