Compaq Overhead Template 3/30/00 Inhalt 1. Wo fange ich an zu suchen ? TCP/IP Services for Open VMS Troubleshooting 2. Troubleshooting Connectivity - routing - netstat - traceroute - tcptrace Thomas Strasser 3. Troubleshooting Services - Logfiles - Extended Logging Compaq Computer 23. DECUS München e.V. Symposium 2000 Bonn www.compaq.com Wo fange ich an zu suchen? www.compaq.com Wo fange ich an zu suchen? ? u Application Layer l u Sind gesamte Knoten oder Netzwerke nicht erreichbar ? l Troubleshooting Connectivity l u TCPIP> show interface we0 /full $ ifconfig -a -i -s -ia -an -m Einfacher Test, ob der andere Knoten erreichbar ist l NETSTAT $ netstat $ netstat $ netstat $ netstat $ netstat u l Werden Pakete gesendet / empfangen, zählen Fehler hoch ? l www.compaq.com Troubleshooting Connectivity (cont.) Wie schauen IP-Adresse, Network- und Broadcastmask aus? l Troubleshooting Connectivity Network Layer www.compaq.com u Troubleshooting Services _______________________ Transport Layer Internet Layer Funktionieren nur einzelne Applikationen nicht ? interface Statistik protocol Statistik zeigt alias und multicast Adressen per-connection Status memory buffer output u Funktioniert die Adressauflösung? l l u TCPIP> PING <host> $ ping <host> TCPIP> show host $ nslookup Gibt es evtl. eine doppelt vergebene IP-Adresse? l l TCPIP> show arp $ arp -a Kontrolle ob checksums, excessive retransmissions, drops, out of order packets, lost carrier errors, etc. auftauchen. www.compaq.com www.compaq.com 1 Compaq Overhead Template 3/30/00 Troubleshooting Connectivity ROUTING u Wie ist das Routing abgesetzt? TCPIP> sho config start routing Befehl zum Anzeigen der empfangenen Routing Pakete l TCPIP> start routing /log l u Gibt es eine Default Route? u Ist das Routing Gateway erreichbar? u IP-Adressen des Routing Gateways und des eigenen Knotens müssen im selben Subnet sein! TCPIP> show route $ netstat -rn u Tool zum Überprüfen des Routing Pfades Troubleshooting Connectivity PING TCPIP> ping wrl-mkd1-pp.bb.dec.com PING wrl-mkd1-pp.bb.dec.com (16.55.117.2): 56 data bytes 64 bytes from 16.55.117.2: icmp_seq=1 ttl=30 time=1220 ms 64 bytes from 16.55.117.2: icmp_seq=2 ttl=30 time=1198 ms 64 bytes from 16.55.117.2: icmp_seq=4 ttl=30 time=1195 ms 64 bytes from 16.55.117.2: icmp_seq=5 ttl=30 time=1208 ms ^C ----wrl-mkd1-pp.bb.dec.com PING Statistics---7 packets transmitted, 4 packets received, 42% packet loss round-trip (ms) min/avg/max = 1195/1205/1220 ms $ traceroute <host> www.compaq.com Troubleshooting Connectivity TRACEROUTE $ traceroute gatekeeper.pa.dec.com traceroute to gatekeeper.pa.dec.com (16.1.0.2), 30 hops max, 1 2 3 4 5 6 7 8 zk1rt4.zko.dec.com (16.33.16.104) 5 ms 4 ms 5 ms lkd2-zko-pp.bb.dec.com (16.55.160.1) 18 ms 43 ms 20 ms bblkd1.bb.dec.com (16.54.16.1) 25 ms 21 ms 34 ms mkd1-lkd1-pp.bb.dec.com (16.55.16.2) 40 ms 48 ms 29 ms wrl-mkd1-pp.bb.dec.com (16.55.117.2) 1203 ms 1191 ms 1238 easy-pa-gw2.pa.dec.com (16.1.224.101) 1233 ms 1304 ms 1273 cerberus1.pa.dec.com (16.1.240.243) 1207 ms 1226 ms 1264 gatekeeper.pa.dec.com (16.1.0.2) 1278 ms 1239 ms 1298 ms www.compaq.com Troubleshooting Connectivity TRACEROUTE u Traceroute bis zur Firewall und nicht weiter ? $ traceroute www.deere.com traceroute to www1.deere.com (192.43.69.33), 30 hops max, 1 r2-red-yellow (16.140.0.2) 4 ms 4 ms 0 ms 2 3 4 5 zk1rt4.zko.dec.com (16.33.16.104) 8 ms 16 ms 8 ms lkd2-zko-pp.bb.dec.com (16.55.160.1) 70 ms 90 ms 63 ms bblkd1.bb.dec.com (16.54.16.1) 55 ms 78 ms 66 ms mkd1-lkd1-pp.bb.dec.com (16.55.16.2) 27 ms 47 ms 90 ms 6 wrl-mkd1-pp.bb.dec.com (16.55.117.2) 105 ms 94 ms 90 ms 7 easy-pa-gw2.pa.dec.com (16.1.224.101) 180 ms 195 ms 187 8 cerberus1.pa.dec.com (16.1.240.243) 164 ms !H 137 ms !H www.compaq.com Troubleshooting Connectivity TCPTRACE $ TCPTRACE <host> (TCPIPTRACE in UCX 4.2) u l l l l l Troubleshooting Connectivity TCPTRACE TCPIPtrace full display RCV packet 31 at 6-MAR-2000 13:18:46.48 IP Version = 4, IHL = 5, TOS = 00, Total Length = 40 = ^x0028 IP Identifier = ^x6032, Flags (0=0,DF=0,MF=0), Fragment Offset = 0 = ^x0000, Calculated Offset = 0 = ^x0000 Optionen : l www.compaq.com /buffers = n (Anzahl der zum Zwischenspeichern verwendeten Buffer) /full (zeigt auch die Paketdaten mit an) /output=filename (speichert den Output in einem File) /packets=n (Anzahl der zu tracenden Pakete) /port=[ local | remote ]=n (filtert die Pakete für einen bestimmten Port) /protocol=[arp, icmp, ip, tcp, udp] IP TTL = 128 = ^x80, Protocol = 6 = ^x06, Header Checksum = ^xE4EA IP Source Address = 16.204.234.34 IP Destination Address = 16.204.233.248 TCP Source Port = 2753, TCP Destination Port = 21 TCP Sequence Number = 1704128016 = ^x6592EE10 TCP Acknowledge Number = 1838636803 = ^x6D975F03 Flags (URG=0,ACK=1,PSH=0,RST=0,SYN=0,FIN=0), Window = 4096 = ^x1000 TCP Checksum = ^x7F0D, Urgent Pointer = 0 = ^x0000 www.compaq.com www.compaq.com 2 Compaq Overhead Template 3/30/00 Troubleshooting Services PARAMETER u Überprüfen von Parametern wie Large Buffers, Small Buffers, Device Sockets l UCX> SHOW COMMUNICATION l UCX> SHOW COMMUNICATION / MEMORY l Ab TCP/IP Services for OpenVMS Version 5.0 werden diese Werte automatisch angepasst. Troubleshooting Services PARAMETER UCX> SHOW COMMUNICATION . Maximum Current Peak Device_sockets 300 45 53 . Type: Ethernet Free Maximum Max Bytes Minimum Min Bytes Large buffers 20 200 377600 10 18880 Small buffers 150 1000 256000 50 12800 UCX> SHOW COMMUNICATION / MEMORY . . Free Current Peak Small Buffers 84 106 0 Large Buffers 1 10 0 Waits 0 0 Drops 0 0 www.compaq.com Troubleshooting Services - allgemein u Service muß enabled sein l www.compaq.com Troubleshooting Services - allgemein u TCPIP> show service Event Logging ($reply/enable) l u Servicelimit muß hoch genug sein l Auxiliary Server (TCPIP$inet_acp) erzeugt TCPIP> show service <servicename> / full l u Fast jedem Service ist ein VMS User zugeordnet l Beim Starten jedes Services werden entsprechende Events vom Frage : • kommt request von Remote-Host an ? • mit welchem error (event) wird request abgewiesen ? Eintrag im User Authorization File überprüfen, Zugriffsrechte der dem VMS User zugeordneten Directories überprüfen, evtl. Probleme in SYLOGIN.COM oder LOGIN.COM ? www.compaq.com Troubleshooting Services - allgemein $reply /enable=network %%%%%%%%%%% OPCOM 9-MAR-2000 14:57:38.29 %%%%%%%%%%% Message from user INTERnet on MDSC38 INTERnet ACP Process creation success $ %%%%%%%%%%% OPCOM 9-MAR-2000 14:57:38.30 %%%%%%%%%%% Message from user INTERnet on MDSC38 INTERnet ACP FTP Accept Request from Host: 16.204.43.15 Port: 1419 $ %%%%%%%%%%% OPCOM 9-MAR-2000 14:57:38.67 %%%%%%%%%%% Message from user INTERnet on MDSC38 INTERnet ACP detected TCPIP$FTP exiting before 'accept' $ %%%%%%%%%%% OPCOM 9-MAR-2000 14:57:38.67 %%%%%%%%%%% Message from user INTERnet on MDSC38 INTERnet ACP AUXS error during process exit Status = %CLI-E-NOCMDPROC www.compaq.com www.compaq.com Troubleshooting Services - allgemein u Logfiles l u Frage : l l u Für jeden “incoming” und teilweise auch für “outgoing” Services existieren Logfiles gibt es ein solches Logfile ? welcher error steht in diesem Logfile ? Extended Logging bei den Services l Durch Definieren bestimmter Logicals kann man mehr Informationen mitprotokollieren www.compaq.com 3 Compaq Overhead Template 3/30/00 Troubleshooting Services “show service /full” u TCPIP> show service <service-name>/full sieht man: Troubleshooting Services “show service /full” TCPIP> show service ftp/full Service: FTP l l l l unter welchem Account wird Service eingelogged auf welches Login-Directory wird Service eingelogged welche Startup-Kommando Prozedur wird ausgeführt welches Logfile wird verwendet Port: 21 State: Enabled Protocol: TCP Address: 0.0.0.0 Inactivity: Limit: 5 10 User_name: TCPIP$FTP Active: 0 Process: TCPIP$FTP Peak: 1 File: Flags: TCPIP$SYSTEM:TCPIP$FTP_RUN.COM None Socket Opts: Rcheck Scheck Receive: 0 Send: 0 Log Opts: Acpt Actv Dactv Conn Error Exit Logi Logo Mdfy Rjct TimO Addr File: SYS$SYSDEVICE:[TCPIP$FTP]TCPIP$FTP_RUN.LOG Security Reject msg: not defined Accept host: 0.0.0.0 Accept netw: 0.0.0.0 www.compaq.com Troubleshooting Services TCPIP$INET_ACP u www.compaq.com Troubleshooting einzelner Services TCPIP$inet_acp (Auxiliary Server, Inet-Daemon) l BootP Server TCP/IP UDP/IP Auxiliary Server u DHCP u Telnet FTP u u LPD u BOOTP TFTP u Telnetsym SMTP u BIND u u Metric Server u POP u Loadbroker u NFS u dieser Prozess wird beim Starten von TCPIP erzeugt – “hört” auf entsprechende Client Requests – “logged” requesteten Service über dessen Account ein und startet den entsprechenden Service SMTP Receiver FTP Server LPR Receiver www.compaq.com Troubleshooting TELNET Troubleshooting FTP u Überprüfen des Servicelimits, evtl. Erhöhen u Anpassen des Internet ACP Byte Limit Quota : l u u In SYS$COMMON:[SYSMGR]TCPIP$INET_STARTUP.COM beim DCL RUN Kommando den Wert von /BUFFER_LIMIT anpassen l Logfiles überprüfen : l l l Einschalten von Tracing : l www.compaq.com TELNET> enable option TELNET> enable debug www.compaq.com FTP Server Logfile : SYS$SYSDEVICE:[TCPIP$FTP] TCPIP$FTP_RUN.LOG $ DEFINE /SYSTEM TCPIP$FTP_LOG 1 Im Login-Directory des FTP Anwenders SYS$LOGIN:TCPIP$FTPSERVER.LOG www.compaq.com 4 Compaq Overhead Template 3/30/00 Troubleshooting FTP (cont.) Troubleshooting FTP (cont.) CLIENT MAKES CONNECTION REQUEST | SERVER ------> CHECK FOR HOST IDENTIFICATION | FTP SERVER WAITS... | | SERVER <-----------DEFINITE ANSWER (HOST FOUND OR BIND SERVER TIMEOUT) | | CONNECTION IS ALLOWED AND SERVER ASKS CLIENT FOR USER NAME AND PASSWORD u Save Set wurde über FTP kopiert : l l jetzt tauchen folgende Fehler auf : Beim RESTORE %BACKUP-E-READERRS BACKUP-E-BLOCKCRC u Record Format der original Datei mit „DIR /FULL“ prüfen u Original Format wieder herstellen : $ SET FILE/ATTR=(RFM:FIX,LRL:<byte_record_size_of_original_saveset>) www.compaq.com www.compaq.com Troubleshooting LPD (incoming) u Logfiles überprüfen : l l u LPD Server Startup Logfile SYS$SPECIFIC:[TCPIP$LPD]TCPIP$LPD_RCV_LOGFILE.LOG LPD Symbiont Logfile SYS$SPECIFIC:[TCPIP$LPD]TCPIP$LPD_LOGFILE.LOG Einschalten von Tracing : l $ DEFINE /SYSTEM LPD_RCV nn nn = 7 : für die meisten Zwecke ausreichend nn = 15 : protokolliert alles mit Troubleshooting LPD (outgoing) u Logfiles überprüfen l l SYS$SPECIFIC:[TCPIP$LPD .<OUT_QUEUE>] <OUT_QUEUE>.LOG u Einschalten von Tracing l LPD runter- und hochfahren, damit das Logical aktiv wird www.compaq.com u u www.compaq.com Troubleshooting SMTP (allgemein) Logfiles überprüfen l u TCPIP$TELNETSYM_queuename.LOG Unter TCPIP$TELNETSYM_SCRATCH (falls definiert) oder TCPIP$LPD_SPOOL (falls definiert) oder SYS$SPECIFIC:[SYSEXE] l $ DEFINE /SYSTEM TCPIP$TELNETSYM_VERBOSE 1 $ DEFINE /SYSTEM TCPIP$TELNETSYM_DEBUG n (bitmask) n = 1 (bit 0) : protokolliert “flow of code” n = 2 (bit 1) : protokolliert “memory allocation” n = 4 (bit 2) : protokolliert, über den TCP/IP Link gesendete und empfangene Bytes Zum Aktivieren Telnetsymbiont-Queue stoppen und starten www.compaq.com Einschalten des Tracing für den SMTP-Symbiont (Greift sowohl für inbound als auch outbound Mail) $ TCPIP STOP MAIL $ DEFINE /SYSTEM TCPIP$SMTP_LOG_LEVEL 5 $ TCPIP START MAIL Einschalten von Tracing l $ DEFINE /SYSTEM LPD_DEBUG nn nn = 7 : für die meisten Zwecke ausreichend nn = 15 : protokolliert alles mit LPD runter- und hochfahren, damit das Logical aktiv wird Troubleshooting Telnetsym Pro Outbound Queue gibt es ein eigenes Logfile. Definiert über “sd” - Eintrag in TCPIP$LPD_PRINTCAP u Logfile befindet sich danach in SYS$SPECIFIC:[TCPIP$SMTP]TCPIP$SMTP_LOGFILE.LOG www.compaq.com 1 Compaq Overhead Template 3/30/00 Troubleshooting SMTP (inbound) u Einfacher Test, ob SMTP auf Port 25 antwortet l u Troubleshooting SMTP (inbound) u $ TELNET elmer.dec.com /PORT=25 Einschalten von Tracing $ DEFINE /SYSTEM TCPIP$SMTP_RECV_DEBUG 1 $ DEFINE /SYSTEM TCPIP$SMTP_RECV_TRACE 1 Auf dem SMTP receiver, u $ REPLY /ENABLE=NETWORK sollte die Incoming SMTP-Receiver startup anzeigen l Trace befindet sich in SYS$SPECIFIC:[TCPIP$SMTP]TCPIP$SMTP_RECV_RUN.LOG $ SHOW SYSTEM /NETWORK sollte einen TCPIP$SMTP_BGnnn Prozess anzeigen l www.compaq.com Troubleshooting SMTP (outbound) u Einschalten von Tracing www.compaq.com Troubleshooting POP u Vor dem Senden der Mail definieren : $ DEFINE /SYSTEM TCPIP$SMTP_VMSMAIL_SEND 1 $ DEFINE /SYSTEM TCPIP$SMTP_VMSMAIL_PARSE 1 l Protokolliert die Kommunikation zwischen VMSMAIL und SMTP l u l u l u u Mail Kontroll File ist in SYS$LOGIN: TCPIP$POP_LOG_LEVEL DEBUG @SYS$startup:TCPIP$pop_shutdown.com @SYS$startup:TCPIP$pop_startup.com $ SHOW QUE TCPIP$SMTP* l SYS$SYSDEVICE:[TCPIP$POP] TCPIP$POP_RUN.LOG Extended logging : l datetime_vmsusername.TCPIP_hostname: 99120712453211_strasser.TCPIP_mdsc38 $ TELNET mdsc38.fkr.cpqcorp.net /PORT=110 Logfiles : l Trace befindet sich in SYS$LOGIN: DEBUG.TXT u Einfacher Test, ob POP auf Port 110 antwortet Ist die Queue auf STOPPED hat der Symbiont Probleme www.compaq.com Troubleshooting NFS Server u u Troubleshooting DHCP Server Einschalten von NFS Logging und Tracing l TCPIP> SET NFS /DEBUG = 180 u $ DEFINE /SYSTEM TCPIP$DHCP_DEBUG 6 u $ DEFINE /SYSTEM TCPIP$DHCP_LOG 0 | 1 | 2 u Logfile : l Fehlersituation hervorrufen danach Logfile schließen und Tracing wieder ausschalten l www.compaq.com TCPIP> SET NFS /DEBUG = 0 l u (Hex Dump von jedem Packet) SYS$SYSDEVICE:[TCPIP$DHCP]TCPIP$DHCP_RUN.LOG Meldungen befinden sich in l SYS$SYSDEVICE:[TCPIP$NFS] u TCPIP$NFS_<host-name>_LOGFILE.LOG DHCP Kommandos : $ DHCPSIGHUP - liest Database - reinitialisiert DHCP Server $ DHCPSIGTERM - Shutdown von DHCP www.compaq.com www.compaq.com 2 Compaq Overhead Template 3/30/00 Troubleshooting BOOTP Server u $ TCPIP SHOW BOOTP/FULL l u u $ REPLY /ENABLE=NETWORK u $ SHOW SYSTEM /NETWORK u Protection von TCPIP$TFTP_ROOT:[000000] prüfen u Extended logging : zeigt Bootp Database l $ REPLY /ENABLE=NETWORK l u Troubleshooting TFTP Server l zeigt OPCOM message der incoming Requests $ SHOW SYSTEM /NETWORK l zeigt TCPIP$BOOTP_BGnnn, ist Bootp Serverprozess l l u zeigt OPCOM message der incoming Requests zeigt TCPIP$TFTP_BGnnn Prozess als TFTP Server $ DEFINE /SYSTEM TCPIP$TFTP_TRACE 1 $ DEFINE /SYSTEM TCPIP$TFTP_EXTLOG 1 $ DEFINE /SYSTEM TCPIP$BOOTP_TRACE 1 l Logged alle incoming requests/responses in SYS$SYSDEVICE:[TCPIP$BOOTP]TCPIP$BOOTP_RUN.LOG u Logfile : l SYS$SYSDEVICE:[TCPIP$TFTP]TCPIP$TFTP_RUN.LOG www.compaq.com Troubleshooting BIND u u Troubleshooting Metric Server u Logfile : l www.compaq.com l l l l $ DEFINE /SYSTEM TCPIP$BIND_METRIC_DBG_LEVEL n n = 1 : minimale Diagnose n = 2 : erweiterte Diagnose Häufige Fehler : l Einschalten von Tracing für den Metric Server l SYS$SPECIFIC:[TCPIP$BIND]TCPIP$BIND_RUN.LOG. danach Überprüfen der Meldungen in Serialnumber im SOA wurde nicht geändert Domain name in der Bind Database muss mit einem Punkt enden IN-ADDR_ARPA.DB wird nicht upgedated (für jeden Host ein PTR) Fehlender NS record in der Bind Database Hostnamen enthalten „underscores“ SYS$SPECIFIC:[TCPIP$METRIC]TCPIP$METRIC_SERVER.LOG u Metric View Utility zum Anzeigen des Metric Ratings von Hosts in einem TCP/IP Cluster l www.compaq.com $ mc TCPIP$METRICVIEW www.compaq.com Troubleshooting Loadbroker u Logfile : l u SYS$SYSDEVICE:[TCPIP$LD_BKR]TCPIP$LBROKER_RUN.LOG Häufige Fehler : l „allow dynamic updates“ am primary Server einschlalten (default is none) l Fehlender Eintrag des primary Servers im TCPIP$LBROKER.CONF www.compaq.com 3