Połącz raporty post-mortem, runbooki i kody błędów w szybką bazę dla dyżurów on-call

O 3:00 w nocy podczas awarii inżynier dyżurny nie ma czasu przekopywać pięciu repozytoriów. Pozwól mu wkleić wyjątek z logów i zobaczyć poprzedni incydent.

Jak przygotować bazę wiedzy operacyjnej na sytuacje kryzysowe

  1. 01

    Zachowuj dokładne nazwy metryk, alertów i wyjątków bez lematyzacji

    Ciągi takie jak „CrashLoopBackOff”, „OOMKilled” czy „ORA-01555” muszą być indeksowane znak po znaku obok warstwy semantycznej opisującej objawy biznesowe.

  2. 02

    Łącz każdy raport post-mortem z wprowadzonym docelowym zabezpieczeniem

    Dyżurny musi od razu widzieć nie tylko to, jak doraźnie zrestartowano usługę rok temu, ale także które przełączniki konfiguracyjne dodano po tamtej awarii.

  3. 03

    Trzymaj runbooki blisko kodu w repozytorium Git (Docs-as-Code)

    Przechowywanie instrukcji utrzymaniowych w tym samym repozytorium co definicje infrastruktury wymusza ich aktualizację podczas przeglądu zmian Pull Request.

  4. 04

    Wyróżniaj na górze wyniku polecenia bezpieczne tylko do odczytu

    W stresie nocnego dyżuru odpowiedź powinna wyraźnie oddzielać komendy diagnostyczne sprawdzające stan kolejki od operacji modyfikujących lub czyszczących dane.

Najczęściej zadawane pytania

Dlaczego podczas poważnej awarii klasyczna dokumentacja w firmowym wiki tak często zawodzi?

Strony wiki starzeją się w ciszy, podczas gdy rzeczywista wiedza o ostatnich obejściach leży w zamkniętych kanałach incydentowych i opisach zmian infrastrukturalnych.

Czy wklejanie fragmentów logów produkcyjnych do wyszukiwarki wymaga specjalnego oczyszczania?

Tak, potok wejściowy powinien automatycznie wycinać tokeny sesyjne, adresy e-mail klientów i identyfikatory żądań, zostawiając czystą sygnaturę błędu aplikacji.

W jaki sposób przeszukiwalna baza post-mortem przyspiesza wdrożenie nowych inżynierów?

Pozwala w kilka godzin prześledzić historyczne wąskie gardła systemu pod szczytowym obciążeniem i zrozumieć nietypowe zabezpieczenia w architekturze.

Dowiedz się więcej

Powiązane poradniki i wyjaśnienia do tego zadania