QA Engineer (m/f/n)

Dla jednego z naszych partnerów biznesowych poszukujemy specjalisty na stanowisko QA Engineer (m/f/n)

Oferta:

• Stawka do ok. 125 zł/h netto+VAT
• Kontrakt B2B z SHIMI
• Praca w 100% zdalna
• Start: ASAP
• Czas trwania projektu: do 14.12.2026, z realną perspektywą kontynuacji przez co najmniej 12 miesięcy w związku z planowanym rozwojem projektu w 2027 roku

O projekcie

Dotyczy automatyzacji produkcji gazet reklamowych dla regionalnego wydawcy. Na podstawie zamówionych reklam i insertów system określa wielkość wydania. Pipeline’y AI generują treści redakcyjne na podstawie e-maili, danych owydarzeniach i materiałów archiwalnych. Dwa solvery oparte na OR-Tools CP-SAT odpowiadają za dobór treści i układ stron. Końcowym wynikiem jest gotowy do druku PDF w jakości 300 dpi, zgodny z PDF/X-3.

W procesie pozostają dwa punkty kontroli manualnej:

• akceptacja redakcyjna,
• akceptacja przed drukiem.

System pracuje na niejednorodnych i często niekompletnych danych wejściowych. Część rozwiązania jest niedeterministyczna ze względu na wykorzystanie AI, a część opiera się na optymalizacji matematycznej.

Model pracy: duża samodzielność; osoba otrzymuje cele i dostęp do systemów, samodzielnie definiuje specyfikację testów i prowadzi temat, współpracując z Tech Leadem.

Stack technologiczny

• Python

• PostgreSQL

• AWS EKS

• LangGraph

• LiteLLM

• Langfuse

• Redis

• Grafana

• React

• TypeScript

Wymagania must-have

• poziom Senior i doświadczenie w samodzielnym prowadzeniu QA w co najmniej jednym projekcie,
• doświadczenie w samodzielnym tworzeniu i wdrażaniu test concept / test strategy,
• bardzo dobra znajomość automatyzacji testów w Pythonie i pytest,
• doświadczenie w konfiguracji i utrzymywaniu testów w pipeline’ach CI,
• doświadczenie w testowaniu backendów i systemów danych, w tym API, data pipelines, batch processing i integracji,
• doświadczenie w generowaniu syntetycznych lub rule-based danych testowych,
• doświadczenie w runtime, performance i volume testing systemów backendowych lub batchowych,
• doświadczenie w testowaniu parallel processing,
• umiejętność projektowania scenariuszy wydajnościowych, definiowania metryk analizowania bottlenecków,
• doświadczenie w automatyzacji testów frontendu, np. Playwright lub narzędzie porównywalne,
• doświadczenie w testach manualnych i exploratory testing,
• doświadczenie z defect classification, severity levels i release criteria,
• angielski C1 (to język projektu)

Dodatkowe atuty

• doświadczenie w testowaniu systemów AI / ML / LLM,
• doświadczenie w evaluation i pracy z niedeterministycznymi wynikami,
• znajomość Langfuse lub podobnych narzędzi,
• doświadczenie w tworzeniu AI-supported test agents lub LLM-based test automation,
• property-based testing,
• doświadczenie w testowaniu systemów optymalizacyjnych lub planistycznych,
• doświadczenie w walidacji PDF lub materiałów do druku,
• doświadczenie w branży publishing / media,
• znajomość języka niemieckiego.

Zakres odpowiedzialności

1. Test concept i podejście do QA

• stworzenie i utrzymywanie koncepcji testów,
• określenie poziomów testów i podziału odpowiedzialności pomiędzy development i QA,
• risk-based prioritization,
• określenie podejścia do środowisk i danych testowych,
• zdefiniowanie klasyfikacji błędów i severity levels,
• określenie kryteriów dla blockerów,
• zdefiniowanie acceptance i release criteria dla testowych wydań oraz produkcyjnego go-live,
• przygotowanie dokumentacji umożliwiającej nowym osobom rozpoczęcie testów bez dodatkowego walkthrough.

2. Test automation

• przygotowanie koncepcji automatyzacji testów i jej wdrożenie,
• testy integracyjne i API,
• testowanie pipeline’ów,
• automatyzacja w Pythonie z wykorzystaniem pytest,
• integracja testów z CI,
• testy regresji PDF, w tym visual comparison, preflight i walidacja PDF/X-3,
• automatyzacja testów frontendu, np. przy użyciu Playwright,
• opcjonalnie wykorzystanie AI-supported testing, np. LLM-driven browser agents, generowanie przypadków testowych lub danych testowych.

3. Test data

• generowanie syntetycznych, zróżnicowanych danych testowych według zdefiniowanych reguł,
• uwzględnianie niekompletnych danych, błędów formatów, duplikatów i edge case’ów,
• testowanie różnych kombinacji wielkości wydań i struktury reklam,
• budowanie i utrzymywanie referencyjnych datasetów na podstawie rzeczywistych wydań,
• property-based testing, np. Hypothesis.

4. Mierzenie jakości

• definiowanie i automatyczne zbieranie metryk jakościowych,
• monitorowanie trendów i regresji.

Przykładowe metryki dla solvera:

• fill rate,

• white space,

• stosunek reklam do treści redakcyjnych,

• naruszenia reguł,

• runtime względem search budget.

Przykładowe metryki dla pipeline’ów AI:

• zgodność długości tekstu z założonym limitem,

• regresje po zmianie promptu lub modelu.

5. Runtime, performance i volume testing

• pomiar czasu wykonania, throughputu i jakości wyniku,
• testowanie dużych wydań,
• testowanie ponownych uruchomień wynikających z późnych zmian,
• testowanie kilku tytułów produkowanych równolegle,
• analiza runtime i jakości wyników solvera,
• testy wolumenowe oparte na syntetycznych danych,
• profiling i analiza metryk w Grafanie,
• testowanie skalowania w AWS EKS,
• uwzględnienie docelowego wdrożenia rozwiązania na większą skalę oraz późniejszego rozszerzenia rozwiązania na dzienniki.

6. Manual testing

• exploratory testing,
• release testing w obszarach, w których automatyzacja nie jest uzasadniona lub nie została jeszcze wdrożona,
• planowanie i dokumentowanie testów manualnych.