Skip to main content
VivaDrive Logo
Otwarte stanowiska
Pełny etat
Praca zdalna/Warszawa, Polska
Inżynieria

AI Systems Tester

QA i ewaluacja modeli

Aplikuj

Aplikuj na to stanowisko

Praca zdalna/Warszawa, Polska
Pełny etat
Opublikowano 01/07/2026
Aplikuj

Opis stanowiska

Produkty AI psują się inaczej niż zwykły software — scoring ryzyka może być pewny siebie i błędny, a asystent może zmyślić rekomendację. Szukamy AI Systems Testera, który zadba o to, żeby to, co nasze modele mówią fleet managerom, było poprawne, spójne i bezpieczne, zanim trafi na produkcję.

Zaprojektujesz zbiory ewaluacyjne i automatyczne zestawy testów dla naszych modeli ML i funkcji GenAI (w tym mAIstera), będziesz polować na edge case'y w prawdziwych danych flotowych i zdefiniujesz bramki jakości, które musi przejść każde wydanie.

Odpowiedzialności

  • Projektowanie i utrzymanie zbiorów ewaluacyjnych dla modeli i funkcji AI
  • Budowa automatycznych zestawów testów dla wyników modeli i promptów
  • Testy regresyjne przy każdej zmianie modeli, promptów lub danych
  • Polowanie na edge case'y w prawdziwych danych flotowych i zamienianie ich w testy
  • Definiowanie i egzekwowanie bramek jakości dla wydań AI
  • Raportowanie metryk jakości i praca z inżynierami AI nad poprawkami

Wymagania

2+ lata w QA lub automatyzacji testów (Pytest, Playwright lub podobne)
Zrozumienie, jak psują się modele ML i LLM-y: bias, drift, halucynacje
Doświadczenie w budowie zbiorów testowych lub pipeline'ów ewaluacyjnych
Praktyczny SQL i skrypty w Pythonie
Doświadczenie w testowaniu pipeline'ów danych lub API(Mile widziane)
Znajomość frameworków do ewaluacji LLM i integracji z CI(Mile widziane)

Benefity

Nowoczesne biuro w centrum Warszawy (z opcją pracy zdalnej)

Międzynarodowe środowisko pracy

Realny wpływ na produkty używane przez ponad 700 klientów flotowych

Elastyczne godziny pracy i równowaga praca–życie

Zespołowa kultura pracy i regularne wydarzenia teamowe

Konkurencyjne wynagrodzenie i premie za wyniki

Nasze Wartości

Zrównoważone rozwiązania dla lepszej przyszłości

Współpracujące i integracyjne miejsce pracy

Globalny wpływ poprzez lokalne inicjatywy

O VivaDrive

Jesteśmy startupem z obszaru #mobilności i #energii, który pomaga firmom wprowadzać samochody elektryczne do swojej floty. Naszą misją jest przyspieszenie rozwoju zrównoważonych rozwiązań transportowych na całym świecie.

Nasze Główne Biuro

Zobacz na Mapach Google

VivaDrive Poland Sp. z o.o.
ul. Złota 59
00-120 Warsaw, Poland

Powrót do wszystkich stanowisk
Aplikuj