Dlaczego projekty AI padają i jak CRISP-DM temu zapobiega
Między 70% a 80% projektów AI kończy się niepowodzeniem. Nie dlatego, że brakuje technologii czy mocy obliczeniowej. Problem leży w tym, jak organizacje podchodzą do zarządzania tymi projektami.
Większość firm traktuje wdrożenie AI jak kolejny projekt IT. Wyznacza się budżet, zatrudnia data scientistów, uruchamia proof-of-concept. Po kilku miesiącach powstaje model, który w laboratorium daje obiecujące wyniki. Potem projekt utyka. Nie ma planu wdrożenia produkcyjnego. Nikt nie pomyślał o monitoringu modelu po wdrożeniu. Dział prawny pyta o zgodność z EU AI Act, a nikt nie dokumentował decyzji.
Tradycyjne metodologie wytwarzania oprogramowania (waterfall, nawet Scrum) zakładają, że wynik jest deterministyczny. Napisz kod, przetestuj, wdróż. Z AI tak się nie da, bo algorytmy uczenia maszynowego są probabilistyczne. Model może działać dobrze dziś, a za trzy miesiące dawać błędne wyniki, bo zmieniły się dane wejściowe. Tradycyjne metodologie IT tego zjawiska nie uwzględniają.
Według raportu PMI z 2025 roku, najczęstsze przyczyny porażek projektów AI to brak jasno zdefiniowanego problemu biznesowego, słabe powiązanie z decyzjami operacyjnymi i nieobecność planu na cały cykl życia rozwiązania. Ten framework i jego adaptowane wersje powstały po to, żeby te problemy rozwiązać systemowo, zanim pochłoną budżet.
Czym jest adaptowany CRISP-DM (a czym nie jest)
CRISP-DM (Cross-Industry Standard Process for Data Mining) powstał pod koniec lat 90. jako uniwersalna procedura dla projektów eksploracji danych. Stworzył go konsorcjum firm (m.in. NCR, DaimlerChrysler, SPSS i OHRA) i szybko stał się de facto standardem branżowym. Oryginalny model ma sześć faz: zrozumienie biznesu, zrozumienie danych, przygotowanie danych, modelowanie, ewaluacja i wdrożenie.
Sam CRISP-DM nie wystarczy na dzisiejsze potrzeby. Dlatego mówię o wersji adaptowanej, która łączy trzy elementy:
- Klasyczny CRISP-DM jako szkielet procesu technicznego (6 faz od problemu do wdrożenia).
- CRISP-ML(Q) jako rozszerzenie o zapewnienie jakości, monitoring i utrzymanie modeli w produkcji.
- NIST AI Risk Management Framework jako warstwa governance: zarządzanie ryzykiem, audytowalność, zgodność regulacyjna.
W praktyce to „szkielet zarządzania” projektami AI od pomysłu i uzasadnienia biznesowego, przez dane i budowę modeli, po wdrożenie, monitoring, zgodność regulacyjną i decyzje o skalowaniu lub wycofaniu.
Żeby uniknąć nieporozumień: adaptowany CRISP-DM nie jest strategią AI dla firmy. Nie powie Ci, w jakim kierunku rozwijać sztuczną inteligencję. Nie jest też narzędziem technicznym. Nie zastąpi TensorFlow, MLflow ani żadnej platformy MLOps. I sam z siebie nie zapewni governance. Potrzebujesz go uzupełnić politykami, rolami i mechanizmami nadzoru.
To framework operacyjny cyklu życia AI. Daje powtarzalny proces, który pozwala zamieniać luźne POC w uporządkowany portfel projektów powiązanych z celami biznesowymi.
Anatomia frameworka: 7 faz adaptowanego CRISP-DM
Adaptowany model działa w trzech wymiarach jednocześnie. Wymiar procesu technicznego to klasyczne fazy CRISP-DM rozszerzone o monitoring z CRISP-ML(Q). Wymiar governance to funkcje Govern, Map, Measure, Manage z NIST AI RMF, czyli polityki, role, dokumentacja i audytowalność. Wymiar biznesowo-portfelowy to powiązanie inicjatyw AI z celami strategicznymi i decyzjami inwestycyjnymi.
Siedem faz wygląda następująco:
Faza 1. Zrozumienie biznesu
Doprecyzowanie celów biznesowych, kryteriów sukcesu i zakresu projektu. Przełożenie problemu biznesowego na problem analityczny. Tu się definiuje, co dokładnie ma się zmienić i po jakich wskaźnikach poznasz sukces.
Faza 2. Zrozumienie danych
Identyfikacja źródeł danych, wstępna eksploracja, ocena jakości i ograniczeń. Już na tym etapie oceniasz, czy dane w ogóle umożliwiają realizację projektu i jakie są ryzyka prawne (np. RODO, zgody).
Faza 3. Przygotowanie danych
Czyszczenie, transformacje, budowa powtarzalnego pipeline’u przetwarzania. Według badań, ta faza pochłania 60-80% czasu w projekcie data science, ale od jej jakości zależy wszystko, co nastąpi później.
Faza 4. Modelowanie
Iteracyjne budowanie modeli, zaczynając od prostszych podejść. Rejestrowanie parametrów, wersji danych i wyników. CRISP-ML(Q) wymaga tu dokumentacji każdego eksperymentu, co chroni przed sytuacją „nikt nie pamięta, jak powstał ten model”.
Faza 5. Ewaluacja i zapewnienie jakości
Ocena modelu nie tylko pod kątem metryk technicznych, ale przede wszystkim celów biznesowych. Czy model naprawdę rozwiązuje zdefiniowany problem? Jakie są ryzyka biasu? Czy spełnia wymogi interpretowalności i zgodności regulacyjnej?
Faza 6. Wdrożenie
Integracja z systemami produkcyjnymi i procesami biznesowymi. Plan komunikacji do użytkowników, szkolenia, aktualizacja procedur. To bywa najsłabszy punkt projektów data science. Badania KDnuggets wskazują, że „ślepe przekazanie modelu do IT” bez planu użycia to jeden z czterech najczęstszych błędów przy stosowaniu tego frameworka.
Faza 7. Monitoring, utrzymanie i zarządzanie portfelem
Ciągłe śledzenie jakości modelu, dryfu danych i wskaźników biznesowych. Podejmowanie decyzji o retreningu, wycofaniu lub skalowaniu. Okresowe przeglądy portfela modeli AI. Tej fazy nie ma w oryginalnym CRISP-DM z lat 90. Dodał ją CRISP-ML(Q) i to ona decyduje o długoterminowej wartości inwestycji w AI.
Co wchodzi do frameworka (input): zdefiniowane use case’y, dane o kosztach i potencjalnym ROI, ocena dostępności i jakości danych, informacja o gotowości technologicznej organizacji. Co wychodzi (output): udokumentowany business case, opis danych i modelu, plan wdrożenia z monitoringiem, decyzja portfelowa (kontynuować, skalować, wycofać).
Jak zastosować CRISP-DM w organizacji: krok po kroku
Model powinien być „własnością” funkcji odpowiedzialnej za transformację AI w firmie. Może to być Head of AI, dyrektor transformacji, CDO, albo CTO, ale zawsze przy współodpowiedzialności biznesu, IT i compliance. Sam CRISP-DM zakłada udział wielu ról: analityków biznesowych, data scientistów, inżynierów danych i właścicieli procesów. NIST AI RMF dodaje do tej listy zespoły bezpieczeństwa, etyki i prawne.
Kiedy dokładnie go użyć? Przy pierwszych wdrożeniach AI, bo zmniejsza ryzyko POC, które nigdy nie trafiają do produkcji. Przy budowie portfela projektów AI, bo daje spójny sposób porównywania inicjatyw. Przy regulowanych zastosowaniach (finanse, zdrowie, sektor publiczny), bo łączy rozwój modeli z wymaganiami compliance.
Przygotowanie organizacyjne
Zdefiniuj standard procesu: przyjmij CRISP-DM jako obowiązkowy framework dla projektów AI. Przygotuj szablony artefaktów: charter biznesowy, karta danych, karta modelu, plan wdrożenia, plan monitoringu. Ustal ramy governance: politykę AI, role decyzyjne, kryteria akceptacji ryzyka. Przeszkól osoby w rolach odpowiedzialnych za poszczególne fazy.
Warsztat biznesowy
To tu rozstrzyga się, czy projekt ma sens. Doprecyzuj problem decyzyjny i mierniki sukcesu. Zweryfikuj, czy AI/ML w ogóle jest właściwym narzędziem. NIST AI RMF wprost sugeruje rozważanie rozwiązań tradycyjnych, jeśli mogą być prostsze i bardziej godne zaufania. Przeprowadź wstępną analizę danych: skąd pochodzą, jakie mają ograniczenia jakościowe i prawne, jaki jest koszt ich przygotowania.
Budowa i test modelu
Zbuduj powtarzalny pipeline przetwarzania danych. Iteracyjnie twórz modele, zaczynając od prostszych podejść, z dokumentacją każdego eksperymentu. Oceń model względem celów biznesowych, ryzyka i regulacji. Nie tylko metryki techniczne, ale wpływ na realne decyzje.
Wdrożenie z zarządzaniem zmianą
Zaplanuj integrację z systemami i procesami. Przygotuj komunikację, szkolenia i nowe procedury. Skonfiguruj monitoring: wskaźniki jakości, dryf danych, bezpieczeństwo, koszty inferencji. Ustal harmonogram przeglądów portfelowych.
Jak CRISP-DM działa w praktyce: przykład wdrożenia
Wyobraź sobie firmę z sektora usług finansowych. Kilkanaście rozproszonych inicjatyw AI: model scoringu ryzyka, system rekomendacji produktów, predykcja churnu klientów, chatbot obsługi. Każdy projekt prowadzony przez inny zespół, w innym standardzie, z innym poziomem dokumentacji. Porównanie projektów między sobą jest niemożliwe. Priorytetyzacja opiera się na tym, kto głośniej krzyczy na spotkaniu zarządu.
Po wprowadzeniu adaptowanego modelu firma ustala wspólny standard: każdy projekt AI przechodzi przez te same fazy, z tymi samymi artefaktami.
Dla projektu predykcji churnu oznacza to: formalny warsztat biznesowy z jasnym KPI (redukcja odpływu o X% w ciągu 6 miesięcy), szczegółowa analiza danych z oceną ryzyk prawnych, iteracyjne budowanie modelu z dokumentacją, formalna ewaluacja jakości z uwzględnieniem biasu, plan wdrożenia obejmujący zmianę procesu obsługi klienta i stały monitoring z progami alertów.
Efekt? Po roku firma wie, które projekty generują mierzalną wartość (np. redukcja churnu o 12%, co przy bazie 500 tys. klientów oznacza oszczędności rzędu kilku milionów złotych rocznie). Wie też, które projekty zatrzymać po fazie pilotażu, bo koszt utrzymania przewyższa korzyści. Formalizacja governance zmniejsza ryzyko niezgodności z EU AI Act. Audytorzy dostają dokumentację decyzji zamiast chaotycznych e-maili.
Jakie decyzje umożliwia CRISP-DM
Dla liderów biznesowych to jest sedno sprawy. Framework nie produkuje modeli AI. On strukturyzuje decyzje. Widziałem nieraz, jak zarządy podejmują wybory dotyczące AI na podstawie prezentacji najbardziej przekonującego zespołu, a nie twardych danych. Adaptowany model zmienia tę dynamikę.
Pierwsza kategoria to decyzje inwestycyjne: czy w ogóle angażować się w AI dla danego obszaru, czy pozostać przy tradycyjnym rozwiązaniu. Faza Business Understanding i funkcja Map z NIST RMF wymuszają tę analizę przed uruchomieniem projektu. Druga to priorytetyzacja portfela: kiedy masz dziesięć inicjatyw AI, powtarzalne business case’y i porównywalne miary sukcesu pozwalają wybrać racjonalnie. Tu cykl życia dobrze współgra z frameworkami scoringowymi, jak RICE.
Trzecia kategoria to decyzje jakościowe: czy model spełnia kryteria, żeby przejść z POC do produkcji. Formalne fazy QA i ewaluacji eliminują sytuację „wdrożyliśmy, bo deadline się zbliżał”.
Czwarta dotyczy organizacji: czy zatrudniać kolejnych data scientistów, czy inwestować w automatyzację pipeline’u. Analiza wąskich gardeł w cyklu życia projektu daje konkretną odpowiedź. I wreszcie piąta: budować własny model czy kupić gotowe rozwiązanie (build vs buy). Adaptowany model pomaga uwzględnić wymagania na dane, monitoring, integracje i governance, które przy porównywaniu opcji bywają pomijane.
Najczęstsze błędy i kiedy nie używać CRISP-DM
Cztery powtarzalne błędy:
- Brak klarowności problemu biznesowego — zespoły rozpoczynają fazę danych, nie mając jasnej odpowiedzi na pytanie „jaki problem biznesowy rozwiązujemy”. Potem budują piękny model, który nikomu nie jest potrzebny
- Bezrefleksyjne powtarzanie kroków — zamiast iterować z myślą o celu, zespoły wracają do wcześniejszych faz mechanicznie, tracąc czas na „mindless rework” bez postępu
- Ślepe przekazanie do IT — model zbudowany przez data scientistów trafia do działu IT „do wdrożenia” bez kontekstu biznesowego, planu użycia ani kryteriów sukcesu. IT nie wie, co z tym zrobić, i projekt umiera w kolejce
- Brak iteracji po wdrożeniu — modele AI degradują się z czasem. Bez monitoringu i retreningu wartość biznesowa spada, czasem w ciągu tygodni
- Oczekiwanie, że sam CRISP-DM „załatwia” governance — nie załatwia. Trzeba go uzupełnić ramami zarządzania ryzykiem, jak NIST AI RMF, oraz procesami audytu i compliance
Kiedy NIE używać tego frameworka:
- Przy prostych analizach raportowych i klasycznym BI, gdzie nie ma modelowania predykcyjnego
- Przy bardzo małych eksperymentach o niskim ryzyku, gdzie pełny cykl byłby przesadą
- Tam, gdzie rozwiązanie tradycyjne (bez AI) jest prostsze, tańsze i bardziej godne zaufania
Organizacje, które odnoszą sukces z tym podejściem, inwestują nie tyle w najlepszych inżynierów ML, ile w liderów zdolnych tłumaczyć między światem biznesu a technologii. Brak takich osób, zwanych „Translator Executives”, jest jednym z ukrytych powodów, dla których 70% transformacji AI kończy się porażką.
Jak wdrożyć CRISP-DM w organizacji: plan na 30-60-90 dni
Dni 1-30: fundament
Przeprowadź audyt obecnego stanu: ile projektów AI jest w toku, w jakim są stadium, kto za nie odpowiada, jaka dokumentacja istnieje. Wybierz jeden projekt pilotażowy, który przejdzie przez pełny cykl adaptowanego modelu. Najlepiej taki, który jest w fazie Business Understanding lub Data Understanding, żebyś mógł zastosować framework od początku. Przygotuj szablony artefaktów (charter, karta danych, karta modelu, plan monitoringu). Wyznacz właściciela procesu.
Dni 31-60: pierwszy pełny cykl
Przeprowadź pilotażowy projekt przez wszystkie 7 faz. Skonfiguruj podstawowe elementy governance: politykę AI (choćby jednostronicową), role decyzyjne, kryteria akceptacji ryzyka. Dokumentuj wszystko, co sprawdza się i co nie. To będzie baza do iteracji.
Dni 61-90: retrospektywa i skalowanie
Przeprowadź retrospektywę pilotażu: co zadziałało, co wymaga korekty, co kosztowało za dużo czasu. Rozpocznij automatyzację pipeline’ów (dane, deployment, monitoring). Przeprowadź pierwszy przegląd portfela: jakie projekty AI są w firmie, które warto kontynuować, a które zatrzymać. Przygotuj plan rozszerzenia frameworka na kolejne projekty.
Checklista gotowości
Jeśli na większość pytań odpowiadasz „nie”, to właśnie jest moment, żeby zacząć. Adaptowany model nie wymaga wielomiesięcznego wdrożenia. Wymaga decyzji, żeby przestać zarządzać AI jak tradycyjnym IT i zacząć traktować modele jako żywe produkty, które potrzebują ciągłej opieki.
Framework łączący CRISP-DM z CRISP-ML(Q) i NIST AI RMF daje organizacji powtarzalny sposób na identyfikowanie, budowanie, wdrażanie i utrzymywanie rozwiązań AI. Zamiast zbioru luźnych pilotaży, firma zyskuje „fabrykę AI” wspartą jasnymi zasadami ryzyka i zgodności. Jeśli chcesz wdrożyć takie podejście w swoim zespole, sprawdź program Future Leaders: AI dla Liderów, w którym omawiamy zarządzanie cyklem życia projektów AI od strony praktycznej.