Wiele firm, chętnych, by “zrobić coś” z generatywną sztuczną inteligencją, poszukuje wsparcia w tym zakresie. Gdy potrzeba staje się bardziej konkretna, często zaczynają poszukiwania wewnętrznych ekspertów lub freelancerów. Ku zaskoczeniu, wiele z tych firm kieruje swoje kroki ku specjalistom ds. danych i inżynierom ML, zakładając, że to właśnie oni są kluczem do skutecznego wykorzystania generatywnej AI.
Doświadczenia z realizacji licznych projektów generatywnej AI dla średnich i dużych przedsiębiorstw pokazują, że wiele firm nie posiada pełnej wiedzy na temat tego, co i kto jest faktycznie potrzebny do skutecznego wdrożenia AI. Często błędnie interpretowane są wymagane role, co prowadzi do zatrudniania specjalistów bez analizy, czy ich kompetencje rzeczywiście odpowiadają potrzebom firmy. Takie podejście może prowadzić do nieefektywności i nadmiernego komplikowania procesu, co w rezultacie hamuje postęp.
W artykule omówione zostaną te wyzwania oraz zaproponowane zostanie inne podejście. Zamiast polegać na specjalistach ds. danych, przyjrzymy się, jak rozwiązania AI typu no-code mogą umożliwić firmom szybsze i bardziej efektywne wprowadzanie innowacji. Dzięki platformom no-code możliwe jest ominięcie wielu tradycyjnych wąskich gardeł, co pozwala obrać bardziej uproszczoną ścieżkę do sukcesu w zakresie generatywnej AI.
Eksperci merytoryczni, specjaliści ds. danych, inżynierowie ML i twórcy aplikacji: Kto odpowiada za co w projektach AI?
Przed omówieniem generatywnej AI warto przyjrzeć się tradycyjnym projektom AI oraz rolom osób w nie zaangażowanych. W tradycyjnych projektach AI tworzy się cały proces od początku do końca dla konkretnego przypadku użycia, obejmujący budowę modelu, przetwarzanie danych oraz tworzenie aplikacji.
Tradycyjne projekty AI wymagają co najmniej kilku ról, aby przeprowadzić pomysł od koncepcji do etapu produkcji.
Pierwszym etapem jest określenie problemu i celu. Kluczową rolę odgrywają tutaj eksperci merytoryczni. To oni definiują problem, posiadają wiedzę specyficzną dla danej branży i są źródłem potrzeb biznesowych, które zostaną przekształcone w wymagania techniczne. Jako właściciele przypadków użycia, eksperci merytoryczni doskonale sprawdzają się w weryfikacji efektów wdrażanych rozwiązań. Zazwyczaj jednak nie są ekspertami w zakresie AI i często brakuje im myślenia procesowego, potrzebnego do zaprojektowania kompleksowego rozwiązania.
Dlatego eksperci merytoryczni ściśle współpracują ze specjalistami od danych (analitykami danych), aby określić, jakie dane są potrzebne i jakie wyniki projekt powinien dostarczyć. Analitycy pełnią istotną rolę w przekładaniu potrzeb biznesowych, zgromadzonych przez ekspertów merytorycznych, na wymagania techniczne. Ich zadania wykraczają poza budowanie modeli – muszą zrozumieć kontekst problemu, wydobyć odpowiednie informacje oraz uzyskać właściwe dane wejściowe od ekspertów.
Analitycy danych prowadzą następny etap – tworzenie rozwiązania. Budują i walidują modele uczenia maszynowego, koncentrując się na inżynierii cech oraz doborze algorytmów. Ich głównym zadaniem jest eksperymentowanie i zapewnienie, że model skutecznie odpowiada na zidentyfikowany problem. Pracują również z inżynierami danych i inżynierami ML (Machine Leraning), aby rozwiązanie było wykonalne i skalowalne.
Następnie następuje faza wdrożenia do produkcji, w której kluczową rolę pełnią inżynierowie aplikacji. Są to tradycyjni inżynierowie bez szczególnych kompetencji z zakresu AI, którzy implementują frontend, backend oraz całą infrastrukturę (dostęp do danych, DevOps itd.) między nimi.
Otrzymane od analityków danych modele integrują w końcową aplikację produkcyjną. Tworzą interfejsy użytkownika i integrują model AI w działającą aplikację, z którą mogą wchodzić w interakcję końcowi użytkownicy. Każda rola jest kluczowa dla powodzenia projektu, jednak złożoność i zależność od specjalistycznych talentów mogą prowadzić do wzrostu kosztów oraz wydłużenia czasu realizacji. W tym miejscu AI typu no-code może stanowić efektywną alternatywę.
Niezrozumienie roli Data Scientist
W rozmowach z osobami, które twierdzą, że potrzebują data scientistów, ponieważ chcą rozpocząć pracę z generatywną AI, można zauważyć dwa powszechne nieporozumienia:
1) czym ich zdaniem zajmuje się data scientist w porównaniu do rzeczywistego zakresu obowiązków tej roli oraz
2) co, ich zdaniem, jest potrzebne w projekcie generatywnej AI w porównaniu do faktycznych wymagań takiego projektu.
Termin data wrangling (czasem nazywany także “data munging”) oznacza proces przygotowywania danych do dalszej analizy lub modelowania. Obejmuje szereg działań, takich jak:
- Czyszczenie danych – usuwanie błędów, duplikatów lub niekompletnych informacji, które mogą zakłócić dalszą analizę.
- Transformacja danych – zmiana struktury danych, by były bardziej spójne, na przykład przez normalizację wartości lub przekształcanie formatów.
- Łączenie danych – integrowanie danych pochodzących z różnych źródeł, aby utworzyć jeden, kompletny zbiór.
- Przekształcanie typów danych – zmiana typów danych na odpowiednie formaty (np. zmiana tekstu na liczby, daty na standardowy format).
- Ujednolicanie danych – standaryzacja wartości (np. zamiana różnych formatów zapisu danych liczbowych) tak, aby analiza była dokładniejsza i bardziej precyzyjna.
Głównym celem data wranglingu jest przekształcenie surowych, często nieuporządkowanych danych w taki sposób, by były one gotowe do dalszej analizy i wykorzystywania w modelach machine learning.
Pierwszy wykres przedstawia, czym według wielu osób zajmują się data scientiści w projektach generatywnej AI. Wiele osób zakłada, że większość czasu data scientiści poświęcają na prace nad modelem: projektowanie, implementację i testowanie modeli AI, a także pewne działania związane z transformacją danych. W rzeczywistości jednak duża część pracy data scientista obejmuje działania takie jak data wrangling oraz zrozumienie potrzeb biznesowych, co wymaga intensywnej współpracy z ekspertami merytorycznymi oraz innymi interesariuszami.
Drugi wykres kołowy pokazuje, czym faktycznie zajmuje się data scientist. Mniej niż 25% czasu poświęca się na budowę i walidację modeli. Ponad 30% przeznaczone jest na zrozumienie problemu i koordynację z interesariuszami – aspekty, które są również obecne w opisach zadań innych ról, w tym data scientistów. Największą część czasu zajmuje gromadzenie danych oraz utrzymanie modeli.
Zmiana paradygmatu LLM
Duże modele językowe (LLM) są trenowane na ogromnych zbiorach danych, zazwyczaj pochodzących z otwartych źródeł dostępnych w Internecie. W większości przypadków te dane są ogólnodostępne.
Kiedy firmy mówią o wykorzystaniu generatywnej AI, w 95% przypadków nie trenują modeli wewnętrznie. Zamiast tego korzystają z wstępnie wytrenowanych modeli, stworzonych przez organizacje posiadające dostęp do rozległych zasobów obliczeniowych. Modele wstępnie trenowane, takie jak GPT-4 od OpenAI, są zaprojektowane do rozumienia i generowania odpowiedzi przypominających ludzki język. Mogą być włączone do większych aplikacji bez potrzeby intensywnego dodatkowego trenowania. Stanowią one podstawę do budowy dedykowanych aplikacji, które wykorzystują je poprzez API.
Korzystanie z modeli wstępnie trenowanych znacząco obniża próg wejścia do generatywnej AI. Firmy nie muszą budować własnych modeli od podstaw, co zazwyczaj wymaga specjalistycznego zespołu data scientistów, ogromnych zbiorów danych oraz mocy obliczeniowej. Zamiast tego mogą korzystać z już gotowych modeli, które są przygotowane do wdrożenia. Pozwala to skupić się na zastosowaniach AI do rozwiązywania problemów biznesowych, a nie na samej budowie modelu. Co najważniejsze, budowa własnego modelu jest bardzo kosztowna.
Wykorzystanie modeli wstępnie trenowanych przynosi kluczowe korzyści, takie jak skrócony czas wprowadzenia na rynek i oszczędności kosztów. Firmy mogą szybko zintegrować te modele, omijając długi proces zbierania danych i treningu. Dodatkowo korzystają z ciągłych ulepszeń wprowadzanych przez organizacje, takie jak OpenAI czy Google, które stale rozwijają te modele. Dzięki modelom wstępnie trenowanym przedsiębiorstwa mogą skupić się na integracji możliwości AI w istniejących procesach, tworząc wartość bez konieczności dużych inwestycji w specjalistyczną wiedzę z zakresu data science.
Mając to na uwadze, warto przyjrzeć się, jakie zadania są faktycznie potrzebne do realizacji projektu generatywnej AI.
W projekcie generatywnej AI większość czasu poświęca się na tworzenie orkiestracji modeli i projektowanie promptów, a następnie na zrozumienie problemu, analizę wymagań oraz budowę przepływów danych. Orkiestracja modelu generatywnej AI nie wymaga takich samych umiejętności jak budowa modelu od podstaw. Większość powszechnie stosowanych modeli jest dziś dostępna poprzez API — interfejs, z którym potrafi współpracować praktycznie każdy programista aplikacji.
Orkiestracja modeli w kontekście generatywnej AI oznacza zarządzanie i koordynowanie działaniem różnych elementów systemu AI, aby działały one razem jako całość, dostarczając pożądane wyniki. W praktyce obejmuje to:
- Integrację modeli – połączenie modeli AI (np. modeli językowych, analizy obrazów) z innymi elementami aplikacji lub systemu, aby mogły współpracować.
- Zarządzanie przepływem danych – przepływ informacji i wyników między różnymi modułami, np. pobranie danych, przetworzenie ich przez model, a następnie wysłanie wyników do innej części aplikacji.
- Optymalizację kolejności i logiki – ustalenie, w jakiej kolejności powinny działać poszczególne komponenty (np. najpierw oczyszczenie danych, potem analiza, na końcu generowanie odpowiedzi), aby system działał efektywnie.
- Automatyzacja procesu – wdrożenie automatycznych działań, takich jak monitorowanie i aktualizacja modeli, które ułatwiają utrzymanie systemu w sposób płynny i bez zakłóceń.
Orkiestracja pozwala na stworzenie spójnego procesu, w którym AI, zamiast być pojedynczym narzędziem, staje się częścią większego rozwiązania, dostosowanego do potrzeb biznesowych i użytkowników końcowych.
W przypadku przypisania data scientista do projektu generatywnej AI, wykorzystywana będzie tylko niewielka część jego umiejętności. Z kolei wymagane są inne kompetencje, które nie są tradycyjnie częścią roli data scientista, takie jak projektowanie promptów oraz iteracyjne podejście do rozwoju projektu. Nie chodzi jednak o zastępowanie data scientistów inżynierami promptów — termin ten jest jeszcze mniej precyzyjnie definiowany niż rola data scientista.
Osoba odpowiedzialna za kompleksowe wdrożenie aplikacji generatywnej AI powinna umieć:
- myśleć procesowo,
- szybko współpracować z interesariuszami i dostosowywać rozwiązania,
- tworzyć poprawne orkiestracje LLM,
- integrować źródła danych,
- integrować nowo stworzone aplikacje AI z istniejącymi systemami.
Opis ten znacznie bardziej przypomina tradycyjnego programistę niż data scientista. Warto również zauważyć, że do większości zadań związanych z implementacją aplikacji generatywnej AI nie jest wymagana głęboka wiedza z zakresu data science.
Tworzenie aplikacji generatywnej AI polega przede wszystkim na integrowaniu i orkiestracji już istniejących modeli w jak najbardziej efektywny sposób, a nie na budowaniu (czy nawet pełnym rozumieniu) ich działania „od kuchni”.
Dlatego bardziej opłaca się przypisać do projektu inżyniera aplikacji z dodatkowym przeszkoleniem w zakresie generatywnej AI niż data scientista. Jest to bardziej korzystne pod względem kosztów, efektywności i tempa realizacji.
Orkiestracja jako klucz: Wykorzystanie AI w biznesie
Orkiestracja w AI odnosi się do tworzenia wieloetapowych promptów, które łączą dane, modele i logikę w zarządzalne kroki. Polega na strukturyzowaniu przepływów pracy, w których różne komponenty, takie jak źródła danych, modele AI i logika aplikacji, są integrowane, aby osiągnąć zamierzony efekt. Dzięki rozbiciu złożonych zadań na mniejsze, łatwiejsze do obsługi jednostki, narzędzia do orkiestracji umożliwiają systemom AI bardziej efektywne i sprawne działanie.
Orkiestrację można postrzegać bardziej jako „zszywanie różnych kawałków materiału”, w przeciwieństwie do „tkania wszystkich materiałów, przycinania i szycia” — metafora odnosząca się do budowania modelu od podstaw.
Zaletą orkiestracji jest to, że upraszcza ona zarządzanie różnymi komponentami AI. Umożliwia integrację wstępnie wytrenowanych modeli i usług danych w sposób usprawniony, pozwalając zespołom skoncentrować się na dostarczaniu wartości, zamiast na technicznych szczegółach poszczególnych modeli. Jest to szczególnie ważne w projektach generatywnej AI, gdzie kluczowe jest szybkie łączenie modeli, stosowanie logiki i iteracja przepływów pracy dla udanej implementacji.
W zakresie orkiestracji generatywnej AI obejmowane są następujące tematy:
- wybór modelu,
- budowanie procesów,
- projektowanie promptów,
- tworzenie szablonów (templating),
- parametryzacja,
- testowanie i walidacja,
- (w niektórych przypadkach) dostrajanie modelu.
Orkiestracja generatywnej AI jest integrowana z istniejącymi systemami, aby osiągnąć pełen wpływ biznesowy. Inżynierowie aplikacji, po odpowiednim doszkoleniu, mają możliwość wykonywania wszystkich tych zadań.
No-Code AI: Budowanie rozwiązań bez udziału data scientistów
Dzięki podejściu no-code można wykonać wiele zadań niezbędnych przy budowie aplikacji generatywnej AI, choć nie wszystkie. Specyficzne zadania, takie jak integracja z istniejącymi systemami lub dostosowania, nadal będą wymagały pracy inżyniera aplikacji. Jednak w większości przypadków kluczowe części budowy aplikacji generatywnej AI mogą być realizowane przy użyciu platform no-code, przez osoby z technicznym zacięciem i procesowym podejściem, niezależnie od ich stanowiska czy doświadczenia.
Przyszłość, w której AI jest dostępna dla każdego
Generatywna AI oferuje ogromny potencjał, a sposób jej wdrożenia może mieć decydujący wpływ na sukces. Ograniczając zależność od data scientistów i wykorzystując platformy no-code, firmy mogą odblokować możliwości AI w sposób efektywny kosztowo i wydajny. Tradycyjne projekty AI często wymagają specjalistycznych ról, co prowadzi do dłuższych czasów realizacji i wyższych kosztów. Jednak podejście do generatywnej AI z wykorzystaniem rozwiązań no-code i skoncentrowane na orkiestracji może uprościć oraz zdemokratyzować ten proces.
Klucz tkwi w wykorzystaniu wstępnie trenowanych modeli, budowaniu uproszczonych orkiestracji i skupieniu się na wynikach ukierunkowanych na potrzeby biznesowe. Dzięki doszkalaniu obecnych członków zespołu i odpowiednim narzędziom, przedsiębiorstwa mogą osiągnąć swoje cele związane z AI bez stromej krzywej uczenia się i wysokich kosztów, które zazwyczaj wiążą się z trenowaniem modeli wewnętrznie. AI typu no-code zmienia zasady gry, czyniąc zaawansowaną technologię AI dostępną dla szerszego grona innowatorów i umożliwiając zespołom szybkie oraz skuteczne działanie.
Przyszłość AI to świat, w którym każdy, niezależnie od doświadczenia technicznego, może wziąć udział i czerpać korzyści. Przyjmując rozwiązania no-code, przedsiębiorstwa nie tylko redukują bariery, ale także umożliwiają innowacje pochodzące od każdego, w dowolnym miejscu w organizacji. To przesunięcie demokratyzuje AI i otwiera drogę do bardziej inkluzywnej i powszechnej adopcji technologii w różnych branżach.
Źródło: http://bit.ly/3CpmXbO
