Napravite oflajn AI glasovnog asistenta na Raspberry Pi 5 platformi

Prelazak sa AI servisa na cloud infrastrukturi ka lokalnim, oflajn sistemima predstavlja ključni trend u modernoj tehnologiji. Ovaj pristup donosi fundamentalne prednosti, uključujući garantovanu privatnost podataka, izuzetnu prenosivost i potpunu funkcionalnost bez zavisnosti od internet konekcije. Uređaji koji rade autonomno, obrađujući sve podatke lokalno, otvaraju nove mogućnosti za primenu veštačke inteligencije u različitim okruženjima.

1.0 Uvod

Cilj ovog teksta je da pruži detaljan tehnički vodič za arhitekturu i implementaciju potpuno funkcionalnog, offline AI glasovnog asistenta, korišćenjem snage i fleksibilnosti Raspberry Pi 5 platforme. Kroz pažljivu integraciju hardverskih i softverskih komponenti, moguće je kreirati kompaktan, samostalan uređaj sposoban za složene interakcije.

Ključne tehnologije koje čine osnovu ovog sistema su Whisper, Olama i Piper. Whisper, OpenAI-jev endžin za prepoznavanje govora, omogućava preciznu transkripciju korisnikovih komandi. Olama služi kao platforma za izvršavanje velikih jezičkih modela (LLM) direktno na uređaju, dajući mu sposobnost "razmišljanja" i generisanja relevantnih odgovora. Na kraju, Piper, optimizovan endžin za sintezu govora, pretvara tekstualni odgovor u prirodan glas. Njihova sinergija omogućava stvaranje istinski samostalnog "mislećeg" uređaja. U nastavku sledi detaljan pregled sistemske arhitekture neophodne za realizaciju ovog projekta.

2.0 Arhitektura sistema

Pažljiv odabir i integracija hardverskih i softverskih komponenti su od presudnog značaja za postizanje stabilnih performansi na resursno ograničenim edge uređajima kao što je Raspberry Pi. Svaki element sistema mora biti optimizovan kako bi se osigurala efikasnost, pouzdanost i fluidan korisnički doživljaj. Arhitektura je podeljena na fizičke (hardverske) i logičke (softverske) komponente koje zajedno formiraju koherentnu celinu.

2.1 Hardverske komponente

Hardverska osnova projekta je pažljivo odabrana kako bi zadovoljila zahteve AI obrade i obezbedila prenosivost.

• Raspberry Pi 5B: Centralna procesorska jedinica projekta. Preporučuje se model sa 8 GB RAM memorije, s obzirom na to da softverski stek za veštačku inteligenciju zauzima približno 4 GB memorije tokom rada, ostavljajući dovoljno resursa za operativni sistem i druge procese.
• Aktivni Hladnjak (Active Cooler): Neophodna komponenta za održavanje termalne stabilnosti. AI radna opterećenja generišu značajnu količinu toplote, a aktivno hlađenje osigurava stabilne i dugotrajne performanse bez rizika od pregrevanja procesora.
• Whisp Hat: Specijalizovani dodatak (HAT) koji integriše mini displej za vizuelni fidbek i mikrofone za snimanje glasovnog unosa, čime se eliminiše potreba za eksternim periferijama.
• Pi Sugar 3 Plus Battery Pack: Litijum-jonska baterija koja se direktno povezuje na Raspberry Pi, obezbeđujući napajanje za rad u pokretu i čineći uređaj potpuno prenosivim.
• Stackable GPIO Header: Specijalni konektor koji omogućava vertikalno povezivanje više dodataka. U ovom sistemu, on služi kao most koji dozvoljava istovremeno korišćenje Pi Sugar baterije (koja se postavlja ispod ploče) i Whisp Hat-a (koji se postavlja iznad).

Ovakav odabir komponenti direktno adresira primarne izazove implementacije veštačke inteligencije na edge uređajima: računarske performanse (Raspberry Pi 5), termalni menadžment (Aktivni Hladnjak), energetsku autonomiju (Pi Sugar) i integrisani I/O za interakciju čoveka i računara (Whisp Hat). Sa uspostavljenim fizičkim temeljima za obradu računarskih i energetskih zahteva, fokus se sada premešta na softversku arhitekturu koja koristi ovaj hardver za izvršavanje AI procesa.

2.2 Softverska arhitektura i tok podataka

Konceptualni tok obrade podataka u sistemu sledi logičan, trostepeni proces koji transformiše glasovni unos korisnika u govorni izlaz asistenta. Ovaj proces se u potpunosti odvija lokalno na uređaju.

1. Automatsko Prepoznavanje Govora (ASR): Sistem putem mikrofona prihvata glasovni unos korisnika. ASR endžin analizira audio signal i pretvara ga u tekstualni format (transkripcija).
2. Obrada prirodnog jezika pomoću Velikog Jezičkog Modela (LLM): Transkribovani tekst se prosleđuje lokalno pokrenutom LLM-u. Model analizira upit, "razmišlja" o odgovoru i generiše relevantan tekstualni izlaz.
3. Sinteza Govora (TTS): Generisani tekstualni odgovor se prosleđuje TTS endžinu, koji ga konvertuje u audio format (govor) i reprodukuje putem zvučnika.

Sledeća tabela detaljno opisuje ulogu svakog ključnog softverskog elementa u ovom procesu:

3.0 Vodič za omplementaciju

Proces instalacije i konfiguracije sistema podeljen je u logičke korake kako bi se osigurala sistematičnost i smanjila mogućnost greške. Vodič počinje pripremom hardvera i operativnog sistema, nastavlja se postavljanjem svakog pojedinačnog AI servisa i završava njihovom finalnom integracijom unutar glavne aplikacije.

3.1 Priprema hardvera i operativnog sistema

1. Fizičko Sklapanje: Prvi korak je montaža hardverskih komponenti. Postavite aktivni hladnjak na Raspberry Pi 5 procesor, pri čemu je potrebno blago saviti jedan od pinova kako bi se prilagodio visini Pi Sugar baterije. Zatim, instalirajte Pi Sugar bateriju na donju stranu ploče i postavite stackable GPIO header. Na kraju, pažljivo postavite Whisp Hat na vrh stackable header-a.
2. Priprema SD Kartice: Koristite Raspberry Pi Imager alat za pripremu MicroSD kartice. Odaberite "Raspberry Pi 5" kao uređaj i najnoviju dostupnu verziju Raspberry Pi OS-a. Pre snimanja, u naprednim podešavanjima konfigurišite ime uređaja (hostname), unesite kredencijale za Wi-Fi mrežu i obavezno omogućite SSH pristup.
3. Prvo Pokretanje i Povezivanje: Umetnite pripremljenu SD karticu u Raspberry Pi i uključite uređaj pomoću tastera na Pi Sugar bateriji. Nakon što se sistem podigne i poveže na Wi-Fi mrežu, koristite IP skener na računaru unutar iste mreže da pronađete IP adresu Raspberry Pi-ja. Koristite dobijenu IP adresu za uspostavljanje SSH konekcije.

3.2 Instalacija i konfiguracija AI Ssrvisa

Nakon uspešne pripreme sistema, sledi instalacija tri fundamentalna AI servisa koji čine srž glasovnog asistenta, kao i pratećih uslužnih programa.

3.2.1 Postavljanje Olama LLM endžina

Preporučeni metod instalacije Olama platforme je optimizovan za brzinu. Umesto direktnog preuzimanja na Raspberry Pi, preuzmite instalacioni paket na svoj laptop. Zatim, koristeći FTP klijent, prebacite preuzeti paket na Raspberry Pi. Nakon prenosa, pozicionirajte se u 'chatbot' direktorijum i izvršite priloženu instalacionu skriptu (npr. bash install_olama_local.sh) kako biste pokrenuli instalaciju sa lokalnog paketa. Ovaj pristup je značajno brži jer se izbegava sporo preuzimanje velikih fajlova direktno na Pi.

Nakon instalacije, pokrenite Olama server komandom: olama serve

U novom SSH terminalu, pokrenite komandu za preuzimanje specifičnog jezičkog modela: olama run quen 3 1.7B

Prilikom prvog pokretanja ove komande, Olama će preuzeti neophodni fajl modela. Proces podržava nastavak prekinutog preuzimanja, što je korisno u slučaju nestabilne internet konekcije.

3.2.2 Postavljanje Whisper ASR endžina Instalirajte Whisper sistem, uključujući i neophodne sistemske pakete, izvršavanjem standardne instalacione komande: pip install openai-whisper

Nakon instalacije, ključno je verifikovati da sistem radi ispravno. To se može uraditi testiranjem transkripcije postojećeg MP3 audio fajla. Korišćenje tiny modela prilikom prvog testa ubrzava proces, jer se manji model fajl brže preuzima.

3.2.3 Postavljanje Piper TTS endžina

Instalacija Piper endžina se vrši izvršavanjem komande: pip install piper-tts

Nakon toga, potrebno je preuzeti glasovne modele. Prvo, pronađite putanju do Piper izvršne datoteke komandom which piper. Zatim, posetite zvaničnu GitHub stranicu sa Piper glasovnim modelima, preslušajte uzorke i preuzmite odgovarajuće .onnx i .json fajlove za željeni glas. Oba fajla moraju biti smeštena u isti folder na Raspberry Pi-ju.

Konačno, instalirajte i Piug power manager jer se indikator statusa baterije u glavnoj aplikaciji oslanja na njega za funkcionalnost.

3.3 Postavljanje i konfiguracija glavne aplikacije

1. Instalacija Aplikacije: Klonirajte "chatbot" repozitorijum sa izvornim kodom na Raspberry Pi i instalirajte sve potrebne zavisnosti izvršavanjem pratećih skripti.
2. Konfiguracija Sistema: Ključni korak je konfiguracija sistema putem .env fajla. Ovaj fajl sadrži sve parametre koji definišu ponašanje aplikacije. Model quen 3 1.7B je specifično odabran zbog svojih konciznih odgovora, za razliku od drugih modela koji su se pokazali previše opširnim za ovu primenu. Sledeća tabela prikazuje najvažnije parametre koje je potrebno podesiti:

Napomena: Funkcionalnosti poput generisanja slika su namerno izostavljene iz ove konfiguracije jer zahtevaju eksterne API pozive, što je u suprotnosti sa ciljem izgradnje potpuno offline sistema.

Nakon što je .env fajl konfigurisan, izvršite komandu za build-ovanje chatbot programa kako biste pripremili aplikaciju za pokretanje.

4.0 Pokretanje sistema i demonstracija funkcionalnosti

Nakon uspešne instalacije i konfiguracije svih komponenti, sledi faza pokretanja, testiranja i finalne automatizacije sistema kako bi postao potpuno autonoman uređaj.

Pokrenite glasovnog asistenta izvršavanjem sledeće komande u terminalu: bash run chatbox script

Nakon pokretanja, asistent je spreman za interakciju. Sledeći primeri dijaloga, preuzeti iz testiranja sistema, demonstriraju njegove sposobnosti:

• Primer 1: Upit za recept
  • Korisnik: "Kako napraviti picu?"
  • Asistent: "Pravljenje pice je zabavno i lako. Evo jednostavnog recepta: 1. Nabavite sastojke: brašno, so, maslinovo ulje, paradajz sos, sir i dodatke poput feferona ili pečuraka. 2. Razvucite testo: pomešajte brašno i so, umesite i razvucite u pravougaonik. 3. Dodajte sos i dodatke: premažite paradajz sos, dodajte sir i stavite svoje omiljene dodatke. 4. Pecite: zagrejte rernu i pecite dok sir ne postane zlatan i penušav. 5. Uživajte!"
• Primer 2: Upit za šalu i prikaz "thinking mode"-a
  • Korisnik: "Ispričaj mi vic."
  • Asistent: (Na mini displeju se prikazuje proces "razmišljanja" modela dok generiše odgovor) "Evo jedne lake šale: Zašto je strašilo dobilo nagradu? Zato što je bilo izvanredno u svom polju."
• Primer 3: Upit o identitetu
  • Korisnik: "Kako se zoveš?"
  • Asistent: "Zdravo! Ja sam Leela, tvoj prijateljski chatbot. Volim da ti pomažem da učiš, smeješ se i zabavljaš."

Finalni korak implementacije je automatizacija pokretanja. Koristite priloženu startup skriptu da konfigurišete chatbot aplikaciju kao sistemski servis. Ovo osigurava da će se glasovni asistent automatski pokrenuti svaki put kada se Raspberry Pi uključi, čineći ga spremnim za upotrebu bez dodatne intervencije.

Ovim je proces izgradnje završen. Sistem je sada potpuno funkcionalan, autonoman i spreman za rad kao samostalni AI asistent.

5.0 Zaključna analiza i budući potencijal

Ovaj projekat uspešno demonstrira izgradnju potpuno autonomnog AI asistenta na edge uređaju. Postignut je ključni cilj: sve faze obrade, od prepoznavanja glasa, preko generisanja odgovora, do sinteze govora, funkcionišu u potpunosti lokalno na Raspberry Pi 5 platformi, bez ikakve zavisnosti od eksternih servera ili internet konekcije.

Ključna zapažanja o performansama sistema su sledeća:

• Potrošnja Resursa: Kompletan softverski stek, uključujući sve AI endžine, zauzima približno 4 GB RAM memorije, što potvrđuje da je model Raspberry Pi 5 sa 8 GB memorije adekvatan izbor za ovaj nivo opterećenja.
• Termalni Menadžment: Tokom intenzivne obrade, kao što je generisanje odgovora od strane LLM-a, CPU se značajno zagreva. Ovo je empirijski potvrđeno tokom testiranja, gde se ventilator aktivnog hladnjaka čujno aktivira tokom obrade zahteva, demonstrirajući njegovu kritičnu ulogu u disipaciji toplote i održavanju stabilnosti sistema.

Koncept "Offline je novo i pametno" ("Offline is the new smart") sažima suštinu ovog projekta. Sposobnost obrade podataka lokalno ne samo da štiti privatnost, već otvara vrata za novu generaciju pametnih uređaja koji su pouzdani, prenosivi i uvek dostupni. Budućnost nosi još veće mogućnosti za male, samostalne AI uređaje poput ovog, koji će postajati sve moćniji i integrisaniji u naše svakodnevno okruženje.

#Raspberry #Whisper #Olama #Piper #Qwen