Proiect 4 Etapa III

• Prototip initial al mediilor 3D interactive, functional (executabile +  instructiuni/descriere)
• Prototip initial al sistemului de adnotari digitale, functional (executabile + instructiuni/descriere)
• Toate articolele realizate până în prezent

Titlu, Autori, Conf/jurnal	Status
LibQuest initial prototype – Mixed-reality quests to revitalize libraries and reading Maria Anca Băluțoiu, Alexandru Grădinaru, Alin Moldoveanu, Florica Moldoveanu, Ana-Karina Nazare Accceptat la conferinta “16th eLearning and Software for Education Conference – eLSE 2020”, ISI	publicat
Rapid Modelling Techniques for 3D Reconstruction of Historical Buildings, for Immersive Virtual Environments Nazare Ana-Karina, Moldoveanu Alin, Moldoveanu Florica, Gradinaru Alexandru, Balutoiu Maria Anca, Asavei Victor Accceptat la conferinta “16th eLearning and Software for Education Conference – eLSE 2020”, ISI	publicat
Socio-Collaborative Reading through AR-Annotations over Physical Books Iulia Stănică, Alin Moldoveanu, Florica Moldoveanu, Alexandru Grădinaru, Maria Dascălu Accceptat la conferinta “16th eLearning and Software for Education Conference – eLSE 2020”, ISI	publicat
Evolving the Very Act of Reading, with Socio-Collaborative Dimensions – AR-Annotations over Physical Books Acceptat spre publicare in University POLITEHNICA of Bucharest Scientific Bulletin, Series C-electrical Engineering And Computer Science (jurnal ISI).	publicat

Adnotari digitale socio-colaborative pentru cărțile fizice

Realizari pana in prezent

Aplicatia pentru dispozitivele Android – “Lib2Life Annotations” – include in stadiul curent urmatoarele functionalitati (de baza si avansate):

• creare cont, folosind email + parola, sau cont de social media (Facebook, Twitter sau Google)
• adaugarea de carti favorite dintre cele existente in baza de date, manual sau prin scanarea si identificarea automata a ISBN-ului folosind camera telefonului
• adaugarea de noi carti de catre utilizator, prin completarea campurilor cartii
• rating-uri si comentarii pentru carti
• recunoasterea automata a textului prin scanarea cu telefonul a paginii unei carti (folosind OCR)
• adaugarea de adnotari de tip text, link si video (Youtube), insotite de topic-uri folosind hashtag (#)
• vizualizarea adnotarilor adaugate pe pagina scanata a unei carti, folosind algoritmi de text matching (potential de patentare)
• vizualizarea detaliilor unei adnotari, de unde se pot acorda rating-uri adnotarii, vizualiza si adauga comentarii (creand fire de discutie)
• distribuirea adnotarilor pe mediile sociale (Facebook, Twitter, Whatsapp sau orice alta aplicatie instalata pe dispozitivul utilizatorului)
• traducerea automata a adnotarilor si comentariilor in limba cititorului
• corectia automata a imaginilor realizate de utilizator pentru adaugarea / vizualizarea adnotarilor
• vizualizarea noutatilor („News feed”), cu activitatile cele mai recente ale utilizatorilor in aplicatie (crearea unui cont nou, adaugare de carti/adnotari, rating-uri acordate)
• navigarea prin listele de adnotari si de carti folosind comenzile „search” si „sort by”
• vizualizarea listelor de adnotari si de carti sub diferite aspecte (liste / grid / tabel)
• vizualizarea tuturor adnotarilor asociate unui topic (#)
• incarcarea de obiecte 3D si vizualizarea lor in realitate augmentata

Pe langa functionalitatile esentiale ale aplicatiei, in ultimele 3 luni au fost realizate o serie de functionalitati de optimizare a aplicatiei:

• integrarea bibliotecii Retrofit pentru a imbunatati comunicarea dintre aplicatia client (Android) si server; au fost rezolvate bugurile aparute in urma acestei integrari;
• adaugarea optiunii de deskew pentru corectia orientarii imaginilor – a fost dezvoltat un algoritm de corectie automata a rotatiei imaginilor capturate folosind camera dispozitivului; astfel, atat pentru adaugarea de noi adnotari sau pentru vizualizarea celor existente, algoritmul determina liniile de referinta pe baza carora va fi realizata rotatia (liniile cu text) astfel incat unghiul acestora dupa corectie sa fie cat mai aproape de 0 grade. Algoritmul este setat pentru a corecta orice rotatii de pana la 45 de grade (sens orar sau antiorar). Diferentele intre imaginile obtinute fara si cu deskew se pot observa aici (Figura 1 – a si b).

Figura 1 – Corectie automata imagine

a) Inainte de corectie

b) Dupa corectie, incluzand highlight-ul ancorei pe care va fi adaugata adnotarea

De asemenea, a fost demarat procesul de adaugare a functiilor avansate:

• adaugarea optiunii de distribuire (share) pe mediile sociale – unul dintre indicatorii din Act. 3.14 a proiectului; distribuirea functioneaza in mod predefinit pe toate aplicatiile instalate pe dispozitivul utilizatorului si include functii personalizate pentru distribuire pe Facebook (Figura 2 a si b), Twitter sau Whatsapp; in cazul distribuirii pe Facebook, aceasta va deschide automat aplicatia in cazul in care ea este instalata pe dispozitiv, altfel se va deschide pagina de Facebook in mod web; in stadiul actual al prototipului, in cazul adnotarilor de tip text este inclus si un link catre APK-ul aplicatiei (de pe Google drive), ce va fi inlocuit cu link-ul catre magazinul Google Play (atunci cand aplicatia va fi lansata);
• adugarea optiunii de traducere automata – adnotarile si comentariile sunt traduse (daca utilizatorul opteaza pentru acest lucru) din limba in care ele au fost realizate in limba in care telefonul utilizatorului este setat (detectata automat de catre aplicatie); aceasta functionalitate este realizata cu ajutorul modulului MLKit al Google;
• integrarea API-ului pentru Twitter (login, distribuire adnotari sub forma de “tweets”) – acest modul este acum finalizat, fiind initial intarziat din cauza obtinerii tarzii a aprobarii de dezvoltare din partea Twitter.
• adaugarea modulului de realitate augmentata – o componenta inovativa a aplicatiei, aceea de adaugare si vizualizare de obiecte 3D in realitate augmentata, asociate unei imagini detectate in carte; s-au integrat in aplicatie ARCore (pentru augmentarea imaginilor) si Poli (biblioteca 3D), ambele oferite de Google; utilizatorul poate selecta imaginea dorita dintr-o captura a paginii unei carti pentru a o salva intr-o baza de date (momentan locala pe dispozitiv); modulul de augmentare a imaginilor recunoaste imaginile salvate in baza de date si afiseaza modele 3D asociate acestora (fie prezente in aplicatie Figura 2 c – neindicat, dimensiunea aplicatiei ar creste mult – sau cautate in Poli – Figura 2 d); utilizatorul poate interactiona cu aceste obiecte 3D (scalare, rotire);

Figura 2 – a. Optiuni distribuire medii sociale b. Exemplu distribuire video pe Facebook c. Augmentare imagine carte (obiect 3D predefinit) d. Augmentare imagine (obiect 3D din biblioteca Poli)

Reconstructii 3D interactive

Modelarea 3D a bibliotecilor

Sumar grad realizare:

Biblioteca	Etapa dezvoltare	Procent realizare	Comentariii
BCUB	5.3	90%	Include cele 3 corpuri vizitabile (Fundatia, Dacia, Boema). In curs de populare cu obiecte, incepand cu corpurile de iluminat, dupa care se vor repozitiona luminile de test deja prezente in scena de joc.
BCUI	2.2	70%	Reconstructia detaliata a scheletului este finalizata. In curs de reconstructie a elementelor arhitecturale precum: scari, coloane, ferestre, etc.
BCUC	2.1 4	65% 20%	Reconstructia geometriei de baza a arhitecturii cladirii. 20% dintre obiectele bibliotecii (11)  sunt reconstruite si texturate.
BCUT	4	90%	Reconstructia finalizata a bibliotecii si a 90% dintre obiectele acesteia. Atat geometriei arhitecturii, cat si a obiectelor le sunt asociate materiale de test.

Descriere activitati

Procesul reconstructiei este unul complet, si anume, porneste de la identificarea si achizitia datelor (recunoasterea spatiului, analiza acestuia si formalizarea sa, si preluarea datelor de interes pentru a realiza aceasta forma) si se finalizeaza cu alcatuirea spatiului virtual intr-un mediu interactiv.

Realizari pana in prezent

Prima etapa, a achizitiei de date, a fost incheiata cu succes pentru situl fiecarui partener.

Fiecare corp vizitabil al tututor cladirilor partenerilor a fost abordat in constructia mediilor virtuale 3D.

BCUB

Arhitectura tuturor celor 3 corpuri ale BCUB, Fundatia, Dacia si Boema, a fost reconstruita in totalitate (atat geometria, cat si materialele si texturile), incluzand legaturile dintre corpuri. Obiectele interioare principale ale acestora au fost, de asemenea, reconstruite, inclusiv texturile acestora. Sunt in curs de reconstructie sau au fost deocamdata omise unele obiecte de decor, carti, panouri cu indicatii.

Fig. 1. Reconstructiile finalizate ale arhtiecturii cladirilor bibliotecilor BCUB.  Reconstructia, importata in mediul de dezvoltare de jocuri, prezinta cele 3 corpuri: Fundatia, Boema, Dacia.

In acest moment, toate cele trei corpuri ale BCUB au fost reconstruite in totalitate, incluzand aplicarea texturilor corespunzatoare materialelor reale, atat pe elementele de arhitectura, cat si pe obiectele ce il populeaza. Exceptie face sala de spectacole sau Aula, inca netexturata, si holurile de acces in aceasta, a caror reconstructie are geometria generala a arhitecturii finalizata, iar procesul de impartire a geometriei in functie de elemente decorative si materiale este in derulare.

Fig. 2. Reconstructia arhitecturii Aulei si a holurilor de acces.

Dreapta: sala de spectacole in detaliu. Reconstructia cuprinde lojele, scena si detaliile tavanului.

Obiectele ce populeaza BCUB sunt deja reconstruite in proportii de aproximativ 20%.

Fiecare textura este creata din fotografii realizate pe teren. O noua astfel de vizita a fost facuta cu ocazia suplimentarii de referinte pentru texturile din corpurile Dacia si Boema ale BCUB. Fotografiile sunt prelucrate pentru a recrea cromatica din realitate, apoi sunt folosite pentru a construi structuri vizuale repetitive, a caror delimitare sa fie invizibila. Acestea se pot aplica apoi ca harti pe materiale, carora li se adauga apoi atribute precum specularitate, grunjozitate, etc.

De exemplu, pentru texturarea corpului Boema au fost realizate 47 de texturi corespunzand tablourilor din corpul Boema, 14 texturilor pentru suprafete uniforme (materiale precum marmura, covor, suprafete de mobilier).

Fiecare corp de cladire a fost importat in Unity si aliniat, pentru a se face legaturile corespunzatoare intre corpuri. Au fost adaugate lumini in scopul testarii, insa doar etajul I al corpului Fundatia a fost populat si cu obiecte de iluminat.

Urmatoarele etape sunt recalibrarea materialelor importate din 3D Studio Max si, apoi, popularea mediilor virtuale cu obiecte, in ordinea importantei acestora. Prima serie de obiecte care va fi inclusa in proiect sunt corpurile de iluminat, pentru a pastra consistenta in dezvoltarea conforma realitatii si a putea explora si testa mediul virtual in mediul de joc.

Fig. 4. Cadre din mediul virtual al reconstructiei bibliotecii BCUB integrate in motorul de jocuri Unity

BCUT

Arhitectura cladirilor BCUT a fost de asemenea finalizata, precum si aplicarea de materiale (care sugereaza doar cromatic materialele reale). Aceste materiale urmeaza sa fie inlocuite de materiale create cu ajutorul texturilor realizate din fotografiile preluate pe teren.

Fig. 5.: Reconstructia detaliata a cladirii BCUT.  Include corpul vechi si culoarul de comunicare cu acesta si cu Universitatea de Vest

Reconstructia arhitecturii Bibliotecii Centrale Universitare “Eugen Todoran” din Timisoara  prezinta intreaga geometrie finalizata, incluzand arhitectura celor doua cladiri, precum si impartirea geometriei pe materiale de test si maparea coordonatelor geometrice la cele de texturare.

Arhitectura este refacuta la un nivel inalt de detalii, incluzand elemente decorative, coloane, usi si ferestre, scari si balustrade. Geometria este impartita deja in poligoane codificate pe culori ce sugereaza nuantele materialelor din realitate.

Fig. 6. Cadre din interiorul reconstructiei BCUT. Sus: Corpul nou al bibliotecii. Intrarea in sala de spectacole. Sala de lectura de la etajul III. Jos: Corpul vechi. Holul cu scarile dinspre vechea intrare si sala de lectura deschisa

Odata finalizata arhitectura, etapa urmatoare a vizat obiectele bibliotecii. Obiectele din interiorul bibliotecii sunt inventariate in totalitate. 90% dintre acestea sunt modelate.

Fiecarui obiect ii sunt aplicate materiale avand culori contrastante pentru a evidentia diferenta intre tipurile de materiale care vor fi aplicate ulterior, pe o mapare UV deja realizata. Prin mapare UV se intelege corespondenta dintre coordonatele geometrice si cele de texturare (practic, coordonate pe imaginea-textura) a obiectului.

Fig. 7. Obiecte ale BCUT. Birouri. Scaune. Plante. Aparaturi. Biblioteci.

BCUC

Reconstructia arhitecturii cladirii BCUC este finalizata la un nivel primar, cuprinzand corpurile accesibile si respectand atat proiectiile orizontale, cat si pe cele verticale ale cladirii. Este vorba de scheletul general al cladirii, cuprinzand holurile, sala de lectura cu dom, si salile de lectura de la etaj, neseparate.

Aproximativ 20% dintre obiectele ce populeaza cladirea bibliotecii sunt deja reconstruite. Aceste reconstructii includ texturile acestora si aplicarea lor.

Fig. 8. Reconstructia arhitecturii generale a Bibliotecii Centrale Universitare “Lucian Blaga” din Cluj

Fig. 9. Exemple de reconstructii ale obiectelor din BCUC. Biroul din sala de lectura “Alexandru Lepadatu”. Dulapuri cataloage. Biblioteca din sala de lectura “Miko Imre”. Dulapul de harti din sala “Gheorghe Baritiu”. Biroul din sala de lectura “Emil Racovita”

BCUI

Reconstructia arhitecturii BCUI include detaliile aulei (Biblioteca Lucian Blaga din Cluj nu prezinta sala de spectacole) si cupolele decorative, respectiv pe cele ale intrandurilor birourilor custozilor din salile de lectura, scarile mari, de marmura, si un set de coloane.

Fig. 10. Reconstructia arhitecturii Bibliotecii Centrale Universitare “Mihai Eminescu” din Iasi. STanga: Vedere exterioara. Dreapta: Vedere din holul interior asupra scarilor si intrarii in Aula, avand in prin plan detalii arhitecturale (scari, coloane, scena)

Aplicatiile 3D interactive

Realizari pana in prezent

Aplicatiile 3D interactive includ toate functionalitatile de baza stabilite în specificatia cerintelor.

Astfel, au fost realizate urmatoarele functionalitati esentiale:

• client software care functioneaza pe toate platformele vizate: windows, mobil, web (in browser) si realitate virtuala
• server central pentru gestionarea resurselor, serviciilor si persistenta datelor
• multi-utilizator dedicat care gestioneaza scenele virtuale ale bibliotecilor pentru a permite conectarea mai multor utilizator la aplicatie, si pentru a gestiona interactiunea dintre acestia
• Urmatoarele functionalitati implementate pe client si server:
• crearea unui cont si autentificare, folosind adresa de mail si parola
• meniu central de unde utilizatorul poate consulta datele de profil, lista de biblioteci disponibile și un editor de avatar
• avatar pentru reprezentarea utilizatorului în scenele virtuale, o reprezentare umană care poate fi controlată de utilizator prin mijloace de input specifice dispozitivului de accesare (tastatura, mobil, controller etc.)
• editor de avatar care permite personalizarea diverselor aspecte de fizionomie, cum ar fi dimensiunea părților corpului sau culoarea pielii sau a ochilor, dar și elemente de îmbrăcăminte sau stil
• tur virtual, în care utilizatorii sunt ghidați de un avatar prin bibliotecă, prezentându-se diferse informații în puncte cheie
• interacțiuni cu mediul virtual, cum ar fi posibilitatea de a deschide uși sau de a accesa informații despre obiecte specifice în format static sau multimedia, chiar și sub formă de streaming video
• comunicare între utilizatori, printr-un sistem de mesagerie text (chat) în timp real, gestionat în acest moment de serverul multi-utilizator
• sistem de quest-uri
  • editor pentru conceperea si adaugarea de quest-uri noi
  • preluarea si rezolvarea quest-urior de catre utilizator
  • integrarea unui sistem de realitate augmentata pentru quest-urile si tururile virtuale
• integrarea in mediul virtual al modelului 3D pentru BCUB

A. Editarea de avatar                                                                                             B.    Scena din BCUB