Yaya S.

Je suis intervenu en tant que Freelance pour développer des agents conversationnels spécialisés dans le droit, en s'appuyant sur la méthode RAG. Ces agents conversationnels et ChatBots, basés sur des LLM, doivent pouvoir répondre aux besoins des utilisateurs en utilisant une grosse base de données de textes légaux, et pleins d'autres outils permettant de résoudre les tâches demandées par les utilisateurs. Pour des raisons de sensibilités des données des utilisateurs, les chatbots devaient utiliser un LLM déployé nous-mêmes, sur des serveurs que nous contrôlons, et ne pas utiliser les API d'OpenAI. Tout le défi est de déployer un LLM léger, peu coûteux en calcul et rapide pour répondre à beaucoup de requêtes. Quant aux chatbots utilisant ce LLM, ils doivent être aussi précis que possible en utilisant une base de données de textes légaux et savoir utiliser les bons outils au bon moment. J'ai développé ces agents LLM en me basant sur Langchain. Dans certains cas Langchain ne suffisait pas, alors je suis passé à Guidance.

Traitement de données vocales en utilisant les méthodes du NLP et du traitement de la parole (Speech Processing). Le travail principal consistait à entraîner des modèles de langue (Language Models) et de parole (Speech Models) sur des grandes quantités de données vocales. Les projets ont été entièrement codés en Python utilisant la librairie Pytorch pour le développement des modèles, et la libraire Transformers (Hugging Face) pour les modèles pré-entraînés de NLP. Les modèles utilisées sont: HuBERT (BERT pour le speech), CPC, Whisper et les modèles de langue classiques.

Développement, entraînement et évaluation de modèles auto-supervisés sur des données vocales (self-supervised speech models) et des modèles de langue (Language Models). Le travail a été fait entièrement en Python en utilisant Pytorch et la bibliothèque de NLP Fairseq.