Stage - Implémentation de modèles d’IA à l’edge - F/HN

Premier cabinet d’architectes IT fondé en 1998, pionnier du delivery agile et véritable concentrateur de talents. Nous incarnons les nouvelles façons de faire du conseil et du Delivery. Digital Doers & Thinkers est notre marque de fabrique. Nous privilégions aujourd'hui notre positionnement Agile & DeepTech et sommes engagés quant à notre responsabilité sociale et environnementale Sujet de stage L'inférence de modèle appliqué à un environnement contraint. Sous-titre Les modèles actuellement utilisés tournent principalement sur plusieurs GPUs dans un avenir proche de nombreux cas d’usages émergeront avec une contrainte forte sur le hardware et son accessibilité. Le WHY L’occasion de travailler sur un cas concret tout en explorant un état de l’art plus proche de la réalité. Mettre ces services à disposition de tous devient nécessaire, mais aussi être capable de fournir ces capacités sans être dépendant des grands acteurs et de leurs APIs. Les missions Cartographier les techniques d'optimisation pour LLM/VLM embarqués : quantification (int4/int8, GPTQ, AWQ), KV cache quantifié, décodage spéculatif, réduction des tokens visuels Comparer les runtimes et délégués matériels : ExecuTorch (CoreML/ANE, Metal, QNN), llama.cpp, MLX, vLLM, SGLang, Tensor-RT Implémenter un cas d'usage interne à données sensibles sur plusieurs paliers : poste M-series, smartphone, et serveur GPU interne selon disponibilité Mesurer les compromis : TTFT, tokens/s, RAM, énergie, qualité Produire une recommandation d'usage et un article OCTO Le déroulement du stage Étape 1 : Découverte et cadrage Faire de la veille bibliographique. Choisir un cas d’usage. Définir la roadmap avec les objectifs à réaliser. Étape 2 : Montée en compétences Se former sur les hardwares à disposition. Étape 3 : Exploration Exploration des possibilités existantes en relation avec le cas d’usage. Étape 4 : Réalisation Réalisation de l'implémentation et du déploiement répondant aux cas d’usage. Étape 5 : Partage Partage aux autres Octos pendant et à la fin du stage, rédaction d’un article et démonstration. Stack technique : Python, Git, Linux, Pytorch Vous préparez un BAC+5 et vous êtes à la recherche d'un stage de fin d'études. Vous avez une appétence pour les sujets de Data Science et pour l’exploration de l’état de l’art. Vous avez déjà exploré des modèles, quelques contributions/projets/articles en open source. Vous souhaitez approfondir vos compétences en déploiement de modèles et en hardware. Vous faîtes preuve de curiosité, d'ambition et d'autonomie OCTO Rewards Et parce que nous savons qu’un job n’est pas “juste” un job, on vous partage aussi quelques petits + qui font notre différence : 6 participations, 6 podiums au palmarès « Great Place To Work », le bien-être et la progression des Octos est vraiment au cœur de nos préoccupations ; “ There is always a better way ” : nous encourageons et soutenons l’innovation par la R&D . Au-delà d’une direction Scientifique dédiée, nous proposons du temps hors mission pour partager ses connaissances : blog OCTO, talks, meet-up, livre blanc, BBL… en bref de l’open source alimenté par tous les Octos ; Parce que ce ne sont pas que des mots , nous marquons au quotidien notre engagement en matière de numérique responsable : depuis 2021 OCTO est Certifié BCorp . Nous formons les Octos et nos clients à la fresque du climat et œuvrons pour la sobriété numérique en interne et auprès de nos clients ; Le management est un point central de notre culture . Les Octos managers sont formés pour vous accompagner dans le développement de votre carrière Parce qu’on n’a jamais fini d’apprendre , vous pourrez tirer parti de notre large offre de formations (softskills, et hardskills) , avec un accompagnement personnalisé et jusqu’à 5 jours de formation en moyenne par an, pour affûter vos compétences et vous certifier ; Le sujet de la parentalité compte aussi beaucoup à nos yeux. C’est pourquoi nous avons mis à disposition des places en crèche, ainsi que d’une permanence parentalité pour les parents et futurs parents ; Last but not least, nous sommes également signataires de la Charte de la diversité ainsi que de l'Autre Cercle concernant l’inclusion des personnes LGBTQIA+ en entreprise , depuis juin 2022. Sans oublier les fondamentaux : Matériel au choix : ordinateur (PC ou Mac) et téléphone (Fairphone ou iPhone) Télétravail en fonction du poste et des missions allouées Possibilité d’augmentation chaque année conditionnée par l’évaluation annuelle Et bien sûr : carte Swile, RTT, primes diverses (participation, vacances, cooptation, bonus basés sur les performances collectives). OCTO priority Notre fierté ? Collaborer avec des personnes talentueuses issues de différents horizons. Aussi, ce que nous cherchons avant tout, ce sont des personnalités qui enrichiront OCTO. En respectant l'égalité des chances, les candidatures sont examinées sans aucun préjugé quant à l'âge, l'ethnie, l'identité de genre, l’expression de genre, la nationalité, le handicap, la religion ou l'orientation sexuelle.