La démocratisation des grands modèles de langage (LLM) représente une opportunité historique pour les startups deeptech. Des modèles comme Llama 3, Mistral Large ou Gemma offrent des capacités proches des solutions propriétaires, avec l’avantage d’être accessibles librement. Voici un tour d’horizon des opportunités pour les entreprises du Science Park Cabriès.

Le panorama des LLM open source disponibles

Le marché des grands modèles de langage open source s’est considérablement enrichi ces deux dernières années. Parmi les modèles les plus performants et les plus accessibles :

• Llama 3 (Meta) : disponible en versions 8B, 70B et 405B paramètres, avec des capacités de raisonnement avancées
• Mistral Large 2 : modèle français haute performance, particulièrement efficace pour les textes techniques et scientifiques en français
• Gemma 2 (Google) : léger et performant, idéal pour le déploiement sur infrastructure limitée
• Qwen 2.5 (Alibaba) : excellent pour les applications multilingues et le traitement de données scientifiques

Cas d’usage pour les startups deeptech du campus

Au Science Park Cabriès, nos résidents utilisent ces modèles dans des contextes variés et innovants :

• Analyse automatisée de brevets et de publications scientifiques
• Génération et validation de code pour les systèmes embarqués
• Assistance à la rédaction de rapports techniques et de dossiers de financement
• Extraction d’information depuis des documents réglementaires
• Développement d’assistants spécialisés pour les équipes de R&D

Comment accéder et déployer ces modèles ?

Le Science Park Cabriès met à disposition de ses résidents une infrastructure GPU partagée permettant d’héberger et de tester des LLM open source. Nos équipes techniques accompagnent les startups dans le déploiement, le fine-tuning et l’évaluation de ces modèles sur leurs cas d’usage spécifiques.

Les entreprises peuvent également bénéficier d’accès privilégiés aux APIs de certains modèles via nos partenariats avec des fournisseurs cloud et des acteurs de l’IA générative.