Tensorzero NABS 7,3 millions de dollars pour résoudre le monde désordonné de l’entreprise LLM Development

L’approche de Tensorzero découle de la co-fondatrice et du CTO Viraj Mehta, les antécédents non conventionnels de l’apprentissage par renforcement pour les réacteurs de fusion nucléaire. Au cours de son doctorat à Carnegie Mellon, Mehta a travaillé sur des projets de recherche du ministère de l’Énergie où la collecte de données coûte «comme une voiture par point de données – 30 000 $ pour 5 secondes de données», a-t-il expliqué dans un récent entretien avec VentureBeat.

“Ce problème mène à une énorme inquiétude quant à savoir où concentrer nos ressources limitées”, a déclaré Mehta. «Nous n’allions que l’exécution d’une poignée de procès au total, donc la question est devenue: quel est l’endroit le plus précieux sur lesquels nous pouvons collecter des données?» Cette expérience a façonné la philosophie centrale de Tensorzero: maximiser la valeur de chaque point de données pour améliorer en continu les systèmes d’IA.

L’idée a conduit Mehta et le co-fondateur Gabriel Bianconi, ancien chef de produit chez ONDO Finance (un projet financier décentralisé avec plus d’un milliard de dollars d’actifs sous gestion), pour reconceptualiser les applications LLM comme des problèmes d’apprentissage de renforcement où les systèmes apprennent des commentaires réels.

«Les applications LLM dans leur contexte plus large ressemblent à des problèmes d’apprentissage de renforcement», a expliqué Mehta. «Vous passez de nombreux appels à un modèle d’apprentissage automatique avec des entrées structurées, obtenez des sorties structurées et finissez par recevoir une forme de récompense ou de rétroaction. Cela me ressemble à un processus de décision de Markov partiellement observable.»

Pourquoi les entreprises abandonnent les intégrations complexes des fournisseurs pour l’infrastructure d’IA unifiée

Les approches traditionnelles de la construction d’applications LLM obligent les entreprises à intégrer de nombreux outils spécialisés de différents fournisseurs – des passerelles modèles, des plateformes d’observabilité, des cadres d’évaluation et des services de réglage fin. Tensorzero unifie ces capacités en une seule pile open source conçue pour fonctionner ensemble de manière transparente.

“La plupart des entreprises n’ont pas traversé les tracas d’intégrer tous ces différents outils, et même ceux qui se sont retrouvés avec des solutions fragmentées, car ces outils n’étaient pas conçus pour bien fonctionner les uns avec les autres”, a déclaré Bianconi. «Nous avons donc réalisé qu’il y avait une opportunité de construire un produit qui permet cette boucle de rétroaction en production.»

L’innovation principale de la plate-forme consiste à créer ce que les fondateurs appellent un «volant de volant et d’apprentissage» – une boucle de rétroaction qui transforme les mesures de production et les commentaires humains en modèles plus intelligents, plus rapides et moins chers. Construit en rouille pour les performances, Tensorzero atteint des frais généraux de latence de moins de millisecondes tout en soutenant tous les principaux fournisseurs de LLM via une API unifiée.

Les grandes banques et les startups d’IA construisent déjà des systèmes de production sur Tensorzero

L’approche a déjà attiré une adoption importante des entreprises. L’une des plus grandes banques d’Europe utilise Tensorzero pour automatiser la génération de modifications de code, tandis que de nombreuses startups AI-First de la série A à la série B ont intégré la plate-forme dans diverses industries, y compris les applications de soins de santé, de finance et de consommation.

“La vague d’adoption de la communauté open source et des entreprises a été incroyable”, a déclaré Bianconi. «Nous avons la chance d’avoir reçu des contributions de dizaines de développeurs dans le monde, et il est excitant de voir Tensorzero alimenter déjà les applications LLM de pointe dans les startups de Frontier AI et les grandes organisations.»

La clientèle de l’entreprise couvre les organisations, des startups aux grandes institutions financières, tirées à la fois par les capacités techniques et la nature open source de la plate-forme. Pour les entreprises ayant des exigences de conformité strictes, la possibilité d’exécuter Tensorzero au sein de leur propre infrastructure fournit un contrôle crucial sur les données sensibles.

Comment Tensorzero surpasse Langchain et d’autres cadres d’IA à l’échelle d’entreprise

Tensorzero se différencie des solutions existantes comme Langchain et Litellm grâce à son approche de bout en bout et se concentrer sur les déploiements de qualité de production. Alors que de nombreux cadres excellent dans un prototypage rapide, ils frappent souvent les plafonds d’évolutivité qui obligent les entreprises à reconstruire leur infrastructure.

“Il y a deux dimensions à penser”, a expliqué Bianconi. “Premièrement, il existe un certain nombre de projets qui sont très bons pour commencer rapidement, et vous pouvez mettre un prototype très rapidement. Mais souvent, les entreprises atteindront un plafond avec beaucoup de ces produits et doivent faire circuler et opter pour autre chose.”

L’approche structurée de la plate-forme de la collecte de données permet également des techniques d’optimisation plus sophistiquées. Contrairement aux outils d’observabilité traditionnels qui stockent les entrées et sorties de texte brutes, Tensorzero maintient des données structurées sur les variables qui entrent dans chaque inférence, ce qui facilite le recyclage des modèles et l’expérimentation avec différentes approches.

La performance alimentée par la rouille offre une latence de moins de millisecondes à plus de 10 000 requêtes par seconde

Les performances ont été une considération clé de conception. Dans les repères, la passerelle à base de rouille de Tensorzero ajoute moins de 1 milliseconde de latence au 99e centile tout en gérant plus de 10 000 requêtes par seconde. Cela se compare favorablement aux alternatives à base de python comme Litellm, qui peuvent ajouter 25-100x plus latence à des niveaux de débit beaucoup plus bas.

“Litellm (Python) à 100 QPS ajoute 25-100x + plus de latence P99 que notre passerelle à 10 000 QP”, ont noté les fondateurs dans leur annonce, mettant en évidence les avantages de la performance de leur mise en œuvre de la rouille.

La stratégie open source conçue pour éliminer les peurs de verrouillage des fournisseurs d’IA

Tensorzero s’est engagé à garder sa plate-forme principale entièrement open source, sans fonctionnalités payantes – une stratégie conçue pour établir la confiance avec les clients d’entreprise se méfiant du verrouillage des fournisseurs. L’entreprise prévoit de monétiser à travers un service géré qui automatise les aspects les plus complexes de l’optimisation de la LLM, tels que la gestion des GPU pour la formation de modèle personnalisée et les recommandations d’optimisation proactive.

“Nous avons réalisé très tôt que nous devions faire de cette open source, pour donner (les entreprises) la confiance nécessaire pour le faire”, a déclaré Bianconi. «À l’avenir, dans un an dans un an de plus en plus, nous reviendrons avec un service géré complémentaire.»

Le service géré se concentrera sur l’automatisation des aspects intensifs en calcul de l’optimisation LLM tout en maintenant le noyau open-source. Cela comprend la gestion de l’infrastructure du GPU pour le réglage fin, l’exécution d’expériences automatisées et la fourniture de suggestions proactives pour améliorer les performances du modèle.

Quelle est la prochaine

L’annonce positionne Tensorzero à l’avant-garde d’un mouvement croissant pour résoudre le défi «LLMOPS» – la complexité opérationnelle de l’exécution des applications d’IA en production. Alors que les entreprises considèrent de plus en plus l’IA comme une infrastructure commerciale critique plutôt que comme une technologie expérimentale, la demande d’outillage prêt pour la production continue de s’accélérer.

Avec le nouveau financement, Tensorzero prévoit d’accélérer le développement de son infrastructure open source tout en construisant son équipe. L’entreprise embauche actuellement à New York et accueille des contributions open source de la communauté des développeurs. Les fondateurs sont particulièrement ravis de développer des outils de recherche qui permettront une expérimentation plus rapide sur différentes applications d’IA.

“Notre vision ultime est de permettre un volant de données et d’apprentissage pour optimiser les applications LLM – une boucle de rétroaction qui transforme les mesures de production et les commentaires humains en modèles et agents plus intelligents, plus rapides et moins chers”, a déclaré Mehta. «Au fur et à mesure que les modèles d’IA deviennent plus intelligents et prennent des flux de travail plus complexes, vous ne pouvez pas les raisonner dans le vide; vous devez le faire dans le contexte de leurs conséquences réelles.»

La croissance rapide du github rapide de Tensorzero et la traction des entreprises précoces suggèrent que le solide marché des produits ajusté dans la résolution de l’un des défis les plus urgents du développement de l’IA moderne. L’approche open source de l’entreprise et l’accent mis sur les performances de qualité d’entreprise pourraient s’avérer des avantages décisifs sur un marché où l’adoption des développeurs précède souvent les ventes d’entreprises.

Pour les entreprises qui ont encore du mal à déplacer les applications d’IA du prototype à la production, l’approche unifiée de Tensorzero offre une alternative convaincante au patchwork actuel d’outils spécialisés. Comme l’a noté un observateur de l’industrie, la différence entre la construction de démos d’IA et la création d’entreprises d’IA se résume souvent à l’infrastructure – et Tensorzero parie que l’infrastructure unifiée et axée sur les performances sera la base sur laquelle la prochaine génération de sociétés d’IA est construite.

Informations quotidiennes sur les cas d’utilisation de l’entreprise avec VB quotidiennement

Si vous souhaitez impressionner votre patron, VB Daily vous a couvert. Nous vous donnons le scoop intérieur sur ce que les entreprises font avec une IA générative, des changements réglementaires aux déploiements pratiques, afin que vous puissiez partager des informations pour un retour sur investissement maximal.

Lisez notre politique de confidentialité

Merci de vous abonner. Découvrez plus de newsletters VB ici.

Une erreur s’est produite.