Er hat eine unheimliche Vorstellungserfahrung mit großen Sprachmodellen. Er hat als Hauptprodukt für die deutsche Artificial Intelligence Start-up ADEF Alpha gearbeitet. Vor dem Start-up hat er einen Hauptprodukt-Roll bei BASF gewählt, wo er die Entwicklung ihrer internen AI-Plattformen gestaltet hat. Wir freuen uns, ihn an der Hardstage-Produktion zu begrüßen. Ladies and Gentlemen, please give a warm hand for Heide Schneider.
Hallo Hamburg! Zunächst einmal danke ich Jean für die freie Vorstellung. Ich würde sagen, wir sollten auch an Anne, Petra und alle anderen sagen, die diese Konferenz möglich gemacht haben. Awesome! So, today my talk is about building AI products and the commercial parts of it. I'd like to start my talk with a question. So, imagine you're responsible for a SaaS product. And imagine you increase your number of users, you increase engagements.
Then, Wer glaubt, dass Ihr Großmaßstab erhöht wird? Könnt ihr eure Hand aufheben? Es ist keine Trickfrage, richtig? Ihr könnt also aufheben, ihr könnt nicht aufheben. Das ist okay. Jetzt vielleicht das mit den AI-Produkten zu vergleichen. Behöven AI-Produkte in der gleichen Weise wie SaaS-Produkte? Das ist vielleicht ein AI-Produkt, das sich erinnert. Vielleicht habt ihr gehört, dass einige Leute so bauen.
Es muss nicht so sein, aber es könnte sein. Hier ist ein schönes Beispiel, das ich von Twitter oder X habe. Jemand hat uns einen 5.760 Dollar API-Bild auf unseren 50 Dollar Plan gerettet. Ich hoffe, dass ihr so ein Produkt nicht bauen könnt, weil es nicht funktioniert. Jetzt Die Frage ist natürlich, was die Produkte von den SASE-Economies anders macht. Und es gibt viele Gründe, warum das sehr kompliziert ist.
Ich versuche es einfach zu machen. Und das, was ich mitgebracht habe, ist die Art und Weise, wie die AI-Fähigkeiten anders sind. Die KI-Fähigkeiten, um es einfach zu übersimplifieren, Was kann AI für Sie und Ihre Kunden? Was macht das großartig? Und die AI-Kapazität, da es eine Werteproposition bringen kann, kann auch Ihr Revenue-Potenzial führen. Das ist also das Schließende, was Sie in Ihrem Geschäft erreichen können.
Aber wir wissen alle, dass AI-Produkte einen Kosten zu servieren haben. So there is also a flaw. Now the difference between the revenue potential and the cost to serve is the gross margin. And I think we can now see in a very simple way that the AI capability is directly related to your gross margin. Now I think this has a very big consequence. Because the consequence is that every AI product decision becomes a margin decision.
Und das ist wirklich das, was jetzt verändert ist. Das ist so anders als die meisten von den SaaS-Economics. Nun, die AI-Fähigkeiten wurden vor einigen Sekunden vorgestellt. Vielleicht ein bisschen ein Witz, also gehen wir etwas tiefer. Ich habe ein bisschen Zeit genommen, um zu denken, was sind einige Fahrer, die deine... also was sind einige Fahrer von AI-Fähigkeiten, richtig? was den Revenue Potential beeinflusst, was den Kosten beeinflusst.
Ich denke, wir können jetzt sehr einfach sehen, wie jeder Fahrer den grossen Margin beeinflusst. Der erste Fahrer ist natürlich der Modell. Es gibt viele Modelle, Standardmodelle, Cheap Modelle, Frontier Modelle, Rezension Modelle, du nennst es. Es gibt viele. Jeder und jede Modelle hat einen verschiedenen Kosten-zu-bewerben und einen verschiedenen Revenue Potential, weil sie verschiedene Dinge machen können,
für Ihr Produkt und dann für Eure Kunden. Der zweite Driver ist die Modalität. Also Sie haben Text, den Sie natürlich prüfen können. Denken Sie einfach an Chat-GPT. Aber natürlich können Sie Bilder, Audio, Video prüfen. Und all das ermöglicht eine andere Wertungsposition, aber kommt auch zu einem anderen Kostenpunkt. Nächster Thema, nächster Fahrer ist der Kontext. Ihr bezahlt für Input-Token und ihr bezahlt auch für Output-Token.
Und abhängig davon, welches Modell und welchen Kontext ihr bietet, kann es dann entweder etwas weniger teuer sein oder etwas teurer und kann einen mehrwertigen Anwendungsstandard bieten. Dann haben wir natürlich Agenten. Vielleicht haben einige von euch schon Agent-E-Coding versucht. Das ist sehr spannend. Nowadays spin up multiple agents, they can independently work, they can plan, they can spawn sub-agents, they can do a lot for you.
There is huge value in that and there is also a larger cost associated to that. Then we have inference as a driver. You can of course self-host your inference, which is a very expensive undertaking. hat man ein paar Vorteile, aber auch ein paar Nachteile. Aber man könnte auch sein Modell einfach mit einem API verkaufen. Und letzten aber nicht least, wir haben spezialisierte Infrastruktur, die man manchmal braucht, um eine spezifische Wertungsposition zu haben.
Also zum Beispiel, wenn man einen Rack bauen möchte, muss man sich für ein Embedded Model beteiligen, man muss eine Vektor-Database haben und all das kommt zu einem bestimmten Kosten. und auch etwas für euch und eure Kunden erfreulich machen können. Ich hoffe ihr habt es bis hierhin verstanden und vielleicht denken einige von euch: "Hydath, wir wissen das und ihr wisst, dass es sich herausstellen wird, dass es sich fixieren wird." Weil wir den Preis-Punkt einfach setzen können und Token werden günstiger, also warum es uns interessiert.
Ich will nicht sagen, dass es hier ein Richtig oder ein Falsch ist, aber ich will es dir vorstellen. Also, lasst uns zuerst mit dem Preispunkt beginnen. Also, kannst du wirklich den Preispunkt setzen? Und die Antwort ist natürlich, dass du das kannst. Das ist nicht der Punkt hier. Ich habe einen Podcast von Lenny gehört und ich habe einen Quote von Nick Turley, der Chef von ChatGPT von OpenAI, und er hat das gehört,
wie sie zu diesem 20 Dollar Preispunkt kamen. Also setzten sie den Preispunkt, der für sie funktionierte, sie hatten eine Methodologie, alles gut. Aber dann haben sie auch beobachtet, dass viele Menschen in der Industrie diesen Preispunkt kopiert haben. Sie haben sich auch gefragt, ob wir nicht einfach ein paar Marktkapitalisten auslösen, indem wir diesen Preispunkt setzen. Weil, wenn sie vielleicht einen höheren Preispunkt entschieden hätten, hätten sie vielleicht eine höhere Marktkapitalisierung.
Wer weiß. Ich denke, die Lektion hier ist, der Preispunkt wurde von jemandem besetzt, er wurde kopiert von vielen anderen, auch in anderen Industrien und jetzt sind die Kunden zu diesem Preispunkt angehängt. Das bedeutet also nicht, dass man das nicht ändern kann, aber es bedeutet, dass es einen Angriff gibt und ein Angriff ist manchmal schwer zu bewegen. Dann haben wir die Einflusskosten. Was ist mit denen?
Gehen sie runter? Gehen sie hoch? Ich weiß nicht, ich kann die Zukunft nicht erwarten. Ich habe drei Szenarien entwickelt. Der erste Szenario ist, dass der Preis runtergeht. Warum wird der Preis runtergehen? Zuerst einmal: Es gab große Investitionen in Datenzentren. Etwa 1 Trillion Dollar, manche sagen etwas mehr, manche sagen etwas weniger, das ist egal, es ist eine große Summe. Das wird natürlich die Anzahl der Computer erhöhen und hoffentlich werden die Preise dann runtergehen.
Ein weiterer wichtiger Angriff ist die Wettbewerbsfähigkeit. Wir sehen sehr spannende Entwicklungen in R&D, in China meistens, wo die Modelle meistens jedes Jahr aufkommen. Der letzte war GLM 5.2, der fast so gut ist wie Opus 4.8, bei einer Fragung der Kosten. Wir sprechen also fast von zwei Größenvergleichen für fast die gleiche Leistung, was sehr groß ist. Das ist spannend. Okay, aber die Preise könnten auch erhöhen, weil die Leute, die in den Dollar investieren, einen kleinen Rückzug wollen.
Also müssen die Preise vielleicht erhöhen. Dann gibt es auch die Antibillen-Lage und den deutschen Paradox, die sind beide sehr verbunden. Also können die Preise runtergehen, aber die Anforderungen können auch erhöhen. Und wenn es sich im Grunde ausbalanciert, dann ist es das Antibillenloch und wenn die Anzahl erhöht wird, dann die Preise, dann ist es das Chairman's Paradox. Das könnte auch so funktionieren.
Wir wissen es nicht. Mein Motto ist, dass man die Zukunft deines Geschäfts nicht auf irgendwelche Erkenntnisse oder Glaubensbündnisse wenden kann. Man muss die verschiedenen Szenarien planen. Was kann man also auch vorbereiten? Und ich möchte es hier einfach machen, damit wir nicht zu kompliziert werden. Ich denke, dass jeder weiß, dass Ihr Geschäft sehr kompliziert ist. Es gibt viele fliegende Teile.
Ich weiß nicht genau, was da los ist, aber ich weiß, dass es kompliziert ist. Die Simplifikation ist einfach, dass wir in Bezug auf den Boden denken. Wie schaffst du Wert? Und dann über den Boden. Wie mangelst du deine Kosten? Das ist ein sehr einfaches Modell, weil es direkt zu dem Grossmargin, den ich vorhin vorgestellt habe, verbunden ist. Wie schaffst du also Wert zu erzeugen? Ich glaube, ich kann nicht zu viel auf die Erkenntnis aufmerksam machen, wie wichtig die Erfindung ist, wenn man Wert erzeugen will.
Und das, was wir beobachten, wo wir alle zusammen sind, ist, dass viele Industrie, die heute AI-Bereich und Prototypen betrifft, ... Willing to pay testing is one aspect of the things that you have to do, but you also need to design the right pricing model. Because arguably the pricing model is one of the most important monetization decisions that you take for your business. Then it's very important to be able to communicate the value that your product offers to your customers.
Es geht also nicht um die AI-Fähigkeiten, die meisten Leute sind nicht interessiert, sondern es geht wirklich darum, was dein Produkt für die Kunden tun kann, damit es das Leben in einer sinnvollen Weise für die Kunden verändert. Dann gibt es die Offer-Struktur. Die Offer-Struktur ist, wie man die verschiedenen Features bundelt, wie man vielleicht Fenster-Features fänzt. Und all das ist traditionell ein bisschen mehr in der kommerziellen Design-Forschung.
Aber was ich hier sagen möchte, ist, dass das alles wirklich wichtig ist. Und es ist auch wichtig für die Produktstrategie, natürlich. Ich möchte ein bisschen tiefer in den Preisraum gehen, weil es eine so wichtige Position ist. Und ich habe diese Matrix hier gefunden, die ich von Herrn Ramanujan wirklich mag. Er ist einer der vordersten Preise- und Monetisierungs-Experten da draußen. Und das ist spezifisch für AI-Modelle.
und AI-Produkte. Und der Preismodell, so wie er denkt, ist eine Funktion von zwei Dimensionen. Die erste Dimension ist Autonomie. Wie autonom ist deine AI, wenn du einen bestimmten Job machst? Die zweite Dimension ist Attribution. Wie gut bist du es, einen bestimmten Ergebnis zu deiner AI zu attribuieren? Wenn Sie das ausdrücken, können wir ein gutes Beispiel nehmen, das ein Agent ist. Ein Agent in der Ideenwelt hat eine hohe Autonomie und eine hohe Attribution.
Intercom hat ein Outcome-Based Pricing Model für einen Kunden-Support-Agent geöffnet, damit dieser Agent die Kunden-Support-Recherungen mit einem bestimmten und sie können das preisen, weil sie wissen, was der Support-Request ist. Viele Leute sprechen von outcome-based pricing, das ist nicht immer möglich und es ist vielleicht ein bisschen mehr ein Ausgleich. Was jetzt immer mehr passiert ist, ist das Hybrid-Preismodell.
Das ist eine Kombination eines Seed-based Modells und einem Usage-based Model, weil wir alle wissen, Das Sied-based Model kann nicht funktionieren, wenn man die Möglichkeit für unbegrenzte Konsum gibt, weil es dein Geschäft zerstören wird. Was also die meisten Unternehmen nun bewegen, ist, dass sie dir ein Sied bieten. Es gibt vielleicht ein bisschen Kredit als Teil dieses Sieds und wenn du diesen Kredit überstehst, wirst du in einem extra Geld verpflichtet.
Ich denke, das ist ein fairer Modell, weil es für dein Geschäft und deine Kunden fair ist, aber du musst das gut designen. Wir haben auch die Frage, wie man den Kosten umgibt. Das ist also ein bisschen mehr der Boden des Margens. Wenn man sich über Kosten umgibt, ist es wichtig, zu Beginn mit Transparenz zu sprechen. Man erhält Transparenz durch gute Telemetrie. Ihr Arbeit ist es, sicherzustellen, dass ihr versteht, was in eurem Produkt passiert.
Sie müssen verstehen, was jeder Kunde in Ihrem Produkt macht und wie das natürlich Ihren Werten beeinflusst. Das nächste wichtige Ding, das Sie tun müssen, ist, dass Sie recherchieren müssen. Denn mit der AI kann man das gleiche Ergebnis mit vielen verschiedenen Ansätzen erreichen. Du kannst vielleicht verschiedene Modelle kombinieren, du kannst ein günstigeres Modell nehmen, vielleicht kombinierst du es mit einem Rack, du nimmst ein Franchise-Modell.
Ich weiß nicht, was da draußen ist, es gibt ein Haufen Sachen. Das Problem ist, dass du das quantifizieren kannst. Was mich jetzt an die Evals bringt. Evals sind also eine quantitativere Art und Weise, die Fähigkeit eines Modells zu testen, um einen bestimmten Tast zu erledigen. Und bitte, nicht Evals zu weibeln. Also bitte nicht: "Hey, wir haben es fünf mal getestet mit verschiedenen Prompten und Modellen und es sieht gut aus." Das ist nicht so, wie man E-Bus macht.
Es gibt also eine rigoröse Art und Weise, das zu machen. Es gibt eine mechanistische Art und Weise und ich bitte jeden von euch, das zu vermitteln, weil das sehr wichtig ist. Denn das Ziel all dieser Aktivitäten ist, dass man den Kosten optimieren möchte. Man muss die KI-Fähigkeit zur Wertung richten, die man bieten kann. So, these were maybe a bit more engineering-related topics. I think there's of course a lot of commercial to that, right?
And one of the most important things that you can do commercially is how do you package your product, how do you gain certain capabilities and features, and how do you make it accessible so that your customers really like that. Was wäre ein Action-Step? Ein paar Action-Steps, die sehr einfach zu machen sind. Am Montagmorgen, wenn du zurückkommst, vielleicht willst du dein Preissystem ausprobieren. Wie gut es sich mit der 2x2-Matrix, die ich vorhin erklärt habe, passt.
Bist du in der richtigen Bereiche? Vielleicht ist es wertvoll, zu überlegen, wo wir das bewegen können. Die zweite Sache ist, dass wir die Kosten für die Service herausfinden müssen. Du musst das Nummer haben für verschiedene Szenarien, für verschiedene Usergruppen, für verschiedene Modelle, für was auch immer. Und dann musst du es an die Tafel bringen, weil der Job als Produktleiter nicht unbedingt das zu gewähren ist, aber du musst die Konversation in deiner Organisation starten.
So, how does it work like in most companies? You have a lot of functions that you have to interact with on a daily basis and I really want to emphasize maybe you have to do a bit more of that. Because the product function is the function that most likely sees how all of these different factors come together in order to determine like revenue opportunities but also cost to serve. So you have to speak of course very closely to engineering
zu Ops und Info-Lebensstellen, vielleicht haben Sie Forschung, Marketing ist natürlich extrem wichtig, Web-Ops, Finanzierung, C-Level, und Sie können das zusammenbringen und ich bitte Sie, das zu tun, wenn Sie es nicht mehr tun. So, this brings me to the end of my talk. And if there's only one thing that you can take home from my talk, is that AI product decisions are margin decisions.
Thank you.
