Amazon spouští Bedrock Intelligent Prompt Routing pro efektivnější práci s jazykovými modely
Společnost Amazon (NASDAQ:AMZN) oznámila všeobecnou dostupnost své služby Bedrock Intelligent Prompt Routing. Tento nástroj, který byl v předpremiéře představen v prosinci, nabízí jediný koncový bod bez serveru pro efektivní směrování požadavků mezi různými modely nadace v rámci stejné modelové rodiny. Toho dosahuje dynamickým předpovídáním kvality odezvy jednotlivých modelů na požadavek a následným nasměrováním požadavku na nejvhodnější model na základě nákladů a kvality odezvy.
V posledních několika měsících společnost Amazon implementovala několik vylepšení v oblasti inteligentního směrování výzev. Tato vylepšení vycházela ze zpětné vazby od zákazníků a z rozsáhlého interního testování. Cílem je usnadnit automatizované optimální směrování mezi velkými jazykovými modely (LLM) prostřednictvím inteligentního směrování výzev Amazon Bedrock. Tento nástroj má hluboké znalosti o chování modelů v rámci každé rodiny modelů, což zahrnuje nejmodernější metody pro trénování směrovačů pro různé sady modelů, úloh a výzev.
Uživatelé nyní mohou používat Amazon Bedrock Intelligent Prompt Routing s výchozími směrovači výzev poskytovanými společností Amazon Bedrock nebo si mohou nakonfigurovat vlastní směrovače výzev. To umožňuje lineární přizpůsobení výkonu mezi výkonem obou kandidátních routerů LLM. Výchozí promptní směrovače poskytuje společnost Amazon Bedrock pro každou modelovou řadu. Tyto směrovače se dodávají s předdefinovanými nastaveními a jsou navrženy tak, aby fungovaly po vybalení z krabice s konkrétními modely základů. Nabízejí přímočaré řešení připravené k použití bez nutnosti konfigurovat jakákoli nastavení směrování.
