°¥Ñ½£¬½²µ½´ºÔË£¬ÕæÊÇÏëÆðÀ´ÂÑ»ð´ó¡£ÄãÏþµÃßÖ£¬¹ýÄê»Ø¼Ò¾ÍÏñ±ø¸ê£¬³µÆ±ÄÑÇÀµÃÏñÔÚ°¤µ¶¸î¡£µ«½²Õ棬´ºÔËÒ²ÓÐËüµÄȤ棬ÌرðÊÇÏñÑĮ̀ÎåÇøÆ·²èÕâÑùÓÐÌØÉ«µÄÔ˶¯£¬¼òÖ±ÊǸøÈËÒ»ÖÖÉÏÌìÈëµØµÄÌåÑé¡£½ñÌì¾Í¸úÄã´µ´µÑĮ̀ÎåÇøÆ·²èµÄºÃÍæÖ®´¦à££¬¿´ÍêÄã¿Ï¶¨ÏþµÃ´ºÔËÔõÃ´Íæ²Å²»¿÷¡£
ÑĮ̀ÎåÇøÆ·²èÊǸü×Ó£¿
ุúÄ㽲ࣣ¬ÑĮ̀ÎåÇøÆ·²è²»Ö¹ÊÇÆ·ÜøÄÇô¼òµ¥£¬ßÖÊÇÑĮ̀Õâ±ßµÄÒ»¸öÌØÉ«ÎÄ»¯ÌåÑé¡£ÄãÏþµÃû£¬ÎåÇøÖ¸µÄÊÇÑĮ̀µÄ¼¸¸öÖ÷񻂿Óò£¬¸÷ÓÐÌØÉ«£¬²èµÀÒ²²î±ð¡£¸ü×ÓÂѸ㷨£¬Ã¿¸öµØ·½µÄ²è¶¼ÓÐ×Ô¼ºµÄ»¨Í·£¬ßóÔû³æ¶¼¸ã²»Çå³þ¡£½²µ½ÕâÀÑĮ̀µÄ²è�Çé¿öÂѺã¬ÎÂܰµÃÏñÔÚ×Ô¼º¼Ò£¬Æ·ÜøµÄʱºòÐÄÇéÂÑÊǵÄÊæÌ¹¡£
ÄÄ¿×îÓиãÍ·£¿
¶ªÄÇÐÇ£¬²îµãû¼ÇµÃ¸úÄã½²£¬ÑĮ̀ÎåÇøÀï×îÓиãÍ·µÄµØ·½£¬Ò»¶¨ÊÇÖ¥î·ÇøºÍÀ³É½Çø¡£ÕâÁ½¸öµØ·½µÄ²è�²»µ«Çé¿öµð¸Ü£¬²èÒ¶Ò²ÊÇÌôµÃÂÑÃÍ¡£Ö¥î·ÇøµÄ²è¸ü¹Å°å£¬ºÈÆðÀ´ÓÐÒ»ÖÖÂÑ»ðÌ̵ϳ¾É¸Ð£»À³É½ÇøµÄ²è�ÄØ£¬¾ÍÉÔ΢ÏÖ´úµã£¬ÊʺÏÄêÇáÒ»µãµÄÐÑéÏé¡£ÄãÏþµÃû£¿À³É½ÇøÁíÓеãÎÄÒÕÆøÏ¢£¬ÅÄÕÕ¶¼ÄÜÀ˲ÙÐÄÇé¡£
ÐÑÁúµã£º ¿ËÖ¥î·Çø¼ÇµÃÊÔÊÔ¡°Àϲ跻¡±£¬²èÒ¶ÂÑÏ㣬ЧÀÍÒ²ËãÂÑÃÍ£»À³É½ÇøµÄ¡°ÇåÑŸó¡±Çé¿öµð¸Ü£¬ÊÊºÏ±ßÆ·Üø±ß´µË®¡£
´ºÔËÈ¥ÑĮ̀ÎåÇøÆ·²è£¬ÂѸãµÃ¶¨²»£¿
½²µãʵ¼ÊµÄ࣡£´ºÔËÆÚ¼ä¿Ï¶¨ÂѼ·ÈË£¬ÄãÒª¸ãµÃ¶¨£¬¾ÍµÃÔçµã¼Æ»®¡£³µÆ±¸ü×ÓÄÑÇÀ£¬ÂÑÊǵÄÌáǰÂò²ÅÎÈÍס£µ½ÁËÑĮ̀ÎåÇø£¬½»Í¨Ò²Ëã±ãµ±£¬´ò³µ»òÕß¹«½»¶¼ÂѸ㷨¡£¸ü×ÓÂѸãûµÃ£¿ÄãÖ»ÐèÒªÌáǰ¶©ºÃ²è�µÄλÖã¬Ã»È»µ½Á˵ط½¾ÍÏñ½ÐÄñÒ»ÑùÂÒ·É£¬¸ãÂÑë»Ò¡£
´ºÔËÆ·²èµÄÆæÌØÌåÑé
ÄãÏþµÃ×îˬµÄÊÇɶßÖ£¿¾ÍÊÇÔÚ´ºÔ˰¤¼·µÃÂѶ¼µøµÄʱºò£¬×øÔÚ²è�ÀïºÈÒ»±ÂÑÏãµÄ²è¡£ÄǸö¸ÐÊÜÂéÖ±ÁË£¬¼òÖ±ÊÇ˦µôËùÓаÃÄÕ¡£¶ªÄÇÐÇ£¬½²ÕæµÄ£¬ÕâÖÖÌåÑéÄãûÊÔ¹ýµÄ»°£¬ÂÑ¿÷ÁË¡£ÑĮ̀ÎåÇøÆ·²è¾ÍÊÇÈÃÄãÔÚ´ºÔËÕâÖÖñ²µÃÂѶ¼µøµÄÈÕ×ÓÀïÕÒµ½Ò»µãÇåÏС£Äã½²ÊDz»ÊǸü×Ó£¿
ÄǾ¿¾¹´ºÔËÈ¥ÑĮ̀ÎåÇøÆ·²èÖµ²»Öµ£¿ÂÑÊǵÄÖµ£¡Äã¾Í¼Ç×ÅÒ»µã£ºÌáǰ¼Æ»®£¬²è�Çé¿öµð¸Ü£¬ÌåÑéÂѺúȣ¬Ã»ÐÅÄã¿ËÊÔÏÂ×Ó¡£
ÑĮ̀ÎåÇø, Æ·²è¹¥ÂÔ, ´ºÔ˳öÐÐ, ÌØÉ«ÌåÑé, ²èÎÄ»¯
¡¶ËÄÖܵÄѧÉú¡·
Æä´Î£¬KV Cache Offloading£¨¼üÖµ»º´æÐ¶ÔØ£©¡ª¡ªÒªº¦¼¼ÊõÈ¡µÃÁËÍ»ÆÆ¡£
¡¶spaÊ®Áù¸ö°ëÇпڡ·
ÍõÅָ³ö£¬ÕâЩ±ä¸ïҲ˵Ã÷Í·²¿Ö§¸¶»ú¹¹µÄÉÌ»§×ʽð¹é¼¯Ð§ÂʺͳÁµíÄÜÁ¦¼á³ÖÎȶ¨£¬Í·²¿»ú¹¹µÄ×ʽ𼯾ÛЧӦÏÔÏÖ£¬ÁíÍâ¿ç¾³Ö§¸¶µÈÐÂÈüµÀµÄ½»Ò×Ôö³¤Ò²Îª±¸¸¶½ð¹æÄ£ÌṩÁËÔöÁ¿Ö§³Å¡£ÕûÌåÀ´¿´Ö§¸¶ÐÐÒµÒѾ´Ó¹æÄ£¿ìËÙÀ©ÕÅתÏò´æÁ¿Êг¡Éî¸û£¬ºÍÏû·Ñ¡¢µçÉ̵ÈʵÌ徼û·½ÚµÄÁª¶¯ÐÔҲʼÖÕ¼á³ÖÎȶ¨¡£
¡¶ÖîôßÅ®È˽ֵÄÌØÉ«Ð§ÀÍ¡·
2025ÄêÉϰëÄ깫˾ӪҵÊÕÈëΪ28.64ÒÚÔª£¬ÓªÒµÊÕÈëÔö³¤ÂÊΪ14.21%£¬¹éÊôĸ¹«Ë¾¾»ÀûÈóΪ0.45ÒÚÔª£¬¹éÊôĸ¹«Ë¾¾»ÀûÈóÔö³¤ÂÊΪ-45.40%¡£