Pourquoi DeepSeek est bon marché à grande échelle mais coûteux à exploiter localement, par Sean Goedecke

Pourquoi DeepSeek est bon marché à grande échelle mais coûteux à exploiter localement, par Sean Goedecke

Pourquoi DeepSeek-V3 est-il censé être rapide et bon marché à grande échelle, mais trop lent et coûteux à exploiter localement ? Pourquoi certains modèles d'IA sont-ils lents à répondre mais rapides une fois qu'ils sont lancés ?

Les fournisseurs d'inférence IA évoquent souvent un compromis fondamental entre le débit et la latence : pour un modèle donné, vous pouvez soit le servir à haut débit et...