AI boti môžu preťažovať weby. Ako sa pripraviť?

AI boti a crawlery budú postupne rásť, ako pripraviť web na záťaž a riešiť preťaženie z dôvodu návštev AI botov?