Igen, de a cél az kellene, hogy legyen, hogy az értékes tartalomra vonatkozó indexet azért a keresők végülis fel tudják építeni, mert különben az ügyfél nem talál rá a weblapunk szolgáltatására, tehát engedni kell, hogy végigjárják a keresők a weblapot a linkek mentén.
Mivel a fő probléma az, hogy túl nagy / túl intenzív terhelést jelentett a kereseő, ezért a prboléma eredeti okát kellene megszüntetni, azaz azt, hogy ne legyen túl sűrű a keresők "bombázása". Magyarul a robots.txt-ben meg kell határozni, hogy mennyi időnként kérhet le egy új lapot.
(Természetesen később igazolni kell, hogy az eredményt elértük-e. Azt azért látni kell, hogy a keresők jóérzésére kell hagyatkozni akkor, amikor a robots.txt-t használjuk. Azt is igaz, hogy egy neves kereső nem engedheti meg magának, hogy ne vegye figyelembe egy szolgáltató igényét).[ előzmény: (1279) bigmick, 2007.06.06 21:26:45] |
