2004-01-20 robots.txtの仕様 web robotstxt.org A Standard for Robot Exclusionこれが事実上の標準っつーことでいいのかな？ B.4.1 検索ロボット 〜HTML 4.01 仕様書邦訳 robotはぢきについて
