題目：https://ctflearn.com/challenge/107
Where do robots find what pages are on a website?
看到此提示想到是網站的 sitemap，通常 sitemap 會列出網站可以訪問的所有網址清單，比如本網站的 sitemap，但經訪問 https://ctflearn.com/sitemap.xml 後，這是一個不存在的網址，因此這方向是錯的。
另一個可以告知爬蟲的是 robots.txt，訪問 https://ctflearn.com/robots.txt 後看到有一個 Disallow 的頁面，也正好符合另一個提示：
What does disallow tell a robot?
訪問 robots.txt 裡面 disallow 的頁面後即可拿到本題的 flag。