User-agent: *
Allow: /

# ❌ 로그인 / 사용자 / 세션 관련 차단
Disallow: /member/
Disallow: /session/
Disallow: /session_init.php
Disallow: /session_init_dothome.php

# ❌ 관리자 / 내부 기능
Disallow: /myadmin/
Disallow: /config.inc.php
Disallow: /dbcon.php

# ❌ 테스트 / 개발 파일
Disallow: /test/
Disallow: /test.php
Disallow: /info.php
Disallow: /phpinfo.php

# ❌ 업로드 내부 구조 (필요시)
Disallow: /fileupload/

# ❌ 메일 시스템 (외부 노출 불필요)
Disallow: /roundcubemail/

# ✔ 사이트맵 (있으면 추가)
Sitemap: https://ikjinan.kro.kr/sitemap.xml

🔍 ✔ 이 설정의 핵심 전략 1️⃣ 검색엔진은 최대한 열어준다   Allow: /

👉 전체 공개 → SEO 기본

2️⃣ 하지만 “쓸데없는 페이지”는 차단

예:

• 로그인 페이지
• 관리자 페이지
• 세션 처리 파일
• DB 연결 파일

👉 이유:

• 검색에 필요 없음
• 보안에도 도움됨
• SEO 점수 깎이는 것 방지

3️⃣ 테스트 파일 차단 (이거 중요 ⚠️)

지금 목록 보니까:

• phpinfo.php
• test.php
• info.php

👉 이건 반드시 차단 맞습니다
(외부 노출되면 서버 정보 다 털림)

⚠️ 중요한 오해 하나

👉 robots.txt는 보안 기능이 아닙니다

• 검색엔진에게 “오지마”라고 말하는 것뿐
• 해커는 그냥 들어옵니다

👉 그래서 같이 해야 할 것:

• .htaccess 또는 nginx 차단
• PHP 파일 접근 제한

🚀 ✔ 추가하면 좋은 것 (SEO 상승) 1️⃣ sitemap.xml 만들기   Sitemap: https://ikjinan.kro.kr/sitemap.xml

👉 검색엔진이 페이지 더 잘 찾음

2️⃣ robots.txt 위치

👉 반드시 여기에 있어야 합니다:

  /var/www/html/robots.txt

👉 접속 확인:

  https://ikjinan.kro.kr/robots.txt ✔ 정리

• Allow: / → 기본 공개
• 민감/쓸데없는 경로만 Disallow
• robot.txt는 삭제
• robots.txt만 유지