파일 다운로드를 보다 간편하고 효율적으로 수행할 수 있는 방법 중 하나는 wget을 사용하는 것입니다. wget은 복잡한 다운로드 상황을 쉽게 제어할 수 있는 강력한 도구로, 다양한 옵션을 통해 사용자의 필요에 맞춘 다운로드를 지원합니다. 아래에서는 wget의 주요 기능과 활용법을 소개합니다.
기본 다운로드 기능
단일 파일 다운로드
wget을 사용하여 간단하게 단일 파일을 다운로드할 수 있습니다. 아래 명령어를 입력하면 현재 디렉토리에 파일이 저장됩니다.
$ wget DOWNLOAD-URL
다운로드 진행 중에는 현재 다운로드 상태가 표시됩니다. 예를 들어, 다운로드 완료 비율, 현재까지 받은 바이트 수, 다운로드 속도 및 남은 시간 정보를 확인할 수 있습니다.
파일 이름 변경
기본적으로 wget은 다운로드할 파일의 URL에서 마지막 슬래시 이후의 문자열을 파일 이름으로 사용합니다. 이는 때때로 예상치 못한 파일 이름을 생성할 수 있습니다. 이 경우 -O 옵션을 사용하여 원하는 이름으로 저장할 수 있습니다.
$ wget -O 원하는파일이름.zip DOWNLOAD-URL
다운로드 속도 및 상태 조절
다운로드 속도 제한
대량의 파일을 다운로드할 때 대역폭을 조절하고 싶다면 --limit-rate 옵션을 사용하여 다운로드 속도를 제한할 수 있습니다. 예를 들어, 다운로드 속도를 200KB로 제한하려면 다음과 같이 입력합니다.
$ wget --limit-rate=200k DOWNLOAD-URL
이어받기
다운로드 중 중단된 경우 -c 옵션을 사용하여 이전 다운로드의 이어받기를 할 수 있습니다. 이 기능은 대용량 파일 다운로드에 유용합니다.
$ wget -c DOWNLOAD-URL
백그라운드 다운로드
대용량 파일을 다운로드할 때는 백그라운드에서 작업을 실행하는 것이 유리합니다. -b 옵션을 사용하면 다운로드 작업을 백그라운드에서 실행할 수 있습니다.
$ wget -b DOWNLOAD-URL
이 경우 다운로드 진행 상황은 wget-log 파일에 기록됩니다.
고급 기능
사용자 에이전트 정보 전송
일부 웹사이트는 브라우저가 아닌 요청을 차단할 수 있습니다. 이때 --user-agent 옵션을 통해 브라우저와 유사한 정보를 전송할 수 있습니다.
$ wget --user-agent="Mozilla/5.0 ..." DOWNLOAD-URL
다운로드 가능 여부 확인
원하는 파일이 존재하는지 확인하려면 --spider 옵션을 사용할 수 있습니다. 이 명령어는 링크의 유효성을 검사합니다.
$ wget --spider DOWNLOAD-URL
여러 파일 다운로드 및 웹사이트 미러링
여러 파일 다운로드
여러 개의 파일을 다운로드하고자 할 때는 다운로드 링크를 나열한 파일을 만들어 -i 옵션을 통해 다운로드를 진행할 수 있습니다.
$ wget -i urls.txt
전체 웹사이트 다운로드
전체 웹사이트를 로컬에 다운로드하고 싶다면 다음과 같이 명령어를 입력하면 됩니다.
$ wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
기타 유용한 옵션
파일 형식 제외
특정 파일 형식을 제외하고 다운로드하고자 한다면 --reject 옵션을 사용할 수 있습니다.
$ wget --reject=gif WEBSITE-URL
로그 파일 생성
다운로드 중 발생한 에러를 로그 파일에 기록하려면 -o 옵션을 사용하여 로그 파일의 위치를 지정합니다.
$ wget -o download.log DOWNLOAD-URL
자주 묻는 질문
질문1: wget으로 다운로드 가능한 파일 크기에 제한이 있나요?
답변: wget은 기본적으로 파일 크기에 제한이 없지만, 특정 옵션을 사용하여 다운로드할 수 있는 파일 크기를 제한할 수 있습니다.
질문2: wget을 사용하여 FTP 서버에서 파일을 다운로드할 수 있나요?
답변: 네, wget은 FTP 다운로드를 지원하며, 인증이 필요한 경우 사용자 이름과 비밀번호를 입력하여 다운로드할 수 있습니다.
질문3: 다운로드 중에 인터넷 연결이 끊기면 어떻게 하나요?
답변: -c 옵션을 사용하여 중단된 다운로드를 이어받을 수 있습니다.
질문4: 웹사이트를 미러링할 때 주의할 점은 무엇인가요?
답변: 미러링 시 웹사이트의 로봇 배제 표준을 확인하고, 웹사이트의 서버에 과부하를 주지 않도록 주의해야 합니다.
질문5: wget 로그 파일은 어디서 확인하나요?
답변: 백그라운드 다운로드 시 생성된 wget-log 파일에 다운로드 진행 상황이 기록됩니다.
이전 글: 인천 지역 일반음식점 현황