9 Command Line Tools for Browsing Websites and Downloading Files in Linux
In the last article, we have covered few useful tools like ‘rTorrent‘, ‘wget‘, ‘cURL‘, ‘w3m‘, and ‘Elinks‘. We got lots of responses to cover few other tools of the same genre, if you’ve missed the first part you can go through it.
This article aims to make you aware of several other Linux command Line browsing and downloading applications, which will help you browse and download files within the Linux shell.
1. links
Links is an open-source web browser written in C programming Language. It is available for all major platforms viz., Linux, Windows, OS X, and OS/2.
This browser is text-based as well as graphical. The text-based links web browser is shipped by most of the standard Linux distributions by default. If links not installed in your system by default you may install it from the repo. Elinks is a fork of links.
$ sudo apt install links (on Debian, Ubuntu, & Mint) $ sudo dnf install links (on Fedora, CentOS & RHEL) $ sudo pacman -S links (on Arch and Manjaro) $ sudo zypper install links (on OpenSuse)
After installing links, you can browse any websites within the terminal as shown below in the screencast.
Use UP and DOWN arrow keys to navigate. The right arrow Key on a link will redirect you to that link and the Left arrow key will bring you back to the last page. To QUIT press q.
Here is how it seems to access Tecmint using the links tool.
If you are interested in installing the GUI of links, you may need to download the latest source tarball (i.e. version 2.22) from http://links.twibright.com/download/.
Alternatively, you may use the following wget command to download and install as suggested below.
$ wget http://links.twibright.com/download/links-2.22.tar.gz $ tar -xvf links-2.22.tar.gz $ cd links-2.22 $ ./configure --enable-graphics $ make $ sudo make install
Note: You need to install packages (libpng, libjpeg, TIFF library, SVGAlib, XFree86, C Compiler and make), if not already installed to successfully compile the package.
2. links2
Links2 is a graphical web browser version of Twibright Labs Links web browser. This browser has support for mouse and clicks. Designed especially for speed without any CSS support, fairly good HTML and JavaScript support with limitations.
To install links2 on Linux.
$ sudo apt install links2 (on Debian, Ubuntu, & Mint) $ sudo dnf install links2 (on Fedora, CentOS & RHEL) $ sudo pacman -S links2 (on Arch and Manjaro) $ sudo zypper install links2 (on OpenSuse)
To start links2 in command-line or graphical mode, you need to use the -g an option that displays the images.
$ links2 tecmint.com OR $ links2 -g tecmint.com
3. lynx
A text-based web browser released under GNU GPLv2 license and written in ISO C. lynx is a highly configurable web browser and Savior for many sysadmins. It has the reputation of being the oldest web browser that is being used and still actively developed.
To install lynx on Linux.
$ sudo apt install lynx (on Debian, Ubuntu, & Mint) $ sudo dnf install lynx (on Fedora, CentOS & RHEL) $ sudo pacman -S lynx (on Arch and Manjaro) $ sudo zypper install lynx (on OpenSuse)
After installing lynx, type the following command to browse the website as shown below in the screencast.
If you are interested in knowing a bit more about links and lynx web browser, you may like to visit the below link:
4. youtube-dl
youtube-dl is a platform-independent application that can be used to download videos from youtube and a few other sites. Written primarily in python and released under GNU GPL License, the application works out of the box. (Since youtube doesn’t allow you to download videos, it may be illegal to use it. Check the laws before you start using this.)
To install youtube-dl in Linux.
$ sudo apt install youtube-dl (on Debian, Ubuntu, & Mint) $ sudo dnf install youtube-dl (on Fedora, CentOS & RHEL) $ sudo pacman -S youtube-dl (on Arch and Manjaro) $ sudo zypper install youtube-dl (on OpenSuse)
After installing, try to download files from the Youtube site, as shown in the below screencast.
$ youtube-dl https://www.youtube.com/watch?v=ql4SEy_4xws
If you are interested in knowing more about youtube-dl you may like to visit the below link:
5. fetch
fetch is a command-line utility for a Unix-like operating system that is used for URL retrieval. It supports a lot of options like fetching ipv4 only address, ipv6 only address, no redirect, exit after successful file retrieval request, retry, etc.
Fetch can be Downloaded and installed from the link below
But before you compile and run it, you should install HTTP Fetcher. Download HTTP Fetcher from the link below.
6. Axel
Axel is a command-line-based download accelerator for Linux. Axel makes it possible to download a file at a much faster speed through a single connection request for multiple copies of files in small chunks through multiple http and FTP connections.
To install Axel in Linux.
$ sudo apt install axel (on Debian, Ubuntu, & Mint) $ sudo dnf install axel (on Fedora, CentOS & RHEL) $ sudo pacman -S axel (on Arch and Manjaro) $ sudo zypper install axel (on OpenSuse)
After axel installed, you may use the following command to download any given file, as shown in the screencast.
$ axel https://releases.ubuntu.com/20.04.2.0/ubuntu-20.04.2.0-desktop-amd64.iso
7. aria2
aria2 is a command-line-based download utility that is lightweight and supports multi-protocol (HTTP, HTTPS, FTP, BitTorrent, and Metalink). It can use meta link files to simultaneously download ISO files from more than one server. It can serve as a Bit torrent client as well.
To install aria2 in Linux.
$ sudo apt install aria2 (on Debian, Ubuntu, & Mint) $ sudo dnf install aria2 (on Fedora, CentOS & RHEL) $ sudo pacman -S aria2 (on Arch and Manjaro) $ sudo zypper install aria2 (on OpenSuse)
Once aria2 installed, you can fire up the following command to download any given file…
$ aria2c https://releases.ubuntu.com/20.04.2.0/ubuntu-20.04.2.0-desktop-amd64.iso
If you’re interested to know more about aria2 and its switches, read the following article.
8. w3m
w3m is another open-source text-based web browser very similar to lynx, which runs on a terminal. It uses emacs-w3m an Emacs interface for w3m to browse websites within the emacs interface.
To install w3m in Linux.
$ sudo apt install w3m (on Debian, Ubuntu, & Mint) $ sudo dnf install w3m (on Fedora, CentOS & RHEL) $ sudo pacman -S w3m (on Arch and Manjaro) $ sudo zypper install w3m (on OpenSuse)
After installing w3m, fire up the following command to browse the website as shown below.
9. Browsh
Browsh is a modern text-based browser that shows anything like a modern browser does such as HTML5, CSS3, JS, video, and even WebGL. Its major role is to be run on a remote server via SSH or Mosh and browse the web pages as text from the terminal by significantly reducing bandwidth and increase browsing speed.
It means the server downloads the web pages and utilizes the minimum bandwidth of an SSH connection to show the web page results. However, standard text-based browsers lack JS and all other HTML5 support.
To install Browsh on Linux, you need to download a binary package and install it using the package manager.
That’s all for now. I’ll be here again with another interesting topic you people will love to read. Till then stay tuned and connected to Tecmint. Don’t forget to provide us with your valuable feedback in the comments below. Like and share us and help us get spread.
Wget / cURL / Axel / Aria2
В GNU / Linux системах существует два вида менеджеров загрузок: консольные и графические. Большинство графических менеджеров загрузок это просто графические оболочки к консольным утилитам.
Интерфейс командной строки (также известен под названием консоль) — разновидность текстового интерфейса (CUI) между человеком и компьютером, в котором инструкции компьютеру даются в основном путём ввода с клавиатуры текстовых строк (команд) , возможно применение и мыши. Формат вывода информации в интерфейсе командной строки не регламентируется, обычно это простой текстовый вывод, но может быть графическим и звуковым.
Интерфейс командной строки применяется по причинам небольшого расхода памяти, удобства набора команд (при условии что пользователь знает эту команды) осуществляющийся гораздо быстрее, чем навигация по меню, так же имеется большое число команд которые нужны крайне редко. Консоль позволяет обращаться к командам для разных исполнимых файлов почти мгновенно и непосредственно, тогда как в GUI приходится сначала запускать, а затем закрывать графический интерфейс для каждого исполнимого файла. И умелое сочетание интерфейса командной строки с графическим интерфейсом предоставляет пользователю очень мощные возможности.
Wget — не-интерактивная (после запуска пользователь не может повлиять на её работу) консольная программа для загрузки файлов по сети (включена почти во все Linux-дистрибутивы) . Поддерживаются протоколы HTTP, FTP и HTTPS, а также поддерживается работа через HTTP прокси-сервер. Позволяет загружать любые файлы (в том числе и (X)HTML-страницы) по протоколам http и https, а также файлы и списки директорий по протоколу ftp. Поддерживает докачку файла в случае обрыва соединения, загрузку URL, указанных в файле (можно составить список файлов, а в любое удобное время скачать их с помощью wget) .
Файлы можно скачивать рекурсивно по ссылкам в html страницах, как с одного сайта с определённой глубиной следования по ссылкам, так и с нескольких. Помимо этого, при загрузке по ftp файлы можно скачивать «по маске» имени (то есть можно задавать с помощью «*» группу файлов).
Wget создавался как универсальный инструмент для получения файлов из Интернет и полностью отвечает своему предназначению.
Лицензия: GNU GPL
cURL — это клиент для загрузки файлов с серверов посредством любых поддерживаемых протоколов. Он может работать как без взаимодействия с пользователем, так и с любым уровнем интерактивности (имеется возможность влиять на работу программы после запуска) .
cURL предлагает набор таких полезных функций, как поддержка работы через прокси-сервер, аутентификация, загрузка данных на ftp-сервер, выполнение запросов HTTP post, возобновление загрузки файла после её прерывания и многое другое.
Лицензия: MIT
Axel консольный менеджер загрузок с расширенными возможностями. Имеется скачивание файла в несколько потоков, поддержка зеркал для одновременного скачивания одного файла из разных источников и многое другое.
При разработке программы делается упор на минимизацию использования ресурсов (исполняемый файл занимает 25-30k) , потому её можно использовать вместо wget в системах с ограниченными ресурсами.
Aria2 консольный менеджер загрузок с поддержкой HTTP/HTTPS/FTP/BitTorrent и скачиванием в несколько потоков. Aria2 имеет ряд полезных возможностей таких как: продолжение загрузки после обрыва, поддержки BitTorrent и Metalink, загрузки по сегментам, загрузки одного файла с нескольких серверов (BitTorrent, HTTP/FTP) , одновременной загрузки нескольких файлов, автоматического исправления ошибок для BitTorren t и Metalink и многое другое.
Aria2 больше предназначена для объемных загрузок, её разрабатывает и поддерживает Тацуширо Цуджикава . Подробнее о работе программы можно узнать на странице руководства Aria2 (man aria2c) .