Crée un serveur de partage de fichiers

contact

---

Si vous souhaitez me remonter des informations, ne pas hésiter

Intro

---

Transfer.sh permet de partager des fichiers via la commande sous windows (Invoke-RestMethod) et linux (curl) et bien d'autres (wget, http). Il est possible d'utiliser le service en ligne, ou de mettre en place un serveur au sein de votre infrastructure en local ou en ligne.
L'intérêt de le mettre en place dans votre entreprise ou sur un serveur dédié permet d'éviter le partage des fichiers sensibles sur un site externe

Voici le site de partage en question :
https://transfer.sh/

Préparation en vue d'une mise en production

---

Vous avez deux possibilités

• Compiler l'application pour en faire un exécutable que vous pourrez lancer sur un serveur sans GO, mais il faudra recompiler à chaque mise à jour
• L'utiliser avec GO qui le compilera aussi pour pouvoir l'exécuter (le langage créé par Google)

je vais détailler les deux possibilités en commençant par l'utilisation directement avec GO, puis dans la continuité, comment le compiler afin qu'il fonctionne sans prérequis sur tous les serveurs ayant la même architecture que le serveur qui la compilait

Nous allons utiliser une debian 10 et les outils seront en armv6 (GO ainsi que le programme compilé)
Si vous n'utilisez pas une architecture Arm sur votre serveur, il faudra donc choisir les outils adaptés au processeur utilisé
Les commandes seront identiques même si les architectures sont différentes (processeurs)

Mise à jour Debian 10

Commencez par installer debian 10

Mettez-le à jour

apt update && apt upgrade

&& sert à exécuter la commande suivante, si la première s'est bien déroulée

Installation des prérequis

Voici les paquets prérequis depuis une debian sous LXC

apt install curl nano git unzip gcc 

• Curl va servir pour le téléchargement de GO et du script transfert.sh.
• Git va servir à la mise en place de transfert.sh
• unzip pour extraire l'archive téléchargée
• gcc va permettre de compiler l'outil

Mise en place de GO

Allez sur le site de GO
Dans la liste un peu plus bas, télécharger la version qui correspond à votre architecture

Dans mon cas je prends le paquet suivant : go1.16.3.linux-armv6l.tar.gz, cliquez sur le lien du paquet souhaité puis copiez le lien présent dans this link en haut de la page apparue

Allez sur votre serveur et entrez la commande suivante :

curl -SLO https://golang.org/dl/go1.16.3.linux-armv6l.tar.gz

Voici l'explication des options CURL

• S affichent les erreurs
• L suit les redirections pour télécharger le fichier final
• O garde le nom proposé lors du téléchargement

Entrez la commande suivante pour extraire l'archive dans le dossier des applications

tar -C /usr/local -xzf go1.16.3.linux-armv6l.tar.gz

Vous allez ajouter l'exécutable dans les variables d'environnement du système, ça permettra de faire appel à la commande go

Entrez la commande suivante pour faire les modifications au niveau de /etc/profile (Attention sur Ubuntu la modification se fait dans /etc/environment, faite le à la main car il n'y a qu'une ligne)

sed -i "$(grep -num2 PATH /etc/profile |cut -d':' -f1 | sed -z "s+\n+,+")s+PATH=\"+PATH=\"/usr/local/go/bin:+" /etc/profile

Explication de la commande:
commençons par $(grep -num2 PATH /etc/profile |cut -d':' -f1 | sed -z "s+\n+,+")

• $() permet d'implémenter le résultat de la commande qui est insérée entre les parenthèses dans une autre commande
• grep -num2 PATH /etc/profile récupère les deux premières occurrences PATH dans /etc/profile
• cut -d':' -f1 On récupère la première colonne (-f1), le délimiteur est :
• sed -z "s+\n+,+ On remplace les retours à la ligne par une virgule. Ce qui donne les deux premières lignes contenant l'occurrence PATH affichées à la suite avec une virgule entre les deux (5,7 par exemple)
  Continuons avec la seconde partie de la commande sed -i "$(grep -num2 PATH /etc/profile |cut -d':' -f1 | sed -z "s+\n+,+")s+PATH=\"+PATH=\"/usr/local/go/bin:+" /etc/profile
• sed -i modifie le fichier concerné directement
• s+ fait une comparaison RegEx, le + remplace le / pour éviter les erreurs avec les / de la ligne à remplacer
• PATH=\"+PATH=\"/usr/local/go/bin:+" remplace les occurrences PATH=\" par PATH=\"/usr/local/go/bin:
• /etc/profile modifie le fichier indiqué

Une fois les modifications effectuées, redémarrer votre OS si vous avez modifié /etc/profile

reboot

Pour que la commande go ne soit appliquée qu'à un profil. Entrez la commande suivante

echo 'export PATH=$PATH:/usr/local/go/bin' >> ~/.profile

Après le redémarrage ou la réouverture de session, vérifier si cela fonctionne correctement

go version

Vous devriez avoir la version actuelle de GO

Téléchargement de Transfersh et essais de fonctionnement

Il y à deux façons de faire

Manuel

Allez sur le git de transfertsh pour télécharger l'archive
Cliquez sur l'icône vert (code), faite un clic droite sur download zip et copier l'URL

Sur votre serveur, tapez la commande copiée

curl -SLO https://github.com/dutchcoders/transfer.sh/archive/refs/heads/master.zip

Automatique

git clone https://github.com/dutchcoders/transfer.sh.git

dézipper l'archive

unzip master.zip

Puis entrez dans le dossier dézippé

cd transfer.sh-master/

Trouvez l'IP de la machine si vous ne l'avez pas déjà avec la commande

ip a

Testez le fonctionnement en root. La première fois ça peut prendre un certain temps, car il va télécharger tous les prérequis et compiler le programme

go run main.go --provider=local --listener :8080 --basedir=/tmp/ 

Explication de la commande

• --provider=local indique que le stockage est local
• --listener :8080 écoute sur le port 8080 ouvert à tous, si vous avez un reverse proxy sur le même serveur indiqué localhost:8080, pour que seul le serveur en local puisse y accéder
• --temp-path=/tmp/ --basedir=/tmp/ le répertoire de stockage temporaire et permanent sont /tmp/

Allez sur le navigateur de votre poste de travail et entrez l'adresse du serveur

IP:8080

Si la page de transfersh apparait, alors c'est que cela fonctionne.

Retournez sur le serveur et faites CTRL + C de votre clavier pour quitter le programme

Compiler le programme

Depuis le dossier dans lequel vous avez lancé le programme, entrez la commande suivante

go build -o transfersh main.go

Dès que vous reprenez la main sur le terminal, lancez la commande suivante pour tester le programme

./transfersh --provider=local --listener :8080 --basedir=/tmp/

Dès que le message suivant apparait listening on port: :8080, connectez-vous à IP:8080 avec un navigateur
Si tout fonctionne, retournez au terminal du serveur et faites un CTRL+C pour quitter le programme

Utilisation et essais de la version compilée de transfersh

Options disponibles pour l'application

Pour avoir toutes les options disponibles, il suffit de faire un ./transfersh --help en étant dans le dossier de l'application

Comme vous l'avez remarqué il y a beaucoup de possibilités, concentrons-nous sur les plus élémentaires
--purge-days value Nombre de jours de rétention des fichiers
--purge-interval value Nombre d'heures de rétention des fichiers
--max-upload-size value Taille maximum des fichiers envoyés (en kilooctet)
--log value Chemin du fichier log
--http-auth-user value Nom d'utilisateur pour la demande d'authentification
--http-auth-pass value Mot de passe pour la demande d'authentification
--ip-whitelist value Liste des ip autorisés a se connecter séparer avec des virgule (,)
--ip-blacklist value Liste des ip non autorisés à se connecter séparer avec des virgule (,)

1 Exécution de transfersh avec certificat autosigné (en mode local)

Pour lancer le serveur en HTTPS, il faudra générer un certificat autosigné avec les commandes suivantes

mkdir /etc/ssl/transfersh/
openssl genrsa -out /etc/ssl/transfersh/transfersh.key 2048                                                                                                   
openssl req -new -key /etc/ssl/transfersh/transfersh.key -out /etc/ssl/transfersh/transfersh.csr                                                              
openssl x509 -req -days 365 -in /etc/ssl/transfersh/transfersh.csr -signkey /etc/ssl/transfersh/transfersh.key -out /etc/ssl/transfersh/transfersh.crt

• Concernant openssl req -new -key /etc/ssl/transfersh/transfersh.key -out /etc/ssl/transfersh/transfersh.csr si l'accès au site se fait via l'IP, laissez toutes les questions par défaut sinon remplissez les valeurs, la plus importante Common Name (e.g. server FQDN or YOUR name), remplissez la avec votre nom de domaine
• chmod 400 permet de restreindre les droits au minimum sur la clé privée**
• -days 365 indique que l'on génère un certificat valide pour 1 an, vous pouvez augmenter ou réduire la durée, cela vous obligera à générer de nouveau un certificat à la fin de la validité de celui-ci
  Puis lancer le serveur avec les options SSL

./transfersh --provider=local --basedir=/tmp/ --tls-listener-only --tls-listener 0.0.0.0:443   --tls-private-key /etc/ssl/transfersh/transfersh.key --tls-cert-file /etc/ssl/transfersh/transfersh.crt

Ou avec Go

go run main.go --provider=local --basedir=/tmp/ --tls-listener-only --tls-listener 0.0.0.0:443   --tls-private-key /etc/ssl/transfersh/transfersh.key --tls-cert-file /etc/ssl/transfersh/transfersh.crt

• --tls-listener-only Force le SSL, pas de possibilité d'être connecté sans chiffrement
• --tls-listener 0.0.0.0:443 on s'ouvre à tous sur le port 443 (port https par défaut)
• --tls-private-key et --tls-cert-file indique les clés du certificat privé et public

2 Exécution de transfersh avec Lets encrypt (Accessible depuis l'extérieur)

Commencez par installer certbot

apt install certbot

Faites votre enregistrement DNS vers le serveur ou vous utiliserez transfersh

Entrez la commande suivante

certbot certonly --standalone  --agree-tos -d SOUSDOMAINE.VOTREDOMAINE --register-unsafely-without-email

Voici l'explication de la commande

• certonly ne crée que le certificat
• --standalone lance un serveur temporaire le temps de l'authentification avec les serveurs lets encrypt
• --agree-tos accepte le contrat d'utilisation
• -d SOUSDOMAINE.VOTREDOMAINE vous indiquez le domaine qui va être certifié
• --register-unsafely-without-email On ne veut pas fournir d'email

• SOUSDOMAINE.VOTREDOMAINE remplacer cela par votre domaine ou sous domaine

Puis exécuter transfersh

./transfersh --provider=local --basedir=/tmp/ --tls-listener-only --tls-listener 0.0.0.0:443   --tls-private-key /etc/letsencrypt/live/SOUSDOMAINE.VOTREDOMAINE/privkey.pem --tls-cert-file /etc/letsencrypt/live/SOUSDOMAINE.VOTREDOMAINE/fullchain.pem

Ou avec Go

go run main.go --provider=local --basedir=/tmp/ --tls-listener-only --tls-listener 0.0.0.0:443   --tls-private-key /etc/letsencrypt/live/SOUSDOMAINE.VOTREDOMAINE/privkey.pem --tls-cert-file /etc/letsencrypt/live/SOUSDOMAINE.VOTREDOMAINE/fullchain.pem

Vous voilà avec transfertsh en mode HTTPS avec des certificats fournis par lets encrypt

Mise en production

---

Je vais vous expliquer comment le mettre en production, nous allons voir les éléments suivants

• Copier l'exécutable compilé au bon endroit
• Créer un service systemd pour l'exécution au démarrage
• Attribution d'un utilisateur pour l'utilisation du service (non root)

Copie de l'exécutable

Copiez l'exécutable dans le dossier /usr/local/bin/ du serveur de production

cp transfersh /usr/local/bin/

/usr/local/bin est le répertoire dédié aux applications qui ne sont pas liées au système

Création d'un service avec systemd

Avant de créer le service, vous allez créer un utilisateur qui servira au lancement du service, le but étant de donner un minimum de droits pour éviter les risques de compromettre le serveur

Entrez la commande suivante

adduser --system --no-create-home --shell /bin/bash --disabled-password --disabled-login transfersh

Créer le fichier log pour le service

touch /var/log/transfersh.log

Vous modifiez les droits du fichier pour que l'utilisateur transfersh puisse écrire dedans

chown transfersh /var/log/transfersh.log

Maintenant, vous allez créer le service systemd

 nano /etc/systemd/system/transfersh.service

1 En extérieur, SSL avec lets encrypt

[Unit]
Description=Transfersh permet l'envoi de fichiers en ligne de commande
After=network-online.target

[Service]
Type=simple
User=transfersh
UMask=077

ExecStart=/usr/local/bin/transfersh --provider=local --basedir=/tmp/ --tls-listener-only --tls-listener 0.0.0.0:443  --tls-private-key /etc/ssl/transfersh/privkey1.pem --tls-cert-file /etc/ssl/transfersh/fullchain1.pem --purge-days 6 --max-upload-size 1000000 --log /var/log/transfersh.log                                                               

Restart=on-failure

# Configures the time to wait before service is stopped forcefully.
TimeoutStopSec=300

[Install]
WantedBy=multi-user.target

After=network-online.target démarre après le service indiqué, dans notre cas après le lancement de l'interface ethernet
UMask=077 Indique le masque des fichiers créés, ça sera 700 car on indique le masque d'annulation, donc 777 - 077 = 700
ExecStart= La commande à exécuter
Restart=on-failure redémarre en ça d'échec du lancement
TimeoutStopSec=300 temps avant arrêt forcé du service (cas de l'arrêt du serveur par exemple)
WantedBy=multi-user.target fonctionne que lors du démarrage du système en mode multiuser

Donner les droits au fichier de certificat

Nous allons déplacer les certificats lets encrypt pour permettre à l'utilisateur transfersh d'y accéder

cp /etc/letsencrypt/archive/dependancenum.fr/{fullchain1.pem,privkey1.pem} /etc/ssl/transfersh/

Puis nous modifions les droits de l'utilisateur pour que transfersh puisse accéder aux clés

chown -R transfersh /etc/ssl/transfersh

Vous allez attribuer les droits d'écriture et lecture et d'exécution au dossier transfersh

chmod 700 /etc/ssl/transfersh/

Nous donnons les droits minimums à la clé privés

chmod 400 /etc/ssl/transfersh/privkey1.pem

Automatiser le renouvèlement

Ajouter la ligne suivante dans /etc/cron.d/certbot, cette ligne va vérifier le checksum des certificats public (celui de lets encrypt et celui copié), et s'il y a une différence, c'est que le certificat a changé. Ainsi il copie les nouveaux et modifier les droits utilisateurs sur les certificats copiés

5 */12 * * * root if [ $(md5sum /etc/letsencrypt/archive/dependancenum.fr/fullchain1.pem|awk -F " " '{print $1}') = $(md5sum /etc/ssl/transfersh/fullchain1.pem|awk -F " " '{print $1}') ]; then echo "certificats vérifié et à jour" >> /var/log/transfersh.log; else systemctl stop transfersh && cp -f /etc/letsencrypt/archive/dependancenum.fr/{fullchain1.pem,privkey1.pem} /etc/ssl/transfersh/ && chown -R transfersh /etc/ssl/transfersh && chmod 400 /etc/ssl/transfersh/{fullchain1.pem,privkey1.pem} && systemctl start transfersh && echo "certificat remplacé" >> /var/log/transfersh.log; fi

2 En intérieur, avec ou sans SSL sur le port 80 ou 443 en modifiant la ligne à exécuter

[Unit]
Description=Transfersh permet l'envoi de fichiers en ligne de commande
After=network-online.target

[Service]
Type=simple
User=transfersh
UMask=077

ExecStart=/usr/local/bin/transfersh --provider=local --basedir=/tmp/ --listener 0.0.0.0:80 --purge-days 6 --max-upload-size 1000000 --log /var/log/transfersh.log                                                               
OU
ExecStart=/usr/local/bin/transfersh --provider=local --basedir=/tmp/ --tls-listener-only --tls-listener 0.0.0.0:443   --tls-private-key /etc/ssl/transfersh/transfersh.key --tls-cert-file /etc/ssl/transfersh/transfersh.crt

Restart=on-failure
TimeoutStopSec=300

[Install]
WantedBy=multi-user.target     

Modifier les droits des certificats

chown -R transfersh:root /etc/ssl/transfersh/
chmod 700 /etc/ssl/transfersh/
chmod 400 /etc/ssl/transfersh/transfersh.key

• chown transfersh Va permettre à l'utilisateur transfersh d'utiliser les clés pour la mise en production
• -R veut dire récursif, il va donc modifier les droits des sous-dossiers du dossier indiqué
• chmod 700 Permet à transfersh de pouvoir écrire, lire et exécuter dans le dossier
• chmod 400 donne le droit de lecture à transfersh uniquement

Automatiser le renouvèlement de certificat

Pour automatiser le renouvellement du certificat, nous allons vérifier la validité de celui-ci, si il n'est plus valide alors il crée un nouveau certificat

Ajouter cela à /etc/crontab

5 */12 * * * root if true | openssl s_client -connect 127.0.0.1:443 2>/dev/null |  openssl x509 -noout -checkend 0; then echo "Certificat encore valide" >> /var/log/transfersh.log; else echo "Certificat expiré, actualisation du certificat le $(date '+%d/%m/%Y %r') pour 1 an" >> /var/log/transfersh.log &&  systemctl stop transfersh && rm /etc/ssl/transfersh/transfersh.crt && openssl x509 -req -days 365 -in /etc/ssl/transfersh/transfersh.csr -signkey /etc/ssl/transfersh/transfersh.key -out /etc/ssl/transfersh/transfersh.crt && systemctl start transfersh; fi

Ouverture de port CAPABILITIES

Comme vous allez lancer votre service avec un utilisateur système sur le port 443 ou 80. Il va falloir l'autoriser à écouter sur l'un de ces ports

Vous allez donner les droits à l'application transfersh uniquement sur la partie ouverture de port, cela à tous les utilisateurs (cela peut être appliqué à un utilisateur si besoin)

setcap cap_net_bind_service=pe `which transfersh`

On affiche les droits capabilities appliqués à transfersh, vous devriez avoir la ligne suivante : /usr/local/bin/transfersh = cap_net_bind_service+ep

getcap `which transfersh`

Activez le service

systemctl enable transfersh

On lance le service

systemctl start transfersh

Commande pour envoyer des fichiers

---

Sous Windows voici la commande à entrer

Pour connaitre la version de Powershell que vous avez, ouvrez Powershell et entrer la commande suivante

$PsVersionTable

Allez sur ce lien pour mettre à jour votre version de Powershell, télécharger la version stable powershell

Dans le cas d'un certificat autosigné, entrez la commande suivante pour uploader votre fichier

Invoke-RestMethod -SkipCertificateCheck -Method PUT -InFile .\fichier -Uri https://IPSRV/fichier

Si vous avez mis en place un certificat lets encrypt, Vous utiliserez la commande suivante

Invoke-RestMethod -Method PUT -InFile .\fichier -Uri https://IPSRV/fichier

Sous Linux voici la commande avec un certificat délivré par lets encrypt

curl --upload-file ./hello.txt https://IPSRV/hello.txt

Sous Linux voici la commande avec un certificat autosigné

curl -k --upload-file ./hello.txt https://IPSRV/hello.txt

• -k permet de ne pas faire attention aux erreurs liées au certificat

Les autres options sont disponibles sur le Github

SOURCES

https://gist.github.com/r4dian/47c60f43fcfc68059cbe
https://github.com/dutchcoders/transfer.sh
https://www.digitalocean.com/community/tutorials/how-to-install-go-on-debian-10
https://golang.org/doc/install?download=go1.16.3.linux-armv6l.tar.gz
https://transfer.sh/
https://connect.ed-diamond.com/GNU-Linux-Magazine/GLMF-164/Les-capabilities-sous-Linux
https://sametmax.com/ecouter-sur-le-port-80-sans-etre-root/
https://doc.ubuntu-fr.org/creer_un_service_avec_systemd
https://ubuntuplace.info/questions/389535/how-do-you-add-cap-sys-admin-permissions-to-user-in-centos-7
https://pelicanux.net/blog/2018/07/19/durcissement-systeme-avec-les-capabilities-linux/
https://stackoverflow.com/questions/1956732/is-it-possible-to-configure-linux-capabilities-per-user
https://doc.ubuntu-fr.org/acl
https://ubuntuplace.info/questions/313612/script-to-check-if-ssl-certificate-is-valid
https://github.com/PowerShell/PowerShell
https://docs.microsoft.com/en-us/powershell/module/microsoft.powershell.utility/invoke-restmethod?view=powershell-7.1
https://unix.stackexchange.com/questions/60750/does-curl-have-a-no-check-certificate-option-like-wget