HOAB

History of a bug

Raspberry as network monitor

Rédigé par gorki Aucun commentaire

Problem :

I built a network monitoring solution following this guides :

Truly, a great job.

But I has build the solution at home for another network, I would like that my raspberry start and monitor at boot. And I missed in the comments or text a few thing.

Solution :

I created services as described in the comment for prometheus, add another for the tcpdump. Don't forget prometheus working directory in this configuration (no specific user for prometheus).
 

[Unit]
Description=Prometheus
After=tcpdump.service

[Service]
User=pi
Group=pi
Type=simple
WorkingDirectory=/home/pi/prometheus/prometheus-2.23.0.linux-armv7
ExecStart=/home/pi/prometheus/prometheus-2.23.0.linux-armv7/prometheus \
    --config.file /home/pi/prometheus/prometheus.yml

[Install]
WantedBy=multi-user.target
/etc/systemd/system/tcpdump.service

[Unit]
Description=TCPDump service for traffic monitoring
After=network-online.target
[Service]
Type=idle
ExecStart=python3 /home/pi/network-traffic-metrics/network-traffic-metrics.py "(src net 192.168.10.0/24 and not dst net 192.168.10.0/24) or (dst net 192.168.10.0/24 and not src net 192.168.10.0/24)"
[Install]
WantedBy=default.target

But I had some network issues :

First, disable dhcpcd and install isc-dhcp-server

In my case, I keep dhcpcd as it mount the network interfaces eth0 & eth1. I also put a no gateway on eth0 (my lan part)

My dhcpcd.conf configuration for interfaces :


interface eth1
static ip_address=192.168.1.10
static routers=192.168.1.1
static domain_name_servers=1.1.1.1
static domain_search=1.1.1.1

interface eth0
static ip_address=192.168.10.1
static routers=192.168.10.1
static domain_name_servers=1.1.1.1
static domain_search=1.1.1.1
nogateway

But with this configuration, at boot :

  • isc-dhcp-server and tcpdump

were not started because eth0 was not up or plugged. In my case, I could plug eth0 later.

So I took a while, but I found the network hook that works (forget all /etc/network thing, dhcpcd do not use it).

Create a file (not a directory...) called /etc/dhcpcd.exit-hook with

#!/bin/bash

if [ "$interface" = "eth0" & "$reason" = "STATIC" & "$if_up" = "true" ]
then
	systemctl start tcpdump
	systemctl start isc-dhcp-server.service
fi 

And all is starting when eth0 is going up.

Upgrade debian et lost network

Rédigé par gorki Aucun commentaire

Problem :

I manage a dedicated server in OVH and I upgrade my debian from jessie to buster. Upgrade works quite well (it seems...) and I try to restart.

Server reboot fails as unreachable, fortunately OVH rescue mode allows me to login.

I check error log and first lost myself in RAID error message, but it was more simple than that.

Solution :

I check the /etc/network/interfaces file, it was OK

I check the logs files, clean, reboot, check again, still OK except that network was unreachable for named.

I finally remember that Debian switch to systemD in latest version so I tried to create system networking file manually : too complicate, it was not working.

In rescue mode, you can access your files as a mounted point so usual commands as systemctl does not work.

The solution was to chroot a shell :

  1. mkdir /mnt/md2
  2. mount /dev/md2 /mnt/md2
  3. chroot /mnt/md2 bash
  4. systemctl enable networking

And it works...

Now I have to check all other system to be sure that everything is working...

Begining with :

sudo apt-get update

sudo apt-get clean

sudo apt-get autoremove

sudo apt-get update && sudo apt-get upgrade

sudo dpkg --configure -a

 

Montage Samba et erreurs à côté de la plaque

Rédigé par gorki Aucun commentaire

Le problème :

Dans deux cas, j'exécute la commande mount via ansible pour monter un partage samba sur deux clients Linux.

Dans les deux cas, le montage est en échec pour cause :

  • soit "CIFS VFS: validate protocol negotiate failed: -13"
  • soit "CIFS VFS: BAD_NETWORK_NAME"

Solution :

Les erreurs venaient à chaque fois de ma configuration Samba côté serveur.

Les tests que j'ai réalisé pour retrouver la cause :

  1. Tester le montage du partage à partir de Windows (j'obtenais la même erreur : le problème vient du serveur)
  2. A partir des linux : smbclient -L <monserveur> -A /path/to/mycredentials
    • ça, ça marchait dans 1 cas, dans l'autre cas, le nom du partage était mauvais : tilt ! (n°1)
  3. Avec le user samba, je suis aller dans le répertoire partagé pour vérifier que j'avais bien les droits
    • et là ça ne marchait pas pour le 2ème cas (negociation failed)

Après avoir remis les droits pour l'un, corrigé mon template ansible pour l'autre, tout marche.

Pour info la configuration mis en place :

[global]
  workgroup = SAMBA
  security = user
  unix password sync = no
  log file = /var/log/samba/log.%m
  guest account = {{samba_user.user}}
  force group = {{samba_user.group}}
  force user = {{samba_user.user}}
  create mode = 0660
  directory mode = 0770

[myshare]
  path={{samba_share.export_path}}
  public=yes
  valid users={{samba_user.user}}
  writable=yes
  browseable = yes
  force create mode = 0660
  force directory mode = 0770

Et pour autoriser les users à se connecter via leur compte unix et toujours autoriser ce user générique à accéder aux fichiers :

# Ensure all files are owned by {{ samba_user.user }}
  shell: "chown -R {{ samba_user.user }}:{{ samba_user.group }} {{samba_share.export_path}}" 

# Ensure sticky bit is present on all directories
  shell: "find {{ samba_share.export_path }} -type d -exec chmod g+s {} +" 

# Add default rw for default group on {{ samba_share.export_path }}
  shell: "setfacl -m d:g::rwx {{ samba_share.export_path }}" 

# Add default rw for default group on subdirectories
  shell: "find {{ samba_share.export_path }} -type d -exec setfacl -m d:g::rwx {} +" 

Merci à eux :

https://superuser.com/questions/381416/how-do-i-force-group-and-permissions-for-created-files-inside-a-specific-directo
https://lea-linux.org/documentations/Gestion_des_ACL

Déployer des OVA Virtualbox vers un VCenter

Rédigé par gorki Aucun commentaire

Le problème :

J'ai des VM imposantes de 45Go à 100Go (ne me demandez pas pourquoi, c'est une contrainte externe...). Je les utilisais localement sous Virtualbox.

J'utilisais Virtualbox car celui-ci s'intégre mieux à mon Linux que VMWare qui nécessitait une recompilation avec une version GCC obsolète, un peu galère.

Les VM ont été transférées par l'hébergeur directement sur l'ESXi sur l'espace de stockage, au format OVA.

Le problème a été lors du déploiement de ces OVA en local sur l'ESXi, je devrais dire LES problèmes....

Solution :

Cela a été un peu long car je ne connaissais rien à VCenter (le manager de ESXi).

D'abord il faut savoir que c'est un OS, donc pas d'accès SSH pour aller voir ce qui se passe (enfin, voir la suite, ce n'est pas tout à fait vrai !)

1) Déployer OVA depuis le local store de l'ESXi

Bon ce n'est pas possible. Le client demande une URL et pas un chemin "local"

2) Webbrowser du local store (ne marche pas)

Malin le singe ! Le local store a un webbrowser : http://<ip esxi>/folder/ (d'ailleurs décrit ici par exemple)
Donc on redémarre le déploiement en indiquant une adresse en

http://172.16.29.100/folder/test/toto.ova?dcPath=ha%2ddatacenter&dsName=data

Le problème ici est que vu la taille des VM ou le serveur HTTP associé, on obtient au bout de quelques temps une erreur 503.

3) Format OVA Virtualbox non supporté

Alors avant de tomber sur l'erreur 503, VSphere a eu le temps d'analyser l'OVA pour indiquer que :

- le system est inconnu (normal virtualbox) : remplacer par vmware
- l'interface disque est inconnue (normal SATA alors que SCSI sur le serveur) : remplacer par du SCSI
- la carte son est inconnue (normal aussi, le serveur n'a pas le temps de jouer de la musique)i : supprimer la section

Pour corriger ça, c'est simple, c'est décrit à plusieurs endroits (ici, ) : il faut modifier l'OVF. Rappel dans l'OVA il y a un disque un VMDK + un descripteur l'OVF.

Donc modifier l'OVF. Qui est sur l'ESXi. Dans un OVA que je ne peux pas télécharger et uploader car trop gros. Easy (décrit ici):

  1. ouvrir l'accès SSH VSphere pour un utilisateur,
  2. transférer 7z portable,
  3. dézipper l'OVA avec 7z
  4. modifier le fichier OVF.

Petite astuce pour savoir où sont stocké les VMDK / OVA :

  1. accès SSH
  2. find . -name "*ova"

4) Recréer une VM à partir du VMDK (ne marche pas)

J'ai essayé de créer une nouvelle VM vierge en utilisant un disque VMDK existant.

Outre le fait qu'on ne peut sélectionner le VMDK que si un descripteur VMDK est recréé (méthode ici) au final la VM ne démarre pas. Un boot avec une iso GParted montre un disque vide. Le descripteur VMDK ne doit pas être correct pourtant monsieur ! je jure ! j'ai tout fait comme il faut !

5) Déploiement final

L'OVF est modifié, il reste à avoir un serveur HTTP digne de ce nom pour servir l'image au VCenter.

Sur le serveur j'avais déjà une VM existante... Donc :

  1. on transfère l'OVF et le VMDK sur la VM existante
  2. qui est trop petite, donc on l'agrandit avec un disque supplémentaire
  3. on créé les volume group, logical volum et filesystem sous linux
  4. on retransfère l'OVF et le VMDK dans un répertoire qui a de la place
  5. on démarre un serveur python dans ce répertoire :
python -m SimpleHTTPServer
  1. dans le vClient on donne l'adresse IP de la VM : http://<ip VM>:8000/monfichier.ovf
  2. et ça déploie.... pas. Enfin si mais lentement. Parce que même si la VM et l'ESXi sont dans le même sous réseau on passe par le poste du vClient... en ADSL...
  3. donc nouvelle VM (ou la même) : installation du vClient dans le même sous réseau et on utilise le vClient dans le même sous réseau

VICTORY.... Argh.... ça été dur.

Zabbix et monitoring - configurer le monitoring

Rédigé par gorki Aucun commentaire

Le problème :

La suite de cet article : http://hoab.fr/zabbix-et-monitoring-installation

Solution :

On a zabbix qui tourne et ensuite ?

Astuce générale : le bouton Refresh / Actualiser = Sauvegarder la configuration...

Plein de petites choses :

  • ajouter un agent sur une machine (la même ou une distante)
  • créer un serveur à monitorer : Configuration > Hôtes
  • lui ajouter des templates (des listes de choses à surveiller) Hôte > monHôteAMoi > Templates
  • pour mysql, vérifier que les métriques remontent bien depuis l'agent. Sur la machine qui héberge l'agent :
    • créer le user zabbix qui peut observer la base :
mysql -uroot -p -e"GRANT USAGE ON *.* TO 'zabbix'@'127.0.0.1' IDENTIFIED BY '123456'";
mysql -uroot -p -e"GRANT USAGE ON *.* TO 'zabbix'@'localhost' IDENTIFIED BY '123456'";
mysql -uroot -p -e"flush privileges"
mysql -uzabbix -p123456 -e"status"
  • continuer sur la machine qui héberge l'agent :
    • vérifier qu'il y a un fichier : /etc/zabbix/zabbix_agentd.d/userparameter_mysql.conf
    • pour ajouter des choses spéciques à la connexion au serveur mysql, ce que j'ai trouvé le mieux c'est un script spécifique
    • dans le userparameter_mysql.conf
UserParameter=mysql.status[*],echo "show global status where Variable_name='$1';" | /home/admin/monitortools/zabbix/mysql_zabbix.sh -N | awk '{print $$2}'
  • toujours pour mysql, sur le serveur qui héberge l'agent
    • dans le fichier /home/admin/monitortools/zabbix/mysql_zabbix.sh
      #/bin/bash
      mysql --defaults-extra-file=/home/admin/monitortools/zabbix/.my1.cnf -S /var/run/mysqld/mysqld1.sock $*

       

  • cela peut se tester avec (http://hoab.fr/shaarli/?aPEmew) : zabbix_agentd -t mysql.status[Com_begin]
  • vérifier que les métriques remontent dans Monitoring > Latest Data
    • choisir le serveur configuré plus haut dans les filtres, appliquer
  • si les métriques remontent bien, vous pouvez créer des graphiques et des écrans Monitoring > Ecran
  • maintenant il reste à configurer les alertes
    • Administration > Type de Media : configurer comment vous voulez être notifié
      • pour les emails, cette page configure l'email émetteur ainsi que le serveur SMTP qui accepte d'émettre des emails pour cette adresse. Moi j'avais un serveur SMTP sur mon serveur, je me suis créé un compte et voilà. Sinon utiliser un email et un compte ailleurs. Attention pour les versions Zabbix 2.x c'est un peu galère, il n'y a pas beaucoup d'options
    • Administration > User > myUser > Media
      • c'est là où vous configurer le ou les adresses destinatrices qui vont recevoir les alertes
    • Configuration > Action : les actions à réaliser lorsque les triggers se déclenchent. L'action par défaut prévient l'administrateur de tout, après on peut réaliser des filtres assez avancé suivant les triggers
  • Ajouter des alertes personnalisées
    • Configuration > Template > leTemplateQuiContientLaMétrique > Triggers > Create Trigger (en haut à droite)
    • Les expressions de triggers ne sont pas simples, heureusement il y a un éditeur ! (qui s'ouvre d'une popup à côté)
    • Exemple : dans Configuration > Template > Template OS Linux > Triggers > Create Trigger
      • Déclenchement si CPU Idle < 20% pendant 5 secondes : {Template OS Linux:system.cpu.util[,idle].avg(5s)}<20
      • Qui peut se faire via le bouton "constructeur d'expression"

 

Voilà mes notes pour un début. Ca l'air bien complet avec des triggers de type "tendance" et c'est ce que je cherchais.

Pas très compliqué à mettre en place, j'ai un peu galéré pour les triggers mysql parce que j'ai deux instances de bases sur mon serveur, mais avec l'astuce du shell tout va bien. Et puis surtout ce p*#! de bouton "Actualiser" qui veut dire "Sauvegarder"....

 

Fil RSS des articles de cette catégorie