Differences

This shows you the differences between two versions of the page.

--- redhat:openshift-redhat:dailybusiness-openshift [2019/02/21 13:52] – michael
+++ redhat:openshift-redhat:dailybusiness-openshift [2020/12/10 14:07] (current) – michael
@@ Line 46: / Line 46: @@
 </WRAP>
-===== Ressourcen von einem Projekt wiederherstellen =====
+===== Cluster Project Administration =====
+<WRAP center box 100%>
+==== Set Timeout on OpenShift route ====
+Jenkins has some pages, like the system configuration or the plugin overview, that take up to a minute for displaying. With the default settings on the OpenShift reverse proxy the request will be canceled after several seconds. You may set a new timeout on the route for your Jenkins instance to wait for the page to load:
+<code># oc annotate route <instance-name>-cing-helm --overwrite haproxy.router.openshift.io/timeout=60s</code>
+If a minute is not enough to load the page feel free to set the value higher.
+</WRAP>
+===== Cluster Administration =====
+===== Cluster Debugging =====
+<WRAP center box 100%>
+==== Kube Config wiederherstellen ====
+Funktioniert der ''oc get'' command nicht mehr korrekt, oder besser gesagt wird hier ein Passwort verlangt, so ist die Kube Config verschossen.. Ein gültiges Backup befindet sich hier: ''/etc/origin/master/admin.kubeconfig''
+<code># cp /etc/origin/master/admin.kubeconfig .kube/config</code>
+</WRAP>
+<WRAP center box 100%>
+==== Kube Config wiederherstellen ====
+Funktioniert der ''oc get'' command nicht mehr korrekt, oder besser gesagt wird hier ein Passwort verlangt, so ist die Kube Config verschossen.. Ein gültiges Backup befindet sich hier: ''/etc/origin/master/admin.kubeconfig''
+<code># cp /etc/origin/master/admin.kubeconfig .kube/config</code>
+</WRAP>
+===== Firmenspezifische Doku's =====
+<WRAP center box 100%>
+==== Ressourcen von einem Projekt wiederherstellen ====
 Bei der Post läuft täglich um 24:00 ein cronjob, der alle wichtigen Projekt-Ressourcen täglich exportiert:
@@ Line 129: / Line 175: @@
 <code># oc create -f "Backup file in yaml" -n "namespace"</code>
+</WRAP>
-===== Problem OpenShift GlusterFS (nicht mehr im HP OVO) =====
-Das Überwachungsskript(/root/openshift-script/check_gluster_volumes.sh) hat folgende E-Mail in die Mailbox SMSOPENSHIFTDL@post.ch gesendet.
+<WRAP center box 100%>
-Dieselbe Fehlermeldung wird auch im HP-OVO Monitoring angezeigt.
+==== OpenShift Gluster Volume extend - over heketi ====
-Development Platform > DailyBusiness > 1.png
-Auf dem Glusternode vekq7k wurde wegen eines anderen Fehler ein Neustart des Servers gemacht. Anschliessend konnte GlusterFS nicht vollständig gestartet werden.
-Somit muss das GlusterFS auf auf dem gluster-pv101 forciert neu gestartet werden:
-[root@vekq7k ~]# gluster volume status gluster-pv101
-Status of volume: gluster-pv101
-Gluster process                             TCP Port  RDMA Port  Online  Pid
-------------------------------------------------------------------------------
-Brick vhmsgj.pnet.ch:/data/gluster-pv101/br
-ick                                         49152     0          Y       6846
-Brick vkyg7l.pnet.ch:/data/gluster-pv101/br
-ick                                         49152     0          Y       4553
-Brick vsytjw.pnet.ch:/data/gluster-pv101/br
-ick                                         49152     0          Y       4939
-Brick vu32g5.pnet.ch:/data/gluster-pv101/br
-ick                                         49152     0          Y       6774
-Brick vpva0p.pnet.ch:/data/gluster-pv101/br
-ick                                         49152     0          Y       8864
-Brick vekq7k.pnet.ch:/data/gluster-pv101/br
-ick                                         49202     0          Y       82665
-Brick vlf5eh.pnet.ch:/data/gluster-pv101/br
-ick                                         49152     0          Y       103339
-Brick vw7w5k.pnet.ch:/data/gluster-pv101/br
-ick                                         49152     0          Y       6902
-Brick v2o8fv.pnet.ch:/data/gluster-pv101/br
-ick                                         49152     0          Y       3353
-Self-heal Daemon on localhost               N/A       N/A        Y       82687
-Self-heal Daemon on v2o8fv.pnet.ch          N/A       N/A        Y       42526
-Self-heal Daemon on vs3tvs.pnet.ch          N/A       N/A        Y       99276
-Self-heal Daemon on vw7w5k.pnet.ch          N/A       N/A        Y       18084
-Self-heal Daemon on vsytjw.pnet.ch          N/A       N/A        Y       4673
-Self-heal Daemon on vhmsgj.pnet.ch          N/A       N/A        Y       31894
-Self-heal Daemon on vlf5eh.pnet.ch          N/A       N/A        Y       22477
-Self-heal Daemon on vkyg7l.pnet.ch          N/A       N/A        Y       57012
-Self-heal Daemon on vpva0p.pnet.ch          N/A       N/A        Y       37754
-Self-heal Daemon on vu32g5.pnet.ch          N/A       N/A        Y       85923
-Self-heal Daemon on vthbcn.pnet.ch          N/A       N/A        Y       117650
-Task Status of Volume gluster-pv101
-------------------------------------------------------------------------------
-There are no active volume tasks
-[root@vekq7k ~]# gluster volume start gluster-pv101  force
-===== Kube Config wiederherstellen =====
-Funktioniert der ''oc get'' command nicht mehr korrekt, oder besser gesagt wird hier ein Passwort verlangt, so ist die Kube Config verschossen.. Ein gültiges Backup befindet sich hier: ''/etc/origin/master/admin.kubeconfig''
-<code># cp /etc/origin/master/admin.kubeconfig .kube/config</code>
-----
-===== OpenShift Gluster Volume extend - over heketi =====
 Eine zusätzliche Terabyte Disk auf dem Gluster Cluster via Heketi einbinden: (siehe auch : [[https://access.redhat.com/solutions/3164841]])
@@ Line 205: / Line 193: @@
 Auf der Heketi-Pod Konsole node und Cluster ID auslesen.
-<sxh bash>
+<sxh plain; highlight: [1]; gutter: false;>
 sh-4.2# heketi-cli node list --user admin --secret p/J+OhZgDjwuMy/vZBoD74hP4CWmjWWE32ye6czr2aU=
 Id:0680dabe91ee5a7f36da8cb6fe49cdd4 Cluster:7234de4476a10cb0d138e3fd3d387c40
@@ Line 214: / Line 202: @@
 Jetzt kann das neue Device nach dem Schema "''hecketi-cli device add --name /dev/DISK --node NODE_ID''" für jede Node-ID des Clusters auf der Pod-Konsole eingegeben werden.
-<sxh bash>
+<sxh plain; highlight: [1,4,7]; gutter: false;>
 sh-4.2# heketi-cli device add --name /dev/sdc --node 0680dabe91ee5a7f36da8cb6fe49cdd4 --user admin --secret p/J+OhZgDjwuMy/vZBoD74hP4CWmjWWE32ye6czr2aU=
 Device added successfully
@@ Line 227: / Line 215: @@
 Als Resultat der Erweiterung, sieht man nun auf dem entsprechenden Node mit dem Kommando "pvscan" die von heketi neu bereitgestellte Volumegroup.
-<sxh bash>
+<sxh plain; highlight: [1]; gutter: false;>
 [root@vosge1 ~]# pvscan
   PV /dev/sdc    VG vg_5e4ce3cca0b61f43f749d3cef0447e2e   lvm2 [999.87 GiB / <979.72 GiB free]
@@ Line 234: / Line 222: @@
   Total: 3 [2.03 TiB] / in use: 3 [2.03 TiB] / in no VG: 0 [0   ]
 </sxh>
-===== Neuer Host zu existierenden Cluster hinzufügen =====
-Red Hat Anleitung: [[https://docs.openshift.com/container-platform/3.10/install_config/adding_hosts_to_existing_cluster.html]]
-Bevor der neue Host dem Cluster hinzugefügt werden kann, muss dieser die nötigen OpenShift Pakete erhalten.  Hierzu muss das Package "atomic-openshift-utils" installiert werden.
-Jedoch wird dieses im offiziellen Repo nur bis zur Version 3.9 gepflegt. Deshalb müssen zuerst unter /etc/yum.repos.d/ose.repo die 3.9 OpenShift Repos angehängt werden. Erst danach kann das neuste Paket mit yum installiert werden:
-<sxh bash>
-[root@new_host]# cat /etc/yum.repos.d/ose.repo
-[rhel-7-server-ose310-rpms]
-baseurl = http://vinstp.pnet.ch/distributor/testing/rhel7-server-$basearch/ose/3.10
-enabled = 1
-gpgcheck = 1
-gpgkey = file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
-name = Red Hat OpenShift Container Platform 3.10 (RPMs)
-[rhel-7-server-ose39-rpms]
-baseurl = http://vinstp.pnet.ch/distributor/testing/rhel7-server-$basearch/ose/3.9
-enabled = 1
-gpgcheck = 1
-gpgkey = file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
-name = Red Hat OpenShift Container Platform 3.9 (RPMs)
-</sxh>
-<code>[root@new_host]# yum install atomic-openshift-utils -y
-[root@new_host]# systemctl reboot</code>
-Der Host ist nun für die Integration bereit. Jetzt muss noch das Hostfile dementsprechend angepasst werden:
-<sxh bash>
-[rebermi@vosbh1]# cat openshift-hostfiles/hosts_shared.yml
----
-all:
-  children:
-    OSEv3:
-      children:
-        bastion: {}
-        glusterfs: {}
-        glusterfs_registry: {}
-        etcd: {}
-        masters: {}
-        nodes:
-          children:
-            masters: {}
-            infra_nodes: {}
-            user_nodes: {}
-            new_nodes: {}  <---
-...
-    user_nodes:
-      hosts:
-        EXISTING_HOSTS.pnet.ch:
-          openshift_hostname: vosne1.pnet.ch
-          openshift_ip: 172.18.184.14
-          openshift_node_group_name: node-config-compute-eh-prod
-          openshift_node_local_quota_per_fsgroup: 1Gi
-    new_nodes: <---
-      hosts:
-        NEW_HOST.pnet.ch:
-          openshift_hostname: NEW_HOST.pnet.ch
-          openshift_ip: IP_ADRESS
-          openshift_node_group_name: node-config-compute-eh-test
-          openshift_node_local_quota_per_fsgroup: 1Gi
-</sxh>
-Zum Schluss wird nun das Scaleup Playbook von Red Hat ausgeführt:
-<code># ansible-playbook [-i /path/to/file] /usr/share/ansible/openshift-ansible/playbooks/openshift-node/scaleup.yml</sxh>
-Damit auch Pods auf dem neuen Cluster-Node erstellt werden, müssen die LABELS auf dem Node angepasst werden:
-<code>[user@vosbh1 ~]$ oc login https://plattform.pnet.ch
-[user@vosbh1 ~]$ oc get nodes --show-labels</code>
-# Man kann jetzt die Labels eines bereits integrierten Node kopieren und folgendermassen beim neuen Node setzen:
-<code>[user@vosbh1 ~]$ oc label node NEWNODE compute=true
-[user@vosbh1 ~]$ oc label node NEWNODE region=primary
-[user@vosbh1 ~]$ oc label node NEWNODE stage=test
-[user@vosbh1 ~]$ oc label node NEWNODE zone=defaul</code>
-----
-<WRAP center round important 60%>
-''**Everyting below here is depricated!**''
 </WRAP>
-===== Gluster PV Administration (obsolete, neu mit heketi) =====
-<WRAP center box 100%>
-==== Gluster PVs erstellen (obsolete) ====
-Um ein neues PV zu erstellen, muss als erstes berücksichtig werden, ob genügen Platz zur Verfügung steht.
-Folgender Ansible Befehl kann hierfür verwendet werden:
-<code># ansible gluster -m shell -a "vgs | grep vg_gluster"</code>
-Wenn genügend Platz zur Verfügung steht, muss das Hostfile der jeweiligen Plattform angepasst werden:
-<code># cd /root/openshift-hostfiles/
-# vim hosts_os***.yaml</code>
-Anschliessend im Hostfile das neue PV am Ende des Abschnittes "gluster_pvs" einfügen:
-<sxh yaml; gutter:false>
-...
-gluster_pvs:
-        - name: gluster-pv1
-          options:
-            performance.write-behind-window-size: 32MB
-          size: 100
-        - name: gluster-pv2
-          options:
-            cluster.consistent-metadata: 'on'
-            cluster.post-op-delay-secs: '0'
-          size: 50
-...
-        - name: gluster-pv42
-          size: 40
-        - name: gluster-pv43
-          size: 10
-        - name: NEW GLUSTER PW
-          size: NEW PV SIZE
-...
-</sxh>
-Nun kann das Playbook main.yml im Verzeichnis /root/gluster-pvs/ im Check Modus ausgeführt werden. Damit kann überprüft werden, was das Playbook tatsächlich machen würde, ohne etwas zu ändern (dry run)
-<code># cd /root/gluster-pvs/
-# ansible-playbook --check main.yml</code>
-Nachdem der Check durchgelaufen ist (mit Fehler, da die Änderungen nicht gemacht wurden und so das PV so nicht gefunden wurde) kann das Playbook ohne das --check ausgeführt werden:
-<code># cd /root/gluster-pvs/
-# ansible-playbook main.yml</code>
-Zum Schluss muss noch überprüft werden, ob das PV tatsächlich angelegt wurde:
-<code># oc get pv | grep CREATED GLUSTER-PV</code>
-</WRAP>
-<WRAP center box 100%>
-==== Gluster PVs vergrössern (obsolete) ====
-An OpenShift GlusterFS PV can be online resized, increased in size. This needs to be done on the OpenShift master node.
-**These are the steps**:
-Edit the Ansible Inventory file and set the new size of the pv. Push the changes also to gitit.pnet.ch
-<code># cd /root/openshift-hostfiles/
-# vim hosts_osit2.yaml</code>
-<sxh yaml; gutter:false>
-...
-- name: gluster-pv118
-size: 5
-...
-</sxh>
-<code># git status</code>
-<sxh bash; gutter:false>
-# On branch master
-# Changes not staged for commit:
-#   (use "git add <file>..." to update what will be committed)
-#   (use "git checkout -- <file>..." to discard changes in working directory)
-#
-#       modified:   hosts_osit2.yaml
-#
-no changes added to commit (use "git add" and/or "git commit -a")
-</sxh>
-<code># git add hosts_osit2.yaml
-# git commit -m "Resize pv118 to 5Gi"
-# git push</code>
-Run /root/gluster-pvs/ansible-playbook --check main.yml. This is a dry run only to check what the changes will be
-<code># cd /root/gluster-pvs/
-ansible-playbook --check main.yml</code>
-After successful check run /root/gluster-pvs/ansible-playbook main.yml
-<code># cd /root/gluster-pvs/
-# ansible-playbook main.yml</code>
-Check the size of the gluster-pv on the local node. Should now show 1/3rd of the size in mounted position, because GlustrFS is replicated on the node instances.
-<code># df -h | grep gluster-pv118</code>
-Run ov edit pv <pv-name> to have the metadata of the pv volume in consistent state on the master node
-<code># oc edit pv gluster-pv118</code>
-<sxh yaml; gutter:false;>
-...
-  capacity:
-    storage: 5Gi
-  claimRef:
-...
-</sxh>
-<code># oc get pv | grep pv118</code>
-<WRAP center round important 60%>
-''**CAUTION**: Do not continue if there are errors to see in a step. If there are errors in the Task “[Configure Gluster management firewall rules]“, when running ansible-playbook --check main.yml, note that during container restart, there is a firewall reconfiguration ongoing, which may disturb running ansible-playbook. Try this check again some moments later.''
-</WRAP>
-</WRAP>
-<WRAP center box 100%>
-==== Gluster PV's löschen (obsolete) ====
-Auf dem ersten Master das PV unmounten:
-<code># umount /gluster/gluster-pvXX
-# df | grep endpoint</code>
-Das PV im OpenShift entfernen:
-<code># oc delete pv gluster-pvXX</code>
-Das gelöschte PV anschliessend auf einem Gluster Node Stopen und löschen:
-<code># gluster volume stop gluster-pvXX</code> <sxh bash; gutter:false>
-Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
-volume stop: gluster-pv11: success</sxh>
-<code># gluster volume delete gluster-pvXX</code> <sxh bash; gutter:false>
-Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y
-volume delete: gluster-pv11: success</sxh>
-Zum schluss folgende Ansible Befehle auf dem Master ausführen:
-<code># ansible gluster -m lineinfile -a "path=/etc/fstab state=absent regexp='^/dev/vg_gluster/gluster-pv11' backup=yes"
-# ansible gluster -a "umount /dev/vg_gluster/gluster-pv11"
-# ansible gluster -a "wipefs -a /dev/vg_gluster/gluster-pv11"     #(2x ausführen zum checken)
-# ansible gluster -a "lvremove /dev/vg_gluster/gluster-pv11 -y"</code>
-</WRAP>