Nouvelle machine vd-istex-ocr #150

Closed dieudonn opened this issue on 28 Sep 2016 - 7 comments

@dieudonn dieudonn commented on 28 Sep 2016

Bonjour l'équipe data aurait besoin d'une machine de développement pour la partie OCR,
Voici les besoins:

Machine vd-istex-ocr


Systéme:

8 cœurs
16 Go de RAM
Ubuntu 14.04
Cette machine doit pouvoir communiquer avec vd-istex-es sur le port 53920
nombre de fichiers ouverts simultanément ulimit -n 4096
/data (corpus Istex editeurs) en lecture seule
Exposer le port 8080 (pour l'accès à Concerto)
10 Go pour le FileSystem /applis/istex/home
Un FileSystem XFS dédié de 70 Go monté sur /applis/istex/li (tous les droits)

Un FileSystem XFS dédié de 200 Go monté sur /applis/istex/corpusOutput (tous les droits)


Packages:

open-jdk 8
redis-server
txt2tags
imagemagick
GNU-Parallel
xmlstarlet
htop
GraphicsMagick
openjdk 1.8
inotify-tools
ant
libtiff-tools
expat
tesseract-ocr
poppler-utils
xsltproc
libexpat1
python3
make
gcc

L'ensemble des packages de langues de Tesseract : tesseract-ocr-* ?


Utilisateurs:

Étienne CARON (caron)
Claude NIEDERLENDER (nierderle)
Dieudonne Matthias (dieudonn)

Meja Remy (meja)

Merci d'avance

Bonjour,

As usual l'accès au VD se fait en tant que soi même - droits sudo.

Question : faut-il la couche Docker ?

Questions sur les packages :
package sur vp-istex-ocr :

#system je les remets pour les FS xfs & nfs :
package { 'nfs-common' : ensure => installed }
package { 'xfsprogs' : ensure => installed }

#autres : me dire s'il faut les installer :
package { 'curl' : ensure => installed }
package { 'parallel' : ensure => installed } = GNU-parralel ???
package { 'python-pip' : ensure => installed }
package { 'python-dev' : ensure => installed }
package { 'php5-cli': ensure => installed }
package { 'inotify-tools': ensure => installed }
package { 'uchardet': ensure => installed }
package { 'libtiff-tools': ensure => installed }

open-jdk 8 ? openjdk 1.8 ????
sur la vp :
package { 'default-jdk': ensure => installed }
package { 'inist-oracle-jdk8': ensure => installed }

je rajoute par rapport à la vp :
inotify-tools
libtiff-tools
make
gcc

@dieudonn dieudonn commented on 10 Oct 2016

Bonjour,

On veut bien un peu de docker sur la VD ;)

Le package debian se nomme openjdk-8-jdk à mettre dans le path .

On est preneur des tous les "autres" à installer.

Par contre nos clés SSH ne semblent pas fonctionnelles .

Merci d'avance !

Questions :

/data (corpus Istex editeurs) en lecture seule => sur vi-istex-li ? vp-istex-li ???

@dieudonn dieudonn commented on 10 Oct 2016

Logiquement il s'agit du même point de montage entre toutes les machines mais en lecture seule sur la VI.

Il ne nous faudrait ce montage qu'en lecture seule

machine prête, à check.

pour info :
/dev/mapper/data-lvol0 8,0G 33M 8,0G 1% /applis/istex
/dev/mapper/data-data_docker 2,9G 9,9M 2,8G 1% /data/docker
/dev/mapper/data-lvol1 70G 33M 70G 1% /applis/istex/li
/dev/mapper/data-lvol2 200G 33M 200G 1% /applis/istex/corpusOutput
192.168.128.19:/data/bmj 500G 486G 15G 98% /data/bmj
192.168.128.19:/data/brill 250G 192G 59G 77% /data/brill
192.168.128.19:/data/degruyter/journals 360G 338G 23G 94% /data/degruyter/journals
192.168.128.19:/data/ecco 2,0T 1,8T 127G 94% /data/ecco
192.168.128.19:/data/eebo 1,3T 1,2T 89G 93% /data/eebo
192.168.128.19:/data/elsevier 4,0T 3,9T 155G 97% /data/elsevier
192.168.128.19:/data/enrichments 99G 60M 94G 1% /data/enrichments
192.168.128.19:/data/iop 300G 240G 61G 80% /data/iop
192.168.128.19:/data/nature 250G 213G 38G 86% /data/nature
192.168.128.19:/data/oup 1,1T 1007G 120G 90% /data/oup
192.168.128.19:/data/rsc 530G 524G 6,7G 99% /data/rsc
192.168.128.19:/data/sample 873G 792G 31G 97% /data/sample
192.168.128.19:/data/springer 2,0T 1,6T 303G 85% /data/springer
192.168.128.19:/data/wiley 3,5T 2,9T 615G 83% /data/wiley
192.168.128.19:/data/emerald 360G 326G 35G 91% /data/emerald
192.168.128.19:/data/brut/elsevier 5,0T 3,8T 989G 80% /data/brut/elsevier
192.168.128.19:/data/brut/rsc 2,2G 508M 1,6G 25% /data/brut/rsc
192.168.128.19:/data/brut/temp 10T 8,7T 1,4T 87% /data/brut/temp
192.168.128.19:/data/brut/wiley 2,5T 2,4T 180G 93% /data/brut/wiley

@dieudonn dieudonn commented on 10 Oct 2016

Merci !!

Quelle est la procédure pour utiliser les droits sudo sur cette machine ? Un mot d passe semble requis

corrigé,
et "sudo su -" je pense

@ponticel ponticel closed this issue on 4 Nov 2016
Labels

Priority
No priority
Milestone
No milestone
Assignee
No one
2 participants
@dieudonn @ponticel