staging.inyokaproject.org

#!/bin/bash
#------------------------------------#
#  Parameter Behandlung              #
#------------------------------------#
FILE_PATH=
TIF_FILE="tmp.tif"
LANG="deu"
FORMAT="pbm"
ENDUNG="pbm"
TES=
GRAPHIC=true
FILTERING=true
OUT_FILE="buchocr.txt"
NZ='
'
#------------------------------------#
#  Überprüfen der ext. Anwendunggen  #
#------------------------------------#
CHECK=
checkdep(){
  for QUELLE in $*; do
    if [ "`whereis $QUELLE | grep /`" = "" ]; then
      CHECK=true
    fi
  done
}
#------------------------------------#
# Installiert externe Abhängigkeiten #
#------------------------------------#
instdep(){
  checkdep "$*"
  if [ $CHECK ]; then
    PAKETE=`echo $* | sed 's/tesseract/tesseract-ocr tesseract-ocr-deu tesseract-ocr-eng/g' | sed \
     's/convert/imagemagick/g' | sed 's/ddjvu/djvulibre-bin/g'`
    if [ $GRAPHIC ]; then
      if [ "`whereis gksudo | grep /`" != "" ]; then
        gksudo apt-get -y install $PAKETE | zenity --progress  --pulsate \
         --auto-close --no-cancel \
         --text "Zusätzliche Quellen installieren:\n $PAKETE" --title  "$NAMEOF"
      else
        if [ "`whereis kdesudo | grep /`" != "" ]; then
          kdesudo apt-get -y install $PAKETE | zenity --progress \
           --pulsate --auto-close --no-cancel \
           --text "Zusätzliche Quellen installieren:\n $PAKETE" --title  "$NAMEOF"
        else 
          zenity --warning --text "gksudo und kdesudo nicht gefunden\
           Bitte ext. Quellen manuell intallieren oder \"book2mp3 -n\" (Konsole) verwenden"
          exit 1
        fi
      fi
    else
      sudo apt-get install $PAKETE
    fi
  fi
  CHECK=
  checkdep "$*"
  if [ $CHECK ]; then
    if [ $GRAPHIC ]; then
      zenity --warning --text "Bitte ext. Quellen: $* \n manuell intallieren"
    else
      echo "Bitte ext. Quellen: $* \n manuell intallieren"
    fi
    exit 1
  fi  
  CHECK=
}
filter(){
  #Doppelte Leerzeilen
  sed -e '/^$/N;/\n$/D' scantmp/stc.txt |\
  #Tabs und Leerzeichen am Zeilenende
  sed -e 's/[ \t]*$//'  |\
  sed -e 's/.[¥Yy]\//W/g'   |\
  # je nach Zeilenläge ab einer bestimmlen Anzahl an Sonderzeichen Zeile entfernen
  # kommt vorallem durch eingefügte Bilder
  sed -e '/^.\{31,\}$/{s/^/#xx#/}'  |\
  sed -e '/^.\{16,30\}$/{s/^/#30#/}' |\
  sed -e '/^.\{6,15\}$/{s/^/#15#/}' |\
  sed -e '/^.\{1,5\}$/{s/^/#5#/}' |\
  sed -e '/^#5#[^A-Za-z0-9\. -]\+.\+/d' |\
  sed -e '/^#15#.*[^A-Za-z0-9\. -]\+.*[^A-Za-z0-9\. -]\+.*/d' |\
  sed -e '/^#30#.*[^A-Za-z0-9\. -]\+.*[^A-Za-z0-9\. -]\+.*[^A-Za-z0-9\. -]\+.*[^A-Za-z0-9\. -]\+.*/d' |\
  sed -e '/^#xx#.*[^A-Za-z0-9\. -]\+.*[^A-Za-z0-9\. -]\+.*[^A-Za-z0-9\. -]\+.*[^A-Za-z0-9\. -]\+.*[^A-Za-z0-9\. -]\+.*[^A-Za-z0-9\. -]\+.*/d'  |\
  sed -e 's/^#15#\|^#30#\|^#xx#\|^#5#//'  |\
  #Silbentrennung entfernen
  sed -e :a -e '/-$/N; s/-\n//;ta'  |\
  #Wörter mit Sonderzeichen entfernen
  sed -e 's/[A-Za-z]\+[^A-Za-z\. -]\+[A-Za-z]\+[^A-Za-z\. -]\+[A-Za-z]\+[^A-Za-z\. -]\+[A-Za-z]\+//g'  |\
  #Restliche Sonderzeichen löschen
  sed -e 's/[^A-Za-z0-9äöüÄÜÖß !\.\,\?-]//g'  |\
  #Zeilen ohne Buchstaben löschen
  sed -e 's/^[ 0-9!\.\,\?]*$//g' > scantmp/spc.txt
}
hilfe(){  
  echo  " -h                :  Zeigt diesen Hilfetext an"
  echo  " -t                :  Verwenden von Tesseract (Standard: cuneiform)"
  echo  "                   :  Tesseract: etwas besser bei reinem Text, langsamer"
  echo  "                   :  Cuneiform: Besser bei formatiertem Text, schneller"
  echo  " -e                :  benutzt Englische Sprache für die OCR"
  echo  " -n                :  Kommandozeilenmodus"
  echo  " -f                :  Keine Filterung von Sonderzeichen"
  echo  " -o <Ausgabedatei> :  (ohne buchocr.txt)"
}
#------------------------------------#
#  Parameter Behandlung              #
#------------------------------------#
while getopts no:thef opt
do
  case "$opt" in
    h)            hilfe;exit 1;;
    t)            TES=true;;
    e)            LANG="eng";;
    n)            GRAPHIC=;;
    f)            FILTERING=;;
    o)            OUT_FILE="$OPTARG";;
    \?) exit 1;;
  esac
done
shift $(($OPTIND - 1))
while [ "$1" ]; do
  SOURCE="$SOURCE$NZ$1"
  shift
done
#------------------------------------#
#  Parameter Behandlung Dateiauswahl #
#------------------------------------#
#IFS='
#'
TIMEST=`date  +%s`
if [ $GRAPHIC ]; then
  if [ "$SOURCE" =  "" ]; then
    if ! NAME=$( zenity --file-selection --multiple --separator=":" --title "Bilddatei"); then
      exit         
    fi
    SOURCE=`echo "$NAME" | tr ":" "\n"`
  fi
else  
  if [ "$SOURCE" =  "" ]; then
    exit 1
  fi
fi

#------------------------------------#
#  spez. Buchtyp in Text umwandeln   #
#------------------------------------#
#mkdir scantmp
if [ $TES ]; then
  instdep convert ddjvu tesseract
  FORMAT="tiff"
  ENDUNG="tif"
else
  if [ $LANG != "eng" ]; then
    LANG="ger"    
  fi
  instdep ddjvu cuneiform
  FORMAT="pbm"
  ENDUNG="pbm"
fi
IFS='
'
mkdir scantmp
echo "arbeitzvezeichnis von bild zu Buch Script" > scantmp/tmp_verzeichnis_readme.txt 
for PAGE in $SOURCE; do
  if [ -f "$PAGE" ]; then
    ENDOFF=${PAGE##*.}
    ENDOFFLOW=$( echo "$ENDOFF" | tr "'[:upper:]'" "'[:lower:]'" )
    DIROF=$(dirname "$PAGE")
    if [ "$DIROF" = "." ];then
      DIROF="`pwd`"
    fi
    cd $DIROF
    NAMEOF=$( basename "$PAGE" | sed 's/\.[^\.]\+$//g' )
    PAGE="`echo "$DIROF/$NAMEOF.$ENDOFF"`"
    if [ ! -f "$PAGE" ]; then
      echo "keine gültige Datei"
    else
      if [ "$ENDOFFLOW" = "djvu" ]; then
        ANZPAGES=`djvused "$PAGE" -e 'n'`
        if [ $GRAPHIC ]; then
          (
          for DJVUPAGE in `seq 540 $ANZPAGES`; do
            PROZ=$(echo "scale=0 ; $DJVUPAGE*100/$ANZPAGES" | bc)
            echo "$PROZ"
            echo "# djvu aufteilen Seite $DJVUPAGE von $ANZPAGES"
            ddjvu -page=$DJVUPAGE -format=$FORMAT "$PAGE" scantmp/$TIMEST$NAMEOF$DJVUPAGE.$ENDUNG
            echo "$DIROF/scantmp/$TIMEST$NAMEOF$DJVUPAGE.$ENDUNG" >> scantmp/list 
          done
          ) | zenity --progress --text "djvu aufteilen Seite 1 von $ANZPAGES"\
           --title "$PAGE" --auto-close --percentage=0
         else
           echo "$PAGE wird in Teilbilder zerlegt ..."  
           for DJVUPAGE in `seq 540 $ANZPAGES`; do
             ddjvu -page=$DJVUPAGE -format=$FORMAT "$PAGE" scantmp/$TIMEST$NAMEOF$DJVUPAGE.$ENDUNG
             echo "$DIROF/scantmp/$TIMEST$NAMEOF$DJVUPAGE.$ENDUNG" >> scantmp/list
           done
         fi
      else        
        echo "$PAGE" >> scantmp/list 
      fi
    fi
  fi
done
ANZPAGES=`cat scantmp/list | wc -l`
PAGENR=1
if [ $GRAPHIC ]; then
  (  
  for PAGE in `cat scantmp/list`; do
    echo "# Texterkennung Seite: $PAGENR von $ANZPAGES"
    PROZ=$(echo "scale=0 ; $PAGENR*100/$ANZPAGES" | bc)
    echo "$PROZ"
    if [ $TES ]; then
      if [ `echo -e $PAGE | grep "scantmp/$TIMEST"` ]; then
        tesseract $PAGE scantmp/sc -l "$LANG"
      else
        convert -colorspace Gray -depth 4 -resample 300x300 "$PAGE" "scantmp/tmp.tif"
        tesseract "scantmp/tmp.tif" scantmp/sc  -l "$LANG"    
      fi   
    else
      cuneiform -l "$LANG" -f smarttext -o scantmp/sc.txt $PAGE      
    fi
    cat scantmp/sc.txt >> scantmp/stc.txt 2> /dev/null
    PAGENR=`echo $(( $PAGENR+1 ))`    
  done
  ) | zenity --progress --text "djvu aufteilen Seite 1 von $ANZPAGES"\
           --title "$PAGE" --auto-close --percentage=0
else
   for PAGE in `cat scantmp/list`; do
    if [ $TES ]; then
      if [ `echo -e $PAGE | grep "scantmp/$TIMEST"` ]; then
        tesseract $PAGE scantmp/sc -l "$LANG"
      else
        convert -colorspace Gray -depth 4 -resample 300x300 "$PAGE" "scantmp/tmp.tif"
        tesseract "scantmp/tmp.tif" scantmp/sc  -l "$LANG"    
      fi   
    else
      cuneiform -l "$LANG" -f smarttext -o scantmp/sc.txt $PAGE      
    fi
    cat scantmp/sc.txt >> scantmp/stc.txt 2> /dev/null
  done 
fi
if [ $FILTERING ]; then
  filter
  cp scantmp/spc.txt "$OUT_FILE"
else
  cp scantmp/stc.txt "$OUT_FILE"
fi
rm scantmp/*
rmdir scantmp


#book2hb -t "$OUT_FILE"
#in Hörbuch umwandeln 
#hierzu wird das book2hb script im Verzeichnis /usr/local/bin/ benötigt
#siehe http://wiki.ubuntuusers.de/Skripte/Book-To-MP3
exit