# ---
# jupyter:
#   jupytext:
#     text_representation:
#       extension: .py
#       format_name: light
#       format_version: '1.5'
#       jupytext_version: 1.14.4
#   kernelspec:
#     display_name: Python 3
#     name: python3
# ---

# + [markdown] id="view-in-github" colab_type="text"
# <a href="https://colab.research.google.com/github/AI4Bharat/indicTrans/blob/main/indicTrans_python_interface.ipynb" target="_parent"><img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/></a>

# + colab={"base_uri": "https://localhost:8080/"} id="CjfzxXZLHed_" outputId="fde8240c-552b-4030-dc67-510ba2ae85cf"
# clone the repo for running evaluation
# !git clone https://github.com/AI4Bharat/indicTrans.git
# %cd indicTrans
# clone requirements repositories
# !git clone https://github.com/anoopkunchukuttan/indic_nlp_library.git
# !git clone https://github.com/anoopkunchukuttan/indic_nlp_resources.git
# !git clone https://github.com/rsennrich/subword-nmt.git
# %cd ..

# + colab={"base_uri": "https://localhost:8080/", "height": 1000} id="IeYW2BJhlJvx" outputId="80bdf9f2-b3ea-43c2-beb3-6a9673303099"
# Install the necessary libraries
# !pip install sacremoses pandas mock sacrebleu tensorboardX pyarrow indic-nlp-library
# ! pip install mosestokenizer subword-nmt
# Install fairseq from source
# !git clone https://github.com/pytorch/fairseq.git
# %cd fairseq
# # !git checkout da9eaba12d82b9bfc1442f0e2c6fc1b895f4d35d
# !pip install  --use-feature=in-tree-build ./

# %cd ..

# + id="TktUu9NW_PLq"
# sanity check to see if fairseq is installed
from fairseq import checkpoint_utils, distributed_utils, options, tasks, utils

# + colab={"base_uri": "https://localhost:8080/"} id="E_4JxNdRlPQB" outputId="a500b4ec-19c8-4f80-e17c-1168b8e7be23"
# download the indictrans model


# downloading the indic-en model
# !wget https://storage.googleapis.com/samanantar-public/V0.3/models/indic-en.zip
# !unzip indic-en.zip

# downloading the en-indic model
# # !wget https://storage.googleapis.com/samanantar-public/V0.3/models/en-indic.zip
# # !unzip en-indic.zip

# # downloading the indic-indic model
# # !wget https://storage.googleapis.com/samanantar-public/V0.3/models/m2m.zip
# # !unzip m2m.zip

# %cd indicTrans

# + colab={"base_uri": "https://localhost:8080/"} id="yTnWbHqY01-B" outputId="2104a004-864e-4af5-f2b2-94557f64110c"
from indicTrans.inference.engine import Model

indic2en_model = Model(expdir='../indic-en')

# + colab={"base_uri": "https://localhost:8080/"} id="QTp2NOgQ__sB" outputId="793a1356-700e-48fe-f497-129ab847f3a4"
ta_sents = ['அவனுக்கு நம்மைப் தெரியும் என்று தோன்றுகிறது',
            "நாங்கள் உன்னைத் பின்பற்றுவோம் (அ) தொடர்வோம். ",
            'உங்களுக்கு உங்கள் அருகில் இருக்கும் ஒருவருக்கோ இத்தகைய அறிகுறிகள் தென்பட்டால், வீட்டிலேயே இருப்பது, கொரோனா வைரஸ் தொற்று பிறருக்கு வராமல் தடுக்க உதவும்.']


indic2en_model.batch_translate(ta_sents, 'ta', 'en')



# + colab={"base_uri": "https://localhost:8080/", "height": 141} id="VFXrCNZGEN7Z" outputId="143d20ae-92f5-4a8d-c9ed-d638a5bb3977"

ta_paragraph = """இத்தொற்றுநோய் உலகளாவிய சமூக மற்றும் பொருளாதார சீர்குலைவை ஏற்படுத்தியுள்ளது.இதனால் பெரும் பொருளாதார மந்தநிலைக்குப் பின்னர் உலகளவில் மிகப்பெரிய மந்தநிலை ஏற்பட்டுள்ளது. இது விளையாட்டு,மத, அரசியல் மற்றும் கலாச்சார நிகழ்வுகளை ஒத்திவைக்க அல்லது ரத்து செய்ய வழிவகுத்தது.
அச்சம் காரணமாக முகக்கவசம், கிருமிநாசினி உள்ளிட்ட பொருட்களை அதிக நபர்கள் வாங்கியதால் விநியோகப் பற்றாக்குறை ஏற்பட்டது."""

indic2en_model.translate_paragraph(ta_paragraph, 'ta', 'en')

# + id="Hi_D7s_VIjis"


StarcoderdataJupyterScriptsDedupFiltered