# ---
# jupyter:
#   jupytext:
#     text_representation:
#       extension: .py
#       format_name: light
#       format_version: '1.5'
#       jupytext_version: 1.14.4
#   kernelspec:
#     display_name: Python 3
#     name: python3
# ---

# + id="UXpJIcy42_8P" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595921977807, "user_tz": -180, "elapsed": 2223, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="08a5ef41-9500-45bb-fd50-8973c407278e"
from google.colab import drive
drive.mount('/content/drive/')

# + id="DOOzEjNT3NCL" colab_type="code" colab={}
import os
os.chdir('/content/drive/My Drive/')

# + id="Q9RfIuwupHX-" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595921994912, "user_tz": -180, "elapsed": 2798, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="ed75cd29-aee0-4c09-e97d-20ec19380940"
import numpy as np
import pandas as pd
from keras.preprocessing import sequence
from keras.models import Sequential
from keras.layers import Dense, Embedding, LSTM,  Dropout
from tensorflow.python.keras.preprocessing.text import Tokenizer
from tensorflow.python.keras.preprocessing.sequence import pad_sequences

# + id="6Ek1deaWhHzu" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 198} executionInfo={"status": "ok", "timestamp": 1595922011439, "user_tz": -180, "elapsed": 14909, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="20f9bafe-8681-4275-f1b4-7ec50d08b59a"
# Wikipedia verisini okuyoruz, temizliyoruz ve dataframe atıyoruz

import pandas as pd
with open('/content/drive/My Drive/wiki_00', 'r') as file:
    datam = file.read().replace('\n', '')
arr = datam.split('. ')
df1 = pd.DataFrame(arr)
df1 = df1[~df1[0].str.contains("<", na=False)]
df1.head()


# + id="Fq5EAsxlF0Ps" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595921865613, "user_tz": -180, "elapsed": 25992, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="d0205d79-89bb-4e6b-f755-ae050d9af5c2"
df1.shape

# + id="_vKZAoM67cJ_" colab_type="code" colab={}
# verinin ilk 1200000'lik kısmını alıyoruz ama hepsi ile eğitirsek daha doğru sonuçlar verebilir
df1 = df1[:1200000]
df1["text"]=df1[0]
df1["label"]=1

# + id="DQaMCbGFeLbI" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 198} executionInfo={"status": "ok", "timestamp": 1595922016570, "user_tz": -180, "elapsed": 1850, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="a7b7533c-3144-46d6-beec-79dbbcf98c61"
df1 = df1.drop(columns=0)
df1.head()

# + id="Sm3TiCXofktk" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595921865616, "user_tz": -180, "elapsed": 25949, "user": {"displayName": "B\u00fc\u01<NAME>\u00f6kmen", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="db1f3e1d-082c-4ead-b96b-2eb73bcefd58"
df1.shape

# + id="pimf13xVOBcI" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 198} executionInfo={"status": "ok", "timestamp": 1595922023498, "user_tz": -180, "elapsed": 1666, "user": {"displayName": "B\u00fc\u<NAME>\u00f6kmen", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="dee3de81-3a69-41b2-d09f-e09f14db552d"
# Farklı konulardaki haber verilerini de ayırdığımız wikipedi verilerine ekliyoruz
data1 = pd.read_csv('7all.csv', encoding='utf-8', header=None, names=['cat', 'text'])
data1=data1.drop(["cat"], axis=1)
data1.tail()

# + id="QBwlRnVDOPzY" colab_type="code" colab={}
# bu veriyi 1 ile etiketiliyoruz ve bunlar formal verilerimiz oluyor
data1["label"]= 1 #formal

# + id="BIDbFqQjQCfu" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595921867470, "user_tz": -180, "elapsed": 27773, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="9a125208-27a6-4f81-8e22-160b2f5467bd"
data1.shape

# + id="uAM7qaLQtWXc" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 198} executionInfo={"status": "ok", "timestamp": 1595921867471, "user_tz": -180, "elapsed": 27765, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="26758a28-aec5-4a72-8c26-70a722717ec8"
data1.tail()

# + id="9c5uahz5cW4s" colab_type="code" colab={}
df1=data1.append(df1)

# + id="tdDwvV0fERhX" colab_type="code" colab={}
df1.to_csv("Formal_Data.csv")

# + id="pr-vFM8vcgHW" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595921881568, "user_tz": -180, "elapsed": 41844, "user": {"displayName": "B\u00fc\u01<NAME>\u00f6kmen", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="4c40c2e9-ae14-428a-f3d8-aded477081a9"
df1.shape

# + id="lTNIeDy73M53" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 235} executionInfo={"status": "ok", "timestamp": 1595922050218, "user_tz": -180, "elapsed": 17436, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="70916949-3946-4143-fc0c-c22395e8e050"
# Twitter verisini okuyoruz ve dataframede tutuyoruz
data = pd.read_csv('sentimentdata.csv')
data.drop('Unnamed: 0',axis=1,inplace=True)
#data.sentiment = data.sentiment.map({'positive':0,'negative':1})
data.head()

# + id="1J6MOts58eAj" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595921900833, "user_tz": -180, "elapsed": 61101, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="b6b98fdf-246c-420c-f280-aa18f90ba75d"
data.shape

# + id="z1SXzxIGuY3W" colab_type="code" colab={}
#işimize yaramayacak columnları çıkarıyoruz
data = data.drop(columns="static_link")
data = data.drop(columns="retweets")
data = data.drop(columns="favorites")
data = data.drop(columns="class")
data = data.drop(columns="created_at")
data = data.drop(columns="user_name")

# + id="53acA8S3zJzI" colab_type="code" colab={}
#Twitter verisini 0 ile etiketliyoruz ve informal verimizi elde etmiş oluyoruz
data["label"]=0

# + id="Y8q8fWrsueGW" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 198} executionInfo={"status": "ok", "timestamp": 1595921901449, "user_tz": -180, "elapsed": 61694, "user": {"displayName": "B\u00fc\u01<NAME>\u00f6kmen", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="e14c9756-9d0c-42d1-e7a1-39eb32ec02f4"
data.head()

# + id="lB6EBq9SzQSx" colab_type="code" colab={}
#Twitter verisinin 1300000'lük kısmını alıyoruz
data = data[:1300000]

# + id="Zzx-Nw2zzZgu" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595921901451, "user_tz": -180, "elapsed": 61685, "user": {"displayName": "B\u00fc\u015<NAME>\u00f6kmen", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="3f650335-c86b-432a-c330-81dbe4cb0279"
data.shape


# + id="IwV0whPa3M3Z" colab_type="code" colab={}
# normalizasyon yaparak verilerimizi temizlemek için fonksiyonlar
def extract_emojis(str):
    return [c for c in str if c in emoji.UNICODE_EMOJI]
def sentiment_emojis(sentence):
    emojis = extract_emojis(sentence)
    result = [0,0,0,0]
    if len(emojis) == 0:
        return result
    for icon in emojis:
        sen_dict = analyzer_emoji.polarity_scores(icon)
        sen = [sen_dict['neg'],sen_dict['neu'],sen_dict['pos'],sen_dict['compound']]
        result = [result[i] + sen[i] for i in range(4)]
    return [result[i] / len(emojis) for i in range(4)]
def sentiment_emojis_row(row):
    comment = row['text']
    sen_comment = sentiment_emojis(comment)
    
    row['emoji_neg'] = sen_comment[0]
    row['emoji_neu'] = sen_comment[1]
    row['emoji_pos'] = sen_comment[2]
    row['emoji_compound'] = sen_comment[3]
    
    return row


# + id="Mu_3GAed3M17" colab_type="code" colab={}
df = data.copy()

# + id="FRmvWokW3M0v" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595922079354, "user_tz": -180, "elapsed": 5532, "user": {"displayName": "<NAME>", "photoUrl": "<KEY>", "userId": "13563943650919286024"}} outputId="adeaffcb-1d02-4452-d3e2-9308c3ba45e1"
# verilerimizi temizliyoruz
import re
'''NLTK Porter Stemmer da kullanılabilir'''

df['text'] = df['text'].astype(str).fillna(' ')
# Lower case comment
df['text'] = df['text'].str.lower()
# Add num words of comment as feature
#df['num_words'] = df['text'].apply(lambda s: len(s.split()))
# Add num words unique of comment as feature
#df['num_unique_words'] = df['text'].apply(lambda s: len(set(w for w in s.split())))
# Add num words unique per num words of comment as feature
#df['words_vs_unique'] = df['num_unique_words'] / df['num_words'] * 100
# Add emojis features
print("Statistical features end!")
def remove_urls(text):
  pattern = re.compile(r'https?://\S+|www\.\S+')
  return pattern.sub(r'', text)
df['text']= df['text'].apply(remove_urls)

# + id="MJrV_npq3Mxs" colab_type="code" colab={}
# formal ve informal verileri birleştiriyoruz
data_new = df.append(df1)

# + id="E1OaecUH3Mu9" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595921906149, "user_tz": -180, "elapsed": 66356, "user": {"displayName": "B\u00fc\u0<NAME>", "photoUrl": "<KEY>", "userId": "13563943650919286024"}} outputId="d6f8f6ba-a27e-4141-dfd5-5a46e6152b87"

data_new.shape

# + id="2lyrE53y3Mqc" colab_type="code" colab={}
# get all labels and reviews as a list
target = data_new['label'].values.tolist()#
datas = data_new['text'].astype(str).tolist()#text data

# + id="7bLbD1TT3Mo0" colab_type="code" colab={}
#verimizi test ve train olarak bölüyoruz
seperation = int(len(datas) * 0.80)
x_train, x_test = datas[:seperation], datas[seperation:]
y_train, y_test = target[:seperation], target[seperation:]

# + id="98SFkkSd3Ml0" colab_type="code" colab={}
# verisetinde en sık geçen 10000 kelimeyi alıyoruz
num_words = 10000 

# keras ile tokenizer tanımlıyoruz
tokenizer = Tokenizer(num_words=num_words)

# + id="1tha8wuK3Mjk" colab_type="code" colab={}
# veriyi tokenize ediyoruz
tokenizer.fit_on_texts(datas)

# + id="8p0hKF913MYT" colab_type="code" colab={}
# tokenizerı kaydediyoruz
import pickle

with open('tokenizer_FormalInformal.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)

# + id="nl240xa73MNy" colab_type="code" colab={}
# tokenizerı yüklüyoruz
import pickle

with open('tokenizer_informal.pickle', 'rb') as handle:
    turkish_tokenizer = pickle.load(handle)


# + id="vpu1r-PT3L-H" colab_type="code" colab={}

# train verisini tokenize ediyoruz
x_train_tokens = tokenizer.texts_to_sequences(x_train)

# + id="YWqFXZemcVCU" colab_type="code" colab={}
# test verisini tokenize ediyoruz
x_test_tokens = tokenizer.texts_to_sequences(x_test)

# + id="KlKj5d1DcJCU" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595922252832, "user_tz": -180, "elapsed": 2119, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="47f8adf0-a4e4-47e1-8fcd-a239e554af5e"


# RNN modellerine önceden tanımlanmış sabit boyutlu veriler verebiliriz, bu yüzden diğer verilerin boyutlarını en büyük veriye tamamlamak için padding yapıyoruz


# her veride kaç token var bakıyoruz
num_tokens = [len(tokens) for tokens in x_train_tokens + x_test_tokens]

# listeyi numpy arraye çeviriyoruz
num_tokens = np.array(num_tokens)
num_tokens.shape

# + id="jHFfHaBAcJLS" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595922257675, "user_tz": -180, "elapsed": 1634, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="857bbe1e-6fb7-475f-f730-bb05efaf3c9f"
# bir veride ortalama kaç kelime var
np.mean(num_tokens)

# + id="xsVEzZmUcJS2" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595922258395, "user_tz": -180, "elapsed": 766, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="d2394085-015e-4cf2-889a-ac90cbbc636b"
# maximum kelime miktarı
np.max(num_tokens)

# + id="mE72S91tcJZ_" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595922263052, "user_tz": -180, "elapsed": 1685, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="4168533d-028c-4be1-d3a8-e0969a7512ad"
# maximum kelimenin bulunduğu index
np.argmax(num_tokens)

# + id="zPLxmV7RcJeY" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595922263733, "user_tz": -180, "elapsed": 775, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="6f80275d-08d4-4fa8-bec5-ef00b54830ac"
# bütün veriler için maximum token sayısı
max_tokens = np.mean(num_tokens) + 2*np.std(num_tokens) #returns float
max_tokens = int(max_tokens)
max_tokens

# + id="pdWROOBLcJc1" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595922267415, "user_tz": -180, "elapsed": 2199, "user": {"displayName": "B\u00fc\u01<NAME>\u00f6kmen", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="d4fe1658-2540-4372-8572-4ab68c18a61d"
np.sum(num_tokens < max_tokens) / len(num_tokens) * 100 

# + id="FW_acZkFg3VK" colab_type="code" colab={}
# Let's add paddings... So, all datas will be in the same size.
x_train_pad = pad_sequences(x_train_tokens, maxlen=max_tokens)
x_test_pad = pad_sequences(x_test_tokens, maxlen=max_tokens)

# + id="8JHsLfEUg3jA" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 54} executionInfo={"status": "ok", "timestamp": 1595922277825, "user_tz": -180, "elapsed": 7118, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="ab514df8-b1f7-49b3-bde0-5cd037634be5"
# test size ve train size
print(x_train_pad.shape)
print(x_test_pad.shape)

# + id="rrnfYdd0g3f6" colab_type="code" colab={}
model = Sequential() # modeli tanımlıyoruz


# + id="VamzsAecg3cH" colab_type="code" colab={}
embedding_size = 50 # her kelime için 50 size belirliyoruz

# + id="ec6peLPTg3Yr" colab_type="code" colab={}

#kerasta embedding layer oluşturuyoruz
#rastgele kelime vektörleri oluşturuyoruz
# embedding layerı modele ekliyoruz
# embedding matris size = num_words * embedding_size -> 10.000 * 50
model.add(Embedding(input_dim=num_words,
                    output_dim=embedding_size,
                    input_length=max_tokens,
                    name='embedding_layer'))

# + id="L6f0tgwag3TM" colab_type="code" colab={}
# 3-layered LSTM
model.add(LSTM(units=16, return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(units=8, return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(units=4, return_sequences=False))
model.add(Dropout(0.2))
# Dense layer: fully connected layer
model.add(Dense(1, activation='sigmoid'))

# + id="y_YdLZcCiG40" colab_type="code" colab={}

from tensorflow.python.keras.optimizers import Adam
# Adam optimizer
optimizer = Adam(lr=1e-3)

# + id="-VZlsg6oiHHx" colab_type="code" colab={}
# farklı optimizerlar deniyoruz
model.compile(loss='binary_crossentropy',
optimizer='adam',
metrics=['accuracy'])

# + id="vYhJctAIiclx" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 454} executionInfo={"status": "ok", "timestamp": 1595923958069, "user_tz": -180, "elapsed": 1460, "user": {"displayName": "<NAME>\u00f6kmen", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="5d065b89-4f53-4026-814a-06146c39b5b9"
model.summary()

# + id="iwGwLWz9ickX" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 274} executionInfo={"status": "ok", "timestamp": 1595931976825, "user_tz": -180, "elapsed": 3347013, "user": {"displayName": "B\u00fc\u<NAME>\u00f6kmen", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="36831cd9-86cf-4fc8-b107-8a8b4494bb1b"
# epoch -> veriyle kaç kere eğiteceğiz
# batch_size -> her epochta ne kadar veri ile modeli besleyeceğiz
model.fit(x_train_pad, y_train, epochs=5, batch_size=256)

# + id="KlnqQB6qichg" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 54} executionInfo={"status": "ok", "timestamp": 1595932480978, "user_tz": -180, "elapsed": 294125, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="1b9a4ba4-6074-4ae3-ce7e-70e8b26eb33e"
result = model.evaluate(x_test_pad, y_test)# model test verisini etiketliyor
result

# + id="mQMlmN-zicfg" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595932511672, "user_tz": -180, "elapsed": 9080, "user": {"displayName": "<NAME>\u00f6kmen", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="3294cd12-63f2-484e-ecb9-ade88bb6495b"
accuracy = (result[1]) * 100
accuracy # modelin doğruluğu

# + id="rZykEH9siccp" colab_type="code" colab={}
# test inputları oluşturuyoruz
text1 = "atatürk, bu görevi en uzun süre yürüten kişi olmuştur."
text2="bdjfhdjfhdjkhj"
text3 = "hiç resimde gösterildiği gibi değil..."
text4 = "bir yirminci yüzyıl popüler kültür ikonu haline gelen ressam, resimlerinin yanı sıra inişli çıkışlı özel yaşamı ve politik görüşleri ile tanınır. "
text5 = "fransız halkı önceki döneme göre büyük bir evrim geçirmektedir. halk bilinçlenmektedir ve sarayın, kralın, seçkinlerin denetiminden çıkmaya başlamıştır. şehirlerde yaşayan pek çok burjuva, büyük bir atılım içindedir. kitaplar yaygınlaşmakta, aileler çocuklarını üniversitelere göndererek sağlam bir gelecek kurma yolunu tutarak kültürel seviyeyi yükseltmektedir. bağımsız yayıncıların çıkardıkları gazete, bildiri ve broşürler, kitlesel bilinçlenmeye yol açmaktadır. bu koşullar da toplumsal değişim taleplerinin olgunlaşmasına yol açmıştır.Devrimden önceki yıllar Fransız ekonomisi için pek de parlak sayılmamaktadır. Gelişen ticaret, savaşlar sebebiyle yavaşlama yönüne kaymış; köylü, mahsulünden beklenen verimi alamayarak büyük sıkıntılarla karşılaşmıştır. Ayrıca, tek kıtlıkla, açlığa kadar dayanan sorunlarla karşılaşmışlar tek çözüm yolu olarak kıta şehirlere göç etme yolunu tutmuşlardır, fakat şehirlerde de onları parlak bir yaşam beklememektedir; artan nüfusun ihtiyacını şehirler karşılayamaz duruma gelmiştir. Nüfus artması doyurulması gereken insanların çoğalmasına sebep olmuştur. Gelenlerin işsizlik sorunuyla da karşılaşması, istihdam olanağı bulamamaları toplumsal sorunların artmasına neden olmuştur. Aslında Fransa’nın ekonomisi pek çok çağdaş devlete göre ileri sayılmaktaydı; fakat önceki dönemlerle karşılaştırıldığında görülen fark edilir gerileme, halkı paniğe sokmuştur.[1] Halkın içinde bulunduğu ekonomik sorunlar vergilerin düzenli olarak ödenmemesine yol açmış devletin en önemli gelir kaynağı olan vergilerin sekteye uğraması hazineyi büyük bir bunalıma sürüklemiş, uzayan savaş maliyetlerinin fazla olması ve teknolojinin gelişmesiyle savaş masraflarının artması, bir de saray masraflarının aşırılığı sebebi ile devlet iflasın eşiğine gelmiştir. Bu nedenle kral, vergilerin artırılması ve yeni vergiler konması yolunu tutmuş; bu plan dahilinde tüm toplumda vergilerin yaygınlaşması düşüncesi ortaya çıkmıştır. Paris Parlamentosu da bu yeni vergi aleyhine onay vermeyerek genel meclisin, Etats Generaux'un toplanmasını istemiştir."
text6 = "bunu çıkardım söylediklerinden"
text7 = "Bu koşullar da toplumsal değişim taleplerinin olgunlaşmasına yol açmıştır."
text8="bu çok saçma yaa"
text9="bana böyle bir yetki verilmedi."
text10="napıcaz bu işi böyle"
text11="Öncelikle Mercedes-Benz’e olan ilgin için teşekkür ederiz."
text12="Ekibimizle çalışma isteğin için teşekkür ediyor, sağlıklı günler ve kariyerinde başarılar diliyoruz. Farklı etkinlik ve programlarda tekrar bir araya gelmek dileğiyle."
text13="Ben de öyle olduğunu düşünmüyordum ama gittik yine de jzns"
texts = [text1, text2,text3,text4,text5,text6,text7,text8,text9,text10,text11,text12,text13]

# + id="1t3pMR2XwJke" colab_type="code" colab={}
tokens = tokenizer.texts_to_sequences(texts)

# + id="LSses5ukwJ2n" colab_type="code" colab={}
tokens_pad = pad_sequences(tokens, maxlen=max_tokens)

# + id="VBS4MXWOwq7O" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 254} executionInfo={"status": "ok", "timestamp": 1595932602841, "user_tz": -180, "elapsed": 3086, "user": {"displayName": "B\u00fc\u<NAME>\u00f6kmen", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="e8295d1f-3dbc-48b8-912f-34cc171bf537"
model.predict(tokens_pad)# 0(informal) ve 1(formal) arasında değerler verecek

# + id="tUMNma1qYsrm" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 254} executionInfo={"status": "ok", "timestamp": 1595932602845, "user_tz": -180, "elapsed": 1290, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="4b4d8db7-e316-4639-ad92-4727edfc419e"
#test verisini tahminleme
for i in model.predict(tokens_pad):
  if i < 0.5:
    print("informal")
  elif i >= 0.5:
    print("formal")


# + id="gI6ZNkVg3IYC" colab_type="code" colab={"base_uri": "https://localhost:8080/", "height": 35} executionInfo={"status": "ok", "timestamp": 1595932639443, "user_tz": -180, "elapsed": 1488, "user": {"displayName": "<NAME>", "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GitZmJqcCpE-TWFHttHC-V4NVqssBKxKNVt9Fj52A=s64", "userId": "13563943650919286024"}} outputId="ce9f3ed5-072c-4cb4-81cc-ae0dc03b87d4"
# modeli kaydediyoruz
model.save("MODEL_FORMAL.h5")
print("Saved model to disk")

# + id="LZbnTzbT3J-i" colab_type="code" colab={}
'
from keras.models import load_model
# modeli yüklüyoruz
model = load_model('moddel.h5')



StarcoderdataJupyterScriptsDedupFiltered