Upload 2 files

requirements.txt

@@ -1,7 +1,8 @@
-git+https://github.com/obsei/obsei@master#egg=obsei[all]
-streamlit
-trafilatura
-tornado>=6.3.2
-fastapi
-uvicorn
-pymongo
+git+https://github.com/obsei/obsei@master#egg=obsei[all]
+streamlit
+trafilatura
+tornado>=6.3.2
+fastapi
+uvicorn
+pymongo
+crawl4ai

support_function.py

@@ -0,0 +1,147 @@
+import json
+from typing import Any, Dict
+import asyncio
+from datetime import datetime, timedelta
+import re
+from crawl4ai import AsyncWebCrawler
+from crawl4ai.extraction_strategy import JsonCssExtractionStrategy
+
+
+schema_short= {
+        "name": "VnExpress",
+        "baseSelector": "div.sidebar-1",
+        "fields": [
+            {
+                "name": "description",
+                "selector": "article p.Normal",
+                "type": "list",
+                "fields": [
+                    {"name": "description", "type": "text"},
+                ]
+            },
+            {
+                "name": "genres",
+                "selector": "div.header-content ul.breadcrumb li a",
+                "type": "list",
+                "fields": [
+                    {"name": "genres", "type": "text"},
+                ]
+            }
+        ]
+    }
+url =  "https://vnexpress.net/co-nen-bo-30-trieu-dong-de-hoc-them-mot-bang-o-tuoi-40-4825599.html"
+
+
+async def return_json(schema: Dict[str, Any], url: str) -> Dict[str, Any]:
+    extraction_strategy = JsonCssExtractionStrategy(schema, verbose=True)
+    async with AsyncWebCrawler(always_by_pass_cache=True) as crawler:
+        result = await crawler.arun(
+            url=url,
+            exclude_external_links=True,
+            bypass_cache=True,
+            verbose=False,
+            warning=False,
+            extraction_strategy=extraction_strategy
+        )    
+        news_teasers = json.loads(result.extracted_content)
+        return news_teasers
+    
+
+from datetime import datetime
+import re
+
+def chuan_hoa_time(time_str):
+    days_map = {
+        "thứ bảy": "Saturday",
+        "chủ nhật": "Sunday",
+        "thứ hai": "Monday",
+        "thứ ba": "Tuesday",
+        "thứ tư": "Wednesday",
+        "thứ năm": "Thursday",
+        "thứ sáu": "Friday",
+    }
+
+    month_map = {
+        "tháng 1": "January", "tháng 2": "February", "tháng 3": "March",
+        "tháng 4": "April", "tháng 5": "May", "tháng 6": "June",
+        "tháng 7": "July", "tháng 8": "August", "tháng 9": "September",
+        "tháng 10": "October", "tháng 11": "November", "tháng 12": "December"
+    }
+
+    # Làm sạch chuỗi thời gian
+    if isinstance(time_str, datetime):
+        # Nếu là đối tượng datetime, chuyển sang chuỗi
+        time_str = time_str.strftime('%Y-%m-%d %H:%M:%S')
+    elif not isinstance(time_str, str):
+        # Nếu không phải là chuỗi hoặc datetime, trả về chuỗi rỗng
+        return ""
+    time_str = time_str.lower().strip()
+    
+    
+    now = datetime.now()
+    if "phút trước" in time_str:
+        minutes = int(re.search(r"(\d+)", time_str).group(1))
+        time_result = now - timedelta(minutes=minutes)
+        return time_result.strftime("%d/%m/%Y %H:%M")
+    elif "giờ trước" in time_str:
+        hours = int(re.search(r"(\d+)", time_str).group(1))
+        time_result = now - timedelta(hours=hours)
+        return time_result.strftime("%d/%m/%Y %H:%M")
+    elif "hôm qua" in time_str:
+        time_result = now - timedelta(days=1)
+        return time_result.strftime("%d/%m/%Y %H:%M")
+    elif "ngày trước" in time_str:
+        days = int(re.search(r"(\d+)", time_str).group(1))
+        time_result = now - timedelta(days=days)
+        return time_result.strftime("%d/%m/%Y %H:%M")
+
+    # Sửa các lỗi chính tả thông thường
+    time_str = re.sub(r"\s?\(gmt[+\-]\d{1,2}\)", "", time_str).strip()  # Loại bỏ múi giờ
+    time_str = time_str.replace("|", "")  # Loại bỏ ký tự phân cách '|'
+    # time_str = time_str.replace(",", "")  # Loại bỏ dấu phẩy nếu có
+    time_str = re.sub(r"\s+", " ", time_str).strip()  # Loại bỏ khoảng trắng thừa
+
+    # Nếu chuỗi có dạng "20241202 15:44", cần chèn dấu "/" vào
+    if re.match(r"^\d{8} \d{2}:\d{2}$", time_str):
+        time_str = f"{time_str[:4]}/{time_str[4:6]}/{time_str[6:8]} {time_str[9:]}"
+
+    # Thêm dấu phẩy nếu thiếu sau ngày
+    if re.match(r"^[a-z]+ \d{2}/\d{2}/\d{4} \d{2}:\d{2}$", time_str):
+        time_str = time_str.replace(" ", ", ", 1)  # Thêm dấu phẩy sau ngày
+
+    # Thay thế tháng tiếng Việt thành tiếng Anh
+    for vietnamese_month, english_month in month_map.items():
+        time_str = time_str.replace(vietnamese_month, english_month)
+
+    # Thay thế ngày trong tuần
+    for vietnamese_day, english_day in days_map.items():
+        time_str = time_str.replace(vietnamese_day, english_day)
+
+    # Định dạng chuỗi thời gian chuẩn
+    formats = [
+        "%A, %d/%m/%Y %H:%M",          # Monday, 2/12/2024 11:33
+        "%Y-%m-%d %H:%M:%S",           # 2024-11-29 16:01:23
+        "%Y-%m-%dT%H:%M:%S",           # 2024-11-30T10:20:00
+        "%A, %d/%m/%Y - %H:%M",        # Monday, 2/12/2024 - 11:33
+        "%A, %d/%m/%Y, %H:%M",         # Monday, 2/12/2024, 11:33
+        "%Y-%m-%d %H:%M",              # 2024-12-01 08:00
+        "%H:%M, %d/%m/%Y",             # 10:45, 01/12/2024
+        "%d %B %Y %H:%M",              # 2 December 2024 11:33
+        "%d/%m/%Y %H:%M",              # 02/12/2024 15:22
+        "%d %b %Y %H:%M",              # 2 Dec 2024 11:33
+        "%d/%m/%Y %H:%M:%S",           # 02/12/2024 15:22:00
+        "%A, %d/%m/%Y %H:%M %z",       # Monday, 02/12/2024 10:08 +0700
+        "%b %d, %Y %H:%M",             # Dec 2, 2024 15:22
+        "%d tháng %m, %Y | %H:%M",     # 2 tháng 12, 2024 | 15:10
+        "%A, %d/%m/%Y - %H:%M",        # thứ hai, 02/12/2024 - 15:40
+        "%Y,%m,%d %H:%M",              # 2024,12,02 15:44
+        "%A, %d/%m/%Y , %H:%M"         # Monday, 02/12/2024 , 16:01
+    ]
+
+    for fmt in formats:
+        try:
+            dt =datetime.strptime(time_str, fmt)
+            return dt
+        except ValueError:
+            continue
+    raise ValueError(f"Không thể chuẩn hóa chuỗi thời gian: {time_str}")