working history & login

app_test.py

@@ -0,0 +1,84 @@
+from openai import AsyncOpenAI
+import chainlit as cl
+from typing import Optional
+import os
+from dotenv import load_dotenv
+from chainlit.data.sql_alchemy import SQLAlchemyDataLayer
+
+@cl.data_layer
+def get_data_layer():
+    return SQLAlchemyDataLayer(conninfo = "postgresql+asyncpg://postgres:mysecretpassword123@127.0.0.1:5432/postgres")
+
+load_dotenv()
+
+client = AsyncOpenAI(base_url="http://192.168.1.37:8088/v1", api_key="lm-studio")
+# Instrument the OpenAI client
+cl.instrument_openai()
+
+settings = {
+    "model": "/modelle/Moonlight-L3-15B-v2-64k",
+    "temperature": 0.6,
+    "frequency_penalty":1.05,
+    # ... more settings
+}
+
+# Passwortbasierte Authentifizierung (nur ein Callback!)
+@cl.password_auth_callback
+def auth_callback(username: str, password: str):
+    # Hier könntest du z. B. gegen eine Datenbank prüfen
+    if (username, password) == ("admin", "admin"):
+        return cl.User(
+            identifier="admin", metadata={"role": "admin", "provider": "credentials"}
+        )
+    else:
+        return None
+
+# Beim Start eines Chats: initialisiere die Chat-History in der User-Session
+@cl.on_chat_start
+async def start_chat():
+    if not cl.user_session.get("message_history"):
+        cl.user_session.set("message_history", [
+            {
+                "role": "system",
+                "content": "Du bist ein hilfreicher Assistent. Löse Aufgaben schrittweise."
+            }
+        ])
+    app_user = cl.user_session.get("user")
+    await cl.Message(f"Hallo {app_user.identifier}!").send()
+
+@cl.on_chat_resume
+async def on_chat_resume(thread):
+    pass
+
+# Verarbeitung eingehender Nachrichten
+@cl.on_message
+async def handle_message(message: cl.Message):
+    # Hole die bisherige Chat-History aus der User-Session
+    message_history = cl.user_session.get("message_history")
+    message_history.append({"role": "user", "content": message.content})
+    
+    # Erstelle eine leere Nachricht für den Streaming-Output
+    response_msg = cl.Message(content="")
+    
+    # Sende die gesamte History an den LLM-Client
+    stream = await client.chat.completions.create(
+        messages=message_history,
+        stream=True,
+        **settings
+    )
+    
+    # Tokenweise streamen und zur Antwortnachricht hinzufügen
+    async for part in stream:
+        token = part.choices[0].delta.content or ""
+        if token:
+            await response_msg.stream_token(token)
+    
+    # Füge die Antwort des Assistenten der History hinzu
+    message_history.append({"role": "assistant", "content": response_msg.content})
+    cl.user_session.set("message_history", message_history)
+    
+    # Aktualisiere die Nachricht im Frontend
+    await response_msg.update()
+
+ 
+

chainlit.md

@@ -0,0 +1,14 @@
+# Welcome to Chainlit! 🚀🤖
+
+Hi there, Developer! 👋 We're excited to have you on board. Chainlit is a powerful tool designed to help you prototype, debug and share applications built on top of LLMs.
+
+## Useful Links 🔗
+
+- **Documentation:** Get started with our comprehensive [Chainlit Documentation](https://docs.chainlit.io) 📚
+- **Discord Community:** Join our friendly [Chainlit Discord](https://discord.gg/k73SQ3FyUh) to ask questions, share your projects, and connect with other developers! 💬
+
+We can't wait to see what you create with Chainlit! Happy coding! 💻😊
+
+## Welcome screen
+
+To modify the welcome screen, edit the `chainlit.md` file at the root of your project. If you do not want a welcome screen, just leave this file empty.

docker-compose.yaml

@@ -0,0 +1,19 @@
+services:
+  db:
+    image: postgres
+    restart: always
+    environment:
+      POSTGRES_PASSWORD: mysecretpassword123
+    volumes:
+      - pgdata:/var/lib/postgresql/data
+    ports:
+      - "5432:5432"
+
+  adminer:
+    image: adminer
+    restart: always
+    ports:
+      - 8080:8080
+
+volumes:
+  pgdata:

notes.txt

@@ -0,0 +1,9 @@
+für die authentifizierung muss ein secret erstellt werden mit '''chainlit create-secret'''. Das muss in der .env abgelegt werden.
+
+Für einen persistenten chat nutze ich postgres mit docker
+
+docker pull postgres
+
+docker run --name chainlit-chats -e POSTGRES_PASSWORD=mysecretpassword123 -d postgres
+
+das ist der "connection string": postgresql+asyncpg://postgres:mysecretpassword123@db/postgres