← Back to Stadt Bern proof of concept: open-source RAG chatbot on Llama-3.3-70B answers staff questions on legal documents

Source proof for Stadt Bern proof of concept: open-source RAG chatbot on Llama-3.3-70B answers staff questions on legal documents

Source-bound proof

Verified source excerpts for every supported field

Each colour maps a published value to the exact source passage used to support it. Only bounded excerpts are public; administrators can inspect the complete captured source.

12 fields supported

Title

Stadt Bern proof of concept: open-source RAG chatbot on Llama-3.3-70B answers staff questions on legal documents

derived · high

…nis ansehen Inhaltsverzeichnis ansehen Open Source Chatbot der Einwohnerdienste Das IPST entwickelte als Pilotprojekt (Proof-of-Concept) einen Open Source Chatbot für die Stadt Bern. Basierend auf RAG-Technologie beantwortet er Fragen zu Rechtsdokumenten – daten…

…I Backend Framework Haystack zum Einsatz. Drei Sprachmodelle wurden eingesetzt: ein Embedding-Modell (Snowflake Arctic Embed 2.0), ein Reranker (BAAI/bge-reranker-v2-m3) und ein generatives LLM (Llama-3.3-70B-Instruct). Suchanfragen werden sowohl lexikografisch (BM25) als auch semantisch (Vektor-E…

Description

The Institute Public Sector Transformation at Bern University of Applied Sciences built a proof-of-concept chatbot for the City of Bern's resident services. It uses retrieval-augmented generation over a knowledge base of 296 documents with Streamlit, Haystack, Snowflake Arctic Embed 2.0, a reranker and Llama-3.3-70B-Instruct. It shows sources, supports follow-up questions, and all data can be processed on the city's own servers. Evaluated qualitatively by a lawyer and with automated metrics.

derived · high

…n Source Technologien und frei verfügbaren KI-Modellen zu realisieren. Vorgehen Das IPST-Team entwickelte einen RAG-Dienst (Retrieval-Augmented Generation), der eine Wissensdatenbank aus 296 Dokumenten (3932 Seiten, rund 1.3 Millionen Wörter) nutzt. Technisch kamen das Open Source Frontend Framework Streamlit sowie das KI Backe…

…isch (Vektor-Embeddings) verarbeitet und durch Contextual Retrieval verbessert. Der Chatbot unterstützt Follow-up-Fragen und zeigt Quellen transparent an. Die Evaluation erfolgte qualitativ durch eine Anwältin (Lara Burkhalter) sowie…

…ert. Der Chatbot unterstützt Follow-up-Fragen und zeigt Quellen transparent an. Die Evaluation erfolgte qualitativ durch eine Anwältin (Lara Burkhalter) sowie quantitativ mit automatisierten Metriken (Mean Average Precision MAP, Mea…

Company

Stadt Bern / Berner Fachhochschule (IPST)

derived · high

…kt, da sensible Dokumente nicht auf externen Servern verarbeitet werden dürfen. Das Institut Public Sector Transformation (IPST) der Berner Fachhochschule wurde deshalb beauftragt, einen Proof of Concept (PoC) für einen datenschutzkonformen, transparenten und…

Industry

Government & Public Sector

classification · high

Open Source Chatbot der Einwohnerdienste de DE FR EN Berner Fachhochschule Hochschule für Agrar-, Forst- und Lebensmitte…

Problem

The City of Bern needed a solution to help staff answer questions on complex legal documents, for example in the foreigners and migration area. Existing proprietary AI solutions are restricted by data protection concerns because sensitive documents may not be processed on external servers.

derived · high

…amlit, Wissensdatenbank, Stadt Bern, Llama, Künstliche Intelligenz Ausgangslage Die Stadt Bern benötigte eine Lösung, um Mitarbeitende bei der Beantwortung von Fragen zu komplexen Rechtsdokumenten – etwa im Ausländer- und Migrationsbereich – effizient zu unterstützen. Bestehe…

…umenten – etwa im Ausländer- und Migrationsbereich – effizient zu unterstützen. Bestehende proprietäre KI-Lösungen sind aufgrund Datenschutzbedenken eingeschränkt, da sensible Dokumente nicht auf externen Servern verarbeitet werden dürfen. Das Institut Public Sector Transformation (IPST) der Berner Fachhochschule wurd…

Solution

The Institute Public Sector Transformation at Bern University of Applied Sciences developed a retrieval-augmented generation service over a knowledge base of 296 documents (3,932 pages), using Streamlit as frontend and Haystack as AI backend. Three models are used: the Snowflake Arctic Embed 2.0 embedding model, the BAAI/bge-reranker-v2-m3 reranker and the Llama-3.3-70B-Instruct language model. Queries are processed lexically (BM25) and semantically, the chatbot supports follow-up questions and shows its sources.

derived · high

…ensdatenbank aus 296 Dokumenten (3932 Seiten, rund 1.3 Millionen Wörter) nutzt. Technisch kamen das Open Source Frontend Framework Streamlit sowie das KI Backend Framework Haystack zum Einsatz. Drei Sprachmodelle wurden eingesetzt: ein Embedding-Modell (Snowflake Arctic Em…

…ker (BAAI/bge-reranker-v2-m3) und ein generatives LLM (Llama-3.3-70B-Instruct). Suchanfragen werden sowohl lexikografisch (BM25) als auch semantisch (Vektor-Embeddings) verarbeitet und durch Contextual Retrieval verbessert. Der Chatbot unterstützt Follow-up-Fr…

Business value

This was a proof of concept, not a productive deployment. In a qualitative evaluation by a lawyer, answers were mostly correct and sources precise. In automated evaluation the setup reached a recall of 0.73 and nDCG of 0.46, and Llama-3.3-70B-Instruct scored 0.92 for answer relevancy and 0.92 for faithfulness. The project states that the open-source approach allows all data to be processed on the city's own servers, with low, predictable operating costs.

derived · high

…tbot liefert in der qualitativen Evaluation sehr zufriedenstellende Ergebnisse: Antworten sind grösstenteils korrekt und die Quellenangaben präzise. Besonders hervorzuheben ist die Fähigkeit, Zusammenhänge zwischen verschiedenen…

…en Evaluation erzielte das gewählte Setup (Top-K Sparse: 20, Top-K Reranker: 7) einen Recall von 0.73 und einen nDCG von 0.46. Das eingesetzte LLM Llama-3.3-70B-Instruct erzielte eine Answer Relevancy von…

…K Sparse: 20, Top-K Reranker: 7) einen Recall von 0.73 und einen nDCG von 0.46. Das eingesetzte LLM Llama-3.3-70B-Instruct erzielte eine Answer Relevancy von 0.92 und eine Faithfulness von 0.92. Der Open-Source-Ansatz gewährleistet vollständige Datensouveränität, da alle Da…

…ät, da alle Daten auf eigenen Servern der Stadt Bern verarbeitet werden können. Die Lösung ist transparent, erweiterbar und mit niedrigen, kalkulierbaren Betriebskosten verbunden. Ausblick Für einen produktiven Einsatz empfiehlt das IPST-Team mehrere Weiteren…

AI capabilities

Retrieval-Augmented Generation, Large Language Models

classification · high

…s Pilotprojekt (Proof-of-Concept) einen Open Source Chatbot für die Stadt Bern. Basierend auf RAG-Technologie beantwortet er Fragen zu Rechtsdokumenten – datenschutzkonform, transparent und kostengünstig. Steckbrief Beteiligte Depa…

Technology

Streamlit, Haystack, Snowflake Arctic Embed 2.0, BAAI/bge-reranker-v2-m3, Llama-3.3-70B-Instruct

classification · high

…ensdatenbank aus 296 Dokumenten (3932 Seiten, rund 1.3 Millionen Wörter) nutzt. Technisch kamen das Open Source Frontend Framework Streamlit sowie das KI Backend Framework Haystack zum Einsatz. Drei Sprachmodelle wurden eingesetzt: ein Embedding-Modell (Snowflake Arctic Em…

…I Backend Framework Haystack zum Einsatz. Drei Sprachmodelle wurden eingesetzt: ein Embedding-Modell (Snowflake Arctic Embed 2.0), ein Reranker (BAAI/bge-reranker-v2-m3) und ein generatives LLM (Llama-3.3-70B-Instruct). Suchanfragen werden sowohl lexikografisch (BM25) als auch semantisch (Vektor-E…

Implementation approach

A pilot proof of concept planned from 1 September 2024 to 31 January 2025. For productive use the team recommends a central, categorised document list for automatic periodic updates of the knowledge base, and proposes an agentic workflow in which the chatbot chooses between tools such as FAQ lookups or restricted web searches.

derived · high

…ation (IPST) Strategisches Themenfeld Themenfeld Humane Digitale Transformation Laufzeit (geplant) 01.09.2024 - 31.01.2025 Projektleitung Prof. Dr. Matthias Stürmer Projektmitarbeitende Luca Sven Rolsho…

…e automatische und periodische Aktualisierung der Wissensdatenbank ermöglichen. Zudem wird ein agentischer Workflow vorgeschlagen, bei dem der Chatbot autonom zwischen verschiedenen Tools – etwa FAQ-Abfragen oder eingeschränkten Websuchen – wählen kann. Grundvorausse…

Headline outcome

derived · high

…K Sparse: 20, Top-K Reranker: 7) einen Recall von 0.73 und einen nDCG von 0.46. Das eingesetzte LLM Llama-3.3-70B-Instruct erzielte eine Answer Relevancy von 0.92 und eine Faithfulness von 0.92. Der Open-Source-Ansatz gewährleistet vollständige Datensouveränität, da alle Da…

Use case type

Knowledge search

classification · high

…s Pilotprojekt (Proof-of-Concept) einen Open Source Chatbot für die Stadt Bern. Basierend auf RAG-Technologie beantwortet er Fragen zu Rechtsdokumenten – datenschutzkonform, transparent und kostengünstig. Steckbrief Beteiligte Depa…

Capture details

Captured: 17 Oct 2026, 06:04 UTC
Extractor: fetch-strip@1
Snapshot hash: fe3ed1c4d8c9c996791458fcdc945121ca3f8c8d0259e7f729d5c3bdfce6250b

Live source Back to use case