Thema: Stunde für Stunde ¤ It's time for a return!

Da lag ein KoN auf der Lauer.

Und noch einer.

Das glaube ich nicht. Ich liege wieder auf der Lauer. :>

Das glaub ich dir nicht!

Gab noch einige Fehler, auf die David und ich nach und nach gestoßen sind - die wurden behoben. Auswertungs-Script läuft soweit und mittlerweile fehlerfrei, auch über unzählige Seiten hinweg.
Auch wenn für David gedacht, halte ich es trotzdem mal als "OpenSource". Alleine die Web-Adresse zur laufenden WebApp (>Screenshot<) werde ich hier nicht teilen und bleibt exklusiv in seinen Händen.

Spoiler öffnen: Python GUI-Script (lokal)

Code:

#!/usr/bin/python
# -*- coding:utf-8 -*-

import tkinter as tk
from tkinter import scrolledtext, messagebox, IntVar
import requests
from bs4 import BeautifulSoup
import time
import datetime

class Stunde4StundeScraperGUI:
    def __init__(self, master):
        self.master = master
        master.title("Stunde4Stunde-Scraper (by Scrypton)")

        # Variablen für Checkboxen
        self.show_post_counts_var = IntVar(value=1)
        self.show_hourly_points_var = IntVar(value=0)
        self.show_total_points_var = IntVar(value=1)
        self.show_thread_content_var = IntVar(value=0)

        # GUI-Elemente für Eingabe
        self.page_label = tk.Label(master, text="Ab welcher Seite?")
        self.page_label.pack()

        self.page_entry = tk.Entry(master)
        self.page_entry.pack()
        self.page_entry.focus_set()
        self.page_entry.bind('<Return>', lambda event: self.start_post_entry.focus_set())

        self.start_post_label = tk.Label(master, text="Start-Nummer von Beitrag:")
        self.start_post_label.pack()

        self.start_post_entry = tk.Entry(master)
        self.start_post_entry.pack()
        self.start_post_entry.bind('<Return>', lambda event: self.end_post_entry.focus_set())

        self.end_post_label = tk.Label(master, text="Bis einschließlich Beitrag-Nr (oder Enter wenn bis zum aller letzten):")
        self.end_post_label.pack()

        self.end_post_entry = tk.Entry(master)
        self.end_post_entry.pack()
        self.end_post_entry.bind('<Return>', self.start_scraper)

        # Checkboxen für Ausgaben
        self.show_post_counts_checkbox = tk.Checkbutton(master, text="Beitragszählung pro Autor", variable=self.show_post_counts_var)
        self.show_post_counts_checkbox.pack()

        self.show_hourly_points_checkbox = tk.Checkbutton(master, text="Punktestände pro Stunde", variable=self.show_hourly_points_var)
        self.show_hourly_points_checkbox.pack()

        self.show_total_points_checkbox = tk.Checkbutton(master, text="Punktestände pro Autor insgesamt", variable=self.show_total_points_var)
        self.show_total_points_checkbox.pack()

        self.show_thread_content_checkbox = tk.Checkbutton(master, text="Details der Beiträge", variable=self.show_thread_content_var)
        self.show_thread_content_checkbox.pack()

        # Button zum Starten des Scrapers
        self.start_button = tk.Button(master, text="Start Scraper", command=self.start_scraper)
        self.start_button.pack()

        # GUI-Element für die Konsolenausgabe
        self.console_output = scrolledtext.ScrolledText(master, wrap=tk.WORD)
        self.console_output.pack(expand=True, fill='both')

    def start_scraper(self, event=None):
        page = int(self.page_entry.get())
        start_post = int(self.start_post_entry.get())
        end_post_input = self.end_post_entry.get()
        end_post = int(end_post_input) if end_post_input else None

        if not isinstance(page, int) or not isinstance(start_post, int) or (end_post_input and not isinstance(end_post, int)):
            messagebox.showerror("Fehler", "Bitte geben Sie nur Ziffern ein.")
            return

        starturl = 'https://www.forumla.de/f-fun-spiele-raetsel-39/t-stunde-fuer-stunde-a-its-time-for-return-236511/page'

        post_counts = {}
        hourly_points = {}

        # Durchlaufe die Seiten von der Startseite bis zur letzten Seite
        for lauf in range(page, 10000):  # Setze das obere Limit hoch, um alle Seiten abzudecken
            url = f"{starturl}{lauf}"

            self.console_output.insert(tk.END, '\n\n####################################\n')
            self.console_output.insert(tk.END, f'Seite {lauf} von ...\n')  # Kein Ende mehr anzeigen
            self.console_output.insert(tk.END, 'URL: ' + url + '\n')
            self.console_output.yview(tk.END)
            self.master.update_idletasks()

            # Durchsuche die Seite nur, wenn die Start-Nummer erreicht oder überschritten wurde
            start_post_on_page = (lauf - 1) * 20 + 1
            end_post_on_page = min(lauf * 20, end_post) if end_post is not None else lauf * 20

            if end_post is not None and start_post_on_page > end_post:
                self.console_output.insert(tk.END, 'End-Nummer erreicht oder überschritten. Beende die Schleife.\n')
                self.console_output.yview(tk.END)
                self.master.update_idletasks()
                break

            if start_post_on_page <= end_post_on_page:
                self.get_threadpage_content(url, start_post, end_post_on_page, post_counts, hourly_points)

        if self.show_post_counts_var.get():
            self.console_output.insert(tk.END, '\nBeitragszählung pro Autor:\n')
            for author, count in post_counts.items():
                self.console_output.insert(tk.END, f'{author}: {count} Beiträge\n')
                self.console_output.yview(tk.END)
                self.master.update_idletasks()

        if self.show_hourly_points_var.get():
            self.console_output.insert(tk.END, '\nPunktestände pro Stunde:\n')
            for hour_key, data in hourly_points.items():
                self.console_output.insert(tk.END, f"{data['author']} hat um {data['time'].strftime('%H:%M')} den Beitrag "
                                                    f"{data['post_number']} geschrieben und erhält einen Punkt für die Stunde "
                                                    f"{hour_key}.\n")
                self.console_output.yview(tk.END)
                self.master.update_idletasks()

        total_points = {}
        for hour_key, data in hourly_points.items():
            author = data['author']
            total_points[author] = total_points.get(author, 0) + 1

        if self.show_total_points_var.get():
            self.console_output.insert(tk.END, '\nPunktestände pro Autor insgesamt:\n')
            for author, points in total_points.items():
                self.console_output.insert(tk.END, f'{author}: {points} Punkte\n')
                self.console_output.yview(tk.END)
                self.master.update_idletasks()

    def get_threadpage_content(self, url, start_post, end_post, post_counts, hourly_points):
        content = self.get_url_content(url)
        soup = BeautifulSoup(content, "html.parser")

        for post in soup.findAll('li', {'class': 'postbitim'}):
            advertising_check = post.find('a', class_="postcounter")

            if advertising_check:
                post_number_text = post.find('a', class_="postcounter").text
                post_number = int(post_number_text.replace('#', ''))

                if start_post <= post_number <= end_post:
                    post_time_str = post.find('span', class_="date").text
                    post_author = post.find('span', class_="username").text

                    post_counts[post_author] = post_counts.get(post_author, 0) + 1

                    post_datetime = self.extract_datetime(post_time_str)
                    post_date = post_datetime.date()
                    post_time = post_datetime.time()

                    if self.show_thread_content_var.get():
                        self.console_output.insert(tk.END, 'Beitragsnummer: %s\n' % post_number)
                        self.console_output.insert(tk.END, 'Datum des Posts: %s\n' % post_date)
                        self.console_output.insert(tk.END, 'Uhrzeit des Posts: %s\n' % post_time.strftime("%H:%M"))
                        self.console_output.insert(tk.END, 'Autor: %s\n' % post_author)
                        self.console_output.yview(tk.END)
                        self.master.update_idletasks()

                    hour_key = post_datetime.strftime("%Y-%m-%d %H")
                    hourly_points[hour_key] = {'time': post_datetime, 'author': post_author,
                                               'post_number': post_number}

    def get_url_content(self, url):
        # wartet eine halbe Sekunde zwischen jeder Anfrage
        time.sleep(0.5)
        return requests.get(url).text

    def extract_datetime(self, time_str):
        # Komma und nicht-brechende Leerzeichen durch normale Leerzeichen ersetzen...
        time_str = time_str.replace(',', '').replace('\xa0', ' ')

        # Differenzieren zwischen Heute/Gestern und Datum, ersteres zu Datum umwandeln
        if 'Heute' in time_str or 'Gestern' in time_str:
            today_or_yesterday = self.convert_relative_date(time_str.split()[0])
            time_part = time_str.split()[1]
            return datetime.datetime.combine(today_or_yesterday,
                                             datetime.datetime.strptime(time_part, "%H:%M").time())
        else:
            return datetime.datetime.strptime(time_str, "%d.%m.%Y %H:%M")

    def convert_relative_date(self, date_str):
        # Mache aus "Heute" das aktuelle Datum (Systemzeit)
        if date_str == 'Heute':
            return datetime.datetime.now().date()
        # Mache aus "Gestern" das gestrige Datum (erneut Systemzeit)
        elif date_str == 'Gestern':
            yesterday = datetime.datetime.now() - datetime.timedelta(days=1)
            return yesterday.date()
        # Nötiges Format herstellen
        else:
            return datetime.datetime.strptime(date_str, "%d.%m.%Y").date()


# Hauptprogramm starten....
root = tk.Tk()
app = Stunde4StundeScraperGUI(root)
root.mainloop()

Spoiler öffnen: Python Script als WebApp

Python-Script:

Code:

# app.py (Flask-Anwendung)

from flask import Flask, render_template, request, jsonify
import requests
from bs4 import BeautifulSoup
import time
import datetime

app = Flask(__name__)
app.config['SEND_FILE_MAX_AGE_DEFAULT'] = 0

@app.route('/')
def index():
    return render_template('index.html')

@app.route('/start_scraper', methods=['POST'])
def start_scraper():
    page = request.form['page']
    start_post = request.form['start_post']
    end_post_input = request.form['end_post']
    show_post_counts = 'show_post_counts' in request.form
    show_hourly_points = 'show_hourly_points' in request.form
    show_total_points = 'show_total_points' in request.form
    show_thread_content = 'show_thread_content' in request.form

    if not page.isdigit() or not start_post.isdigit() or (end_post_input and not end_post_input.isdigit()):
        return jsonify({'error': 'Bitte geben Sie nur Ziffern ein.'})

    start_post = int(start_post)
    end_post = int(end_post_input) if end_post_input else None

    starturl = 'https://www.forumla.de/f-fun-spiele-raetsel-39/t-stunde-fuer-stunde-a-its-time-for-return-236511/page'
    url = starturl + page
    post_counts = {}
    hourly_points = {}
    output = ""  # Initialisierung der Variable

    content = requests.get(url).text
    soup0 = BeautifulSoup(content, "html.parser")
    lauf = int(page)

    def get_threadpage_content(url, start_post, end_post, output):
        content = get_url_content(url)
        soup = BeautifulSoup(content, "html.parser")

        for post in soup.findAll('li', {'class': 'postbitim'}):
            advertising_check = post.find('a', class_="postcounter")

            if advertising_check:
                post_number_text = post.find('a', class_="postcounter").text
                post_number = int(post_number_text.replace('#', ''))

                if (end_post is None or (start_post <= post_number <= end_post)) and post_number >= start_post:
                    post_time_str = post.find('span', class_="date").text
                    post_author = post.find('span', class_="username").text

                    post_counts[post_author] = post_counts.get(post_author, 0) + 1

                    post_datetime = extract_datetime(post_time_str)
                    post_date = post_datetime.date()
                    post_time = post_datetime.time()

                    if show_thread_content:
                        output += 'Beitragsnummer: %s<br>' % post_number
                        output += 'Datum des Posts: %s<br>' % post_date
                        output += 'Uhrzeit des Posts: %s<br>' % post_time.strftime("%H:%M")
                        output += 'Autor: %s<br>' % post_author
                        output += '----------------<br>'

                    hour_key = post_datetime.strftime("%Y-%m-%d %H")
                    hourly_points[hour_key] = {'time': post_datetime, 'author': post_author, 'post_number': post_number}

        return output

    def get_url_content(url):
        time.sleep(0.5)  # Wartet eine halbe Sekunde zwischen jeder Anfrage
        return requests.get(url).text

    def extract_datetime(time_str):
        time_str = time_str.replace(',', '').replace('\xa0', ' ')

        if 'Heute' in time_str or 'Gestern' in time_str:
            today_or_yesterday = convert_relative_date(time_str.split()[0])
            time_part = time_str.split()[1]
            return datetime.datetime.combine(today_or_yesterday,
                                             datetime.datetime.strptime(time_part, "%H:%M").time())
        else:
            return datetime.datetime.strptime(time_str, "%d.%m.%Y %H:%M")

    def convert_relative_date(date_str):
        if date_str == 'Heute':
            return datetime.datetime.now().date()
        elif date_str == 'Gestern':
            yesterday = datetime.datetime.now() - datetime.timedelta(days=1)
            return yesterday.date()
        else:
            return datetime.datetime.strptime(date_str, "%d.%m.%Y").date()

    sitesfield = soup0.find('a', class_="popupctrl").text
    sitescalc = sitesfield.split()
    current_page = int(sitescalc[1])
    max_page = int(sitescalc[3])

    while lauf-1 < max_page:
        url = str(starturl) + str(lauf)

        output += '<br><br>####################################<br>'
        output += 'Seite ' + str(lauf) + ' von ' + str(max_page) + '<br>'
        output += 'URL: ' + url + '<br>'

        start_post_on_page = (lauf - 1) * 20 + 1
        if end_post is None or start_post_on_page <= start_post:
            output = get_threadpage_content(url, start_post, end_post, output)

        if end_post is not None and end_post < (lauf * 20):
            output += '<i>End-Nummer erreicht oder überschritten. Beende die Schleife.</i><br>'
            break

        lauf = lauf + 1

    if show_hourly_points:
        output += '<br><b>Punktestände pro Stunde:</b><br>'
        for hour_key, data in hourly_points.items():
            output += f"{data['author']} hat um {data['time'].strftime('%H:%M')} den Beitrag " \
                      f"{data['post_number']} geschrieben und erhält einen Punkt für die Stunde " \
                      f"{hour_key}.<br>"

    total_points = {}
    for hour_key, data in hourly_points.items():
        author = data['author']
        total_points[author] = total_points.get(author, 0) + 1
		
    if show_post_counts:
        output += '<br><b>Beitragszählung pro Autor:</b><br>'
        for author, count in post_counts.items():
            output += f'{author}: {count} Beiträge<br>'

    if show_total_points:
        output += '<br><b>Punktestände pro Autor insgesamt:</b><br>'
        for author, points in total_points.items():
            output += f'{author}: {points} Punkte<br>'

    return jsonify({'success': True, 'output': output})


if __name__ == '__main__':
    app.run(debug=True)

index.html:

Code:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" lang="en">
	<head>
		<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
		<meta name="viewport" content="width=device-width, initial-scale=1.0">
		<link rel="Shortcut Icon" href="https://www.forumla.de/favicon.ico" type="image/x-icon">
		<link rel="stylesheet" type="text/css" href="{{ url_for('static', filename='css/additional.css') }}">
		<link rel="stylesheet" type="text/css" href="{{ url_for('static', filename='css/showthread-rollup.css') }}">
		<link rel="stylesheet" type="text/css" href="{{ url_for('static', filename='css/main-rollup.css') }}">
		<script src="https://code.jquery.com/jquery-3.6.4.min.js"></script>
		
		<title>Stunde für Stunde-Scrapper</title>
	</head>


	<body>
		<div id="content_wrapper">
			<div id="main_content">

				<div class="above_body">
					<div id="header" class="floatcontainer doc_header">
						<div><a name="top" href="https://www.forumla.de/" class="logo-image"><img src="{{ url_for('static', filename='css/forumla.png') }}" alt="Forumla.de" title="Forumla.de"></a></div>
						<hr>
					</div>
				</div>

				<div class="body_wrapper">
					<div id="usercp_content">
						<div class="cp_content">
							<form action="https://www.forumla.de/profile.php?do=updateprofile" method="post" id="scraperForm" class="block">
								<h2 class="blockhead"><b>Stunde für Stunde-Scrapper</b></h2>
								<div class="blockbody formcontrols settings_form_border">
									<h3 class="blocksubhead">Allgemeine Angaben</h3>
									<div class="section">

										<div class="blockrow">
											<label for="tb_homepage">Ab welcher Seite?</label>
											<input type="text" class="primary textbox" name="page" id="page" value="" maxlength="200" dir="ltr" tabindex="1" required>
											<p class="description">
												Pflichtfeld, muss angegeben werden
											</p>
										</div>
										
										<div class="blockrow">
											<label>Ab Beitragsnummer:</label>
											<div class="rightcol">
												<input type="text" class="primary textbox" name="start_post" id="start_post" value="" maxlength="5" tabindex="1" required>
												<p class="description">Pflichtfeld, muss angegeben werden</p>
											</div>
										</div>
										
										<div class="blockrow">
											<label>Bis Beitragsnummer:</label>
												<div class="rightcol">
													<input type="text" class="primary textbox" name="end_post" id="end_post" value="" maxlength="100" tabindex="1">
													<p class="description">Leer lassen, wenn bis zum allerletzten Beitrag gescannt werden soll</p>
												</div>
										</div>
									</div>

									<h3 class="blocksubhead">Festlegen der Ausgaben (Ergebnisse)</h3>
									<div class="section">

										<div class="blockrow">
											<label>Was soll ausgegeben werden?</label>
											<div class="rightcol">
												<ul class="checkradio group">
													<li>
														<label for="show_post_counts">
															<input type="checkbox" name="show_post_counts" value="1" id="show_post_counts" tabindex="1" checked> Beitragszählung pro Autor
														</label>
													</li>
													<li>
														<label for="show_hourly_points">
															<input type="checkbox" name="show_hourly_points" value="2" id="show_hourly_points" tabindex="1"> Sieger pro Stunde
														</label>
													</li>
													<li>
														<label for="show_total_points">
															<input type="checkbox" name="show_total_points" value="3" id="show_total_points" tabindex="1" checked> Punktestände pro Autor insgesamt
														</label>
													</li>
													<li>
														<label for="show_thread_content">
															<input type="checkbox" name="show_thread_content" value="4" id="show_thread_content" tabindex="1"> Auflistung aller erfassten Beiträge
														</label>
													</li>
												</ul>
												<p class="description"></p>
											</div>
										</div>

									</div>
								</div>

								<div class="blockfoot actionbuttons settings_form_border">
									<div class="group">
										<input type="button" class="button" value="Scraper Starten" tabindex="1" onclick="startScraper()">
									</div>
								</div>

							</form>
						</div>
					</div>

					<br><br>
					<div id="thread_info" class="thread_info block">
						
						<h4 class="threadinfohead blockhead">Ausgaben / Ergebnisse</h4>
						<div id="thread_onlineusers" class="thread_info_block blockbody formcontrols">
							<div class="inner_block">
								<div id="output">
									
								</div>
							</div>
						</div>
						
					</div>
					<br><br>

					<div id="footer" class="floatcontainer footer">
						<ul id="footer_links" class="footer_links">
							<li><a href="https://www.forumla.de/f-fun-spiele-raetsel-39/t-stunde-fuer-stunde-a-its-time-for-return-236511">Zum "Stunde für Stunde"-Thread</a></li>
						</ul>     
					</div>

				</div>

				<div class="below_body">
					<div id="footer_time" class="shade footer_time">Scraper-Script © by Scrypton</div>
				</div>

			</div>
		</div>
		
		<script>
        function startScraper() {
			$('#output').html('Scraper läuft - bitte warten...');
		
            $.ajax({
                type: 'POST',
                url: '/start_scraper',
                data: $('#scraperForm').serialize(),
                success: function(response) {
                    if (response.error) {
                        alert(response.error);
                    } else {
                        $('#output').html(response.output);
						var outputDiv = document.getElementById('output');
						outputDiv.scrollTop = outputDiv.scrollHeight;
                    }
                }
            });
        }
    </script>
	
	
	</body>
</html>

Die eingebundenen .css-Files um das Forum-Design hier nachzuahmen lasse ich dabei mal weg, haben mit der Funktionalität ohnehin nichts zu tun.

Insgesamt funktioniert die lokale GUI-App als auch die Web-App - soweit mir aktuell bekannt - einwandfrei und erzielen die gleichen Ergebnisse:
>Screenshot<

.....

Wie funktioniert dieses Spiel?

Man muss zuschnappen, wenn sich die Gelegenheit bietet, mehr ist es nicht.

Schnapp. #2

.....

KoN

Man muss zuschnappen, wenn sich die Gelegenheit bietet, mehr ist es nicht.

Verstehe.

.....

.....

Punkt

.....

Selbst an Weihnachten verschenkt @Thaddaeus hier nichts.

Also ich glaube, ich verstehe das Spielprinzip so langsam.

Ich habe immer an dich geglaubt, Jonny!

Bin halt k-l-u-k.