Thema: Stunde für Stunde ¤ It's time for a return!

Stark.

.....

.....

Schnipp.

.....

@David007
So... mein Guter...
Hab jetzt nochmal ~1,5 Stunden reingesteckt um dir ne GUI zu basteln... :P

Anbei das ganze Python-Script als .exe-Datei mit irgendwelchen Zusatz-Gedöns. Einfach runterladen, entpacken, ausführen.
You can trust me! Run the file, Bro!

Nein, ohne Sarkasmus jetzt: Das Ding ist echt sauber - frag mich aber nicht wie das auf ~10MB kommt, das Python-Script ist grad mal etwa 200 Zeilen (weniger als 10kb) groß.
Ich musste tatsächlich googlen, wie und ob ich ein Python-Script ausführbar machen kann (also "kompilieren), OHNE dass auf dem System Python installiert ist... ^^
Das hab ich am Ende mit dem "pyinstaller" umgesetzt, ebenfalls eine Python-Bibliothek die du dir selbst installieren kannst, um mein nachfolgendes Script eigenständig zu "kompilieren".

Stunde4Stunde.zip

Achtung: VirusTotal schlägt hier bei 2/65 Scannern einen Alarm an!
Weil ich an Stelle anderer hier sicher nichts von mir runterladen und ausführen würde (lol), hier auch für dich und alle anderen mein Python-Sourcecode:

Spoiler öffnen

Code:

import tkinter as tk
from tkinter import scrolledtext, messagebox, IntVar
import requests
from bs4 import BeautifulSoup
import time
import datetime

class Stunde4StundeScraperGUI:
    def __init__(self, master):
        self.master = master
        master.title("Stunde4Stunde-Scraper (by Scrypton)")

        #Variablen für Checkboxen
        self.show_post_counts_var = IntVar(value=1)
        self.show_hourly_points_var = IntVar(value=0)
        self.show_total_points_var = IntVar(value=1)
        self.show_thread_content_var = IntVar(value=0)

        #GUI-Elemente für Eingabe
        self.page_label = tk.Label(master, text="Ab welcher Seite?")
        self.page_label.pack()

        self.page_entry = tk.Entry(master)
        self.page_entry.pack()
        self.page_entry.focus_set()
        self.page_entry.bind('<Return>', lambda event: self.start_post_entry.focus_set())

        self.start_post_label = tk.Label(master, text="Start-Nummer von Beitrag:")
        self.start_post_label.pack()

        self.start_post_entry = tk.Entry(master)
        self.start_post_entry.pack()
        self.start_post_entry.bind('<Return>', lambda event: self.end_post_entry.focus_set())

        self.end_post_label = tk.Label(master, text="Bis einschließlich Beitrag-Nr (oder Enter wenn bis zum aller letzten):")
        self.end_post_label.pack()

        self.end_post_entry = tk.Entry(master)
        self.end_post_entry.pack()
        self.end_post_entry.bind('<Return>', self.start_scraper)

        #Checkboxen für Ausgaben
        self.show_post_counts_checkbox = tk.Checkbutton(master, text="Beitragszählung pro Autor", variable=self.show_post_counts_var)
        self.show_post_counts_checkbox.pack()

        self.show_hourly_points_checkbox = tk.Checkbutton(master, text="Punktestände pro Stunde", variable=self.show_hourly_points_var)
        self.show_hourly_points_checkbox.pack()

        self.show_total_points_checkbox = tk.Checkbutton(master, text="Punktestände pro Autor insgesamt", variable=self.show_total_points_var)
        self.show_total_points_checkbox.pack()

        self.show_thread_content_checkbox = tk.Checkbutton(master, text="Details der Beiträge", variable=self.show_thread_content_var)
        self.show_thread_content_checkbox.pack()

        #Button zum Starten des Scrapers
        self.start_button = tk.Button(master, text="Start Scraper", command=self.start_scraper)
        self.start_button.pack()

        #GUI-Element für die Konsolenausgabe
        self.console_output = scrolledtext.ScrolledText(master, wrap=tk.WORD)
        self.console_output.pack(expand=True, fill='both')

    def start_scraper(self, event=None):
        page = self.page_entry.get()
        start_post = self.start_post_entry.get()
        end_post_input = self.end_post_entry.get()
        end_post = int(end_post_input) if end_post_input else None

        if not page.isdigit() or not start_post.isdigit() or (end_post_input and not end_post_input.isdigit()):
            messagebox.showerror("Fehler", "Bitte geben Sie nur Ziffern ein.")
            return

        start_post = int(start_post)

        starturl = 'https://www.forumla.de/f-fun-spiele-raetsel-39/t-stunde-fuer-stunde-a-its-time-for-return-236511/page'
        url = starturl + page
        post_counts = {}
        hourly_points = {}

        content = requests.get(url).text
        soup0 = BeautifulSoup(content, "html.parser")
        lauf = int(page)

        #Stelle aktuelle Seite und letzte Seite fest
        sitesfield = soup0.find('a', class_="popupctrl").text
        sitescalc = sitesfield.split()
        current_page = int(sitescalc[1]) #aktulle Seite
        max_page = int(sitescalc[3])     #letzte Seite

        self.console_output.insert(tk.END, 'Aktuelle Seite: %s\n' % current_page)
        self.console_output.insert(tk.END, 'Letzte Seite: %s\n' % max_page)
        self.console_output.yview(tk.END)
        self.master.update_idletasks()

        #Durchsuche einzelne Seite des Threads
        def get_threadpage_content(url, start_post, end_post):
            content = get_url_content(url)
            soup = BeautifulSoup(content, "html.parser")

            for post in soup.findAll('li', {'class': 'postbitim'}):
                advertising_check = post.find('a', class_="postcounter")

                if advertising_check:
                    post_number_text = post.find('a', class_="postcounter").text
                    post_number = int(post_number_text.replace('#', ''))

                    if (end_post is None or (start_post <= post_number <= end_post)) and post_number >= start_post:
                        post_time_str = post.find('span', class_="date").text
                        post_author = post.find('span', class_="username").text

                        post_counts[post_author] = post_counts.get(post_author, 0) + 1

                        post_datetime = extract_datetime(post_time_str)
                        post_date = post_datetime.date()
                        post_time = post_datetime.time()

                        if self.show_thread_content_var.get():
                            self.console_output.insert(tk.END, 'Beitragsnummer: %s\n' % post_number)
                            self.console_output.insert(tk.END, 'Datum des Posts: %s\n' % post_date)
                            self.console_output.insert(tk.END, 'Uhrzeit des Posts: %s\n' % post_time.strftime("%H:%M"))
                            self.console_output.insert(tk.END, 'Autor: %s\n' % post_author)
                            self.console_output.yview(tk.END)
                            self.master.update_idletasks()

                        hour_key = post_datetime.strftime("%Y-%m-%d %H")
                        hourly_points[hour_key] = {'time': post_datetime, 'author': post_author,
                                                   'post_number': post_number}

        def get_url_content(url):
            #wartet eine halbe Sekunde zwischen jeder anfrage
            time.sleep(0.5)
            return requests.get(url).text

        def extract_datetime(time_str):
            #Komma und nicht-brechende Leerzeichen durch normale Leerzeichen ersetzen...
            time_str = time_str.replace(',', '').replace('\xa0', ' ')

            #Differenzieren zwischen Heute/Gestern und Datum, ersteres zu Datum umwandeln
            if 'Heute' in time_str or 'Gestern' in time_str:
                today_or_yesterday = convert_relative_date(time_str.split()[0])
                time_part = time_str.split()[1]
                return datetime.datetime.combine(today_or_yesterday,
                                                 datetime.datetime.strptime(time_part, "%H:%M").time())
            else:
                return datetime.datetime.strptime(time_str, "%d.%m.%Y %H:%M")

        def convert_relative_date(date_str):
            #Mache aus "Heute" das aktuelle Datum (Systemzeit)
            if date_str == 'Heute':
                return datetime.datetime.now().date()
            #Mache aus "Gestern" das gestrige Datum (erneut Systemzeit)
            elif date_str == 'Gestern':
                yesterday = datetime.datetime.now() - datetime.timedelta(days=1)
                return yesterday.date()
            #Nötiges Format herstellen
            else:
                return datetime.datetime.strptime(date_str, "%d.%m.%Y").date()

        #Wenn weniger Durchläufe durchgeführt als Seiten gefunden wurden
        while lauf-1 < max_page:
            url = str(starturl) + str(lauf)

            self.console_output.insert(tk.END, '\n\n####################################\n')
            self.console_output.insert(tk.END, 'Seite ' + str(lauf) + ' von ' + str(max_page) + '\n')
            self.console_output.insert(tk.END, 'URL: ' + url + '\n')
            self.console_output.yview(tk.END)
            self.master.update_idletasks()

            #Durchsuche die Seite nur, wenn die Start-Nummer erreicht oder überschritten wurde
            start_post_on_page = (lauf - 1) * 20 + 1
            if end_post is None or start_post_on_page <= start_post:
                get_threadpage_content(url, start_post, end_post)

            #Wenn end_post angegeben ist und letzter Beitrag erreicht oder überschritten wurde, Schleife abbrechen
            if end_post is not None and end_post < (lauf * 20):
                self.console_output.insert(tk.END, 'End-Nummer erreicht oder überschritten. Beende die Schleife.\n')
                self.console_output.yview(tk.END)
                self.master.update_idletasks()
                break

            lauf = lauf + 1

        if self.show_post_counts_var.get():
            self.console_output.insert(tk.END, '\nBeitragszählung pro Autor:\n')
            for author, count in post_counts.items():
                self.console_output.insert(tk.END, f'{author}: {count} Beiträge\n')
                self.console_output.yview(tk.END)
                self.master.update_idletasks()

        if self.show_hourly_points_var.get():
            self.console_output.insert(tk.END, '\nPunktestände pro Stunde:\n')
            for hour_key, data in hourly_points.items():
                self.console_output.insert(tk.END, f"{data['author']} hat um {data['time'].strftime('%H:%M')} den Beitrag "
                                                    f"{data['post_number']} geschrieben und erhält einen Punkt für die Stunde "
                                                    f"{hour_key}.\n")
                self.console_output.yview(tk.END)
                self.master.update_idletasks()

        total_points = {}
        for hour_key, data in hourly_points.items():
            author = data['author']
            total_points[author] = total_points.get(author, 0) + 1

        if self.show_total_points_var.get():
            self.console_output.insert(tk.END, '\nPunktestände pro Autor insgesamt:\n')
            for author, points in total_points.items():
                self.console_output.insert(tk.END, f'{author}: {points} Punkte\n')
                self.console_output.yview(tk.END)
                self.master.update_idletasks()


#Hauptprogramm starten....
root = tk.Tk()
app = Stunde4StundeScraperGUI(root)
root.mainloop()

Ist relativ unübersichtlich, eigentlich sollte deutlich mehr kommentiert werden. Aber Comments hin oder her... es läuft.
Das ganze Script müsstest du (mit z.B. Notepad von Windows) einfach pasten und das dann als "dateiname.py" (also .py anstelle von .txt) abspeichern.

Dann musst du dir noch Python runterladen (bitte die offizielle Seite googlen) sowie installieren (unbedingt mit "pip", ist im Installer optional auszuwählen) - dann kannst du das Python-Script über CMD/Eingabeaufforderung ausführen bzw. starten, indem du darin in den Ordner gehst, indem sich das Script befindet, um dann nur noch "py dateiname.py" einzugeben.
Weil im Script - wie man auch im Code sieht - einige Bibliotheken verwendet werden, müsstest du die auch noch installieren indem du in die CMD/Eingabeaufforderung nach der Python-Installation eingibst:
pip install beautifulsoup
pip install requests
pip install datetime (bin ich mir gerade nicht sicher, möglich dass das bereits eh dabei ist).

Dann könntest du das Script jedenfalls ausführen. Oder du... vertraust mir und führst die .exe-Datei aus. Im absoluten Notfall schieb ich das auf einen Server hoch, installiere darauf Python und bastel noch ein HTML-Script, damit du das über den Browser machen kannst. Aber eigentlich sollte das unnötig sein.

Derzeit sieht das dann übrigens am Ende so aus:


Die Seite als auch die Nummer des Beitrags, ab dem (einschließlich) gezählt werden soll - also die ersten zwei Inputs - sind Pflichtfelder. Das muss auch passen - wenn du ne Seite angibst und ne Beitragsnummer, die auf der Seite nicht vorhanden ist, läufts in einen Error. Relevant für dich auch, dass die Ansicht als "Gast" zählt - du als Moderator siehst hier mehr als das Script (wie z.B. von User gelöschte Beiträge).

Entweder gibst du im dritten Inputfeld die Beitragsnummer an, bis zu der gezählt werden soll - oder du lässt das Feld einfach leer, dann läuft das Script automatisch bis zum letzten Beitrag der jeweils aktuell letzten Seite.

Have Fun!
Wünsche und Anregungen? Lass hören....

Weil hier einige User außerdem ziemlich am stalken sind muss ich jetzt offline gehen, weil sonst manche User ( @Hephaistos ) auf die Idee kommen, aus Langeweile wieder die letzten Online-Zeiten von mehreren Usern zu prüfen und es für solche unbegreiflich ist, dass bei mir (und/oder anderen) in 3 Stunden der Wecker schon wieder klingelt... ^^

Mit "Stunde4Stunde" willst du doch nur Leute triggern

.....

.....

@Hephaistos Hab ich es richtig verstanden, dass du hier nicht genannt werden möchtest?

Zwischen einfachem Nennen und Nennen nur mit dem Ziel um gegen jemanden nachzukarten liegt ein Unterschied.

Gut dann sag das Thaddaeus doch, ohne gegen mindestens 20 Forenregeln zu verstoßen

@Hephaistos Ich muss dir ganz ehrlich sagen: Der einzige, der sich hier im Moment wie ein Kleinkind verhält, bist Du. Alles was ich aus seinem Beitrag herauslese ist eine harmlose Nennung nachdem du ihn und zwei weitere User dafür öffentlich angefahren hast, dass sie angeblich daueronline sind. Fandest du das gerechtfertigt? Wenn dir seine Nennung nicht passt, melde sie. Wenn du es nicht meldest dann schreib ihn per PN drauf an und frag da nach was das soll. Wenn du nicht von bestimmten Usern genannt werden möchtest, okay. Beleidigungen sind ein absolutes No-Go.

.....

Und für dieses gute Eingreifen hier auch noch mit einem Punkt belohnt worden, so lob ich mir das!

.....

Edit: Fuck verdammt

.....

Ein Punkt to go bitte.

.....

Edit: Hmm, scheint trotz Synchro nach wie vor nicht hinzuhauen hier.

.....