Accept a Message-ID contained in < > characters

At least GMail will show the Message-ID including the < > characters.

Update to support django 4.2

Temporary remove Slack link

This was missed when pgweb@8b420bfd4 was added.

Reported-by: Sehrope Sarkuni <sehrope@jackdb.com>

Sync up to latest version of pgweb auth plugin

Set a http header indicating which message an attachment came from

When an attachment is downloaded, add the http header
X-attached-to-message with the message-id of the message that the
attachment belongs to.

Add JIS encodings to message loading

Replace reference to pep8 with pycodestyle

pep8 has been a deprecated name for a long time...

Fix typo

Set rel=nofollow on link to "infinite" pages

Use as_bytes() instead of as_string() to generate mbox

We're supposed to feed django bytes, and by feeding it a string it got
converted bytes->string by the mail end and then string->bytes by
django. Which promptly blew up on bad encodings. By keeping it as bytes
all the way, the problem is ignored.

Switch to using community authentication for downloading raw messages

Too many browsers have changed the wrong way and doesn't actually prompt
people properly, which means they try to log in with a bunch of random
things, none of them being "archives/antispam". So instead, send them
off to do a community login, now that we have support for this (which
was added when we added message re-sending).

If the request comes in with the authentication header already on it and
it being a valid archives/antispam combination, keep allowing that so we
don't break scripts and plugins that we don't have to break.

Fix bytes/str handling of secondary text parts in messages

This was broken in the python 2->3 migration, but is apparently an
uncommon enough case that it wasn't properly spotted until now.

Reported and pointers in the right direction from Andres Freund

Ensure pglister_sync includes a value for subscriber_access

This has a default=False set in the django model, but django does not
propagate that into the database which would cause the insert of new
lists to fail with a not-null-violation.

Spotted by Célestin Matte

Fix default authentication configuration

Add the required authentication backend configuration and include an
example for how to set up the pgauth plugin.

Allow configuration of upstream pgweb address

Search forms currently point to the hardcoded address of www.postgresql.org.
Add a parameter in the settings to make it possible to configure the domain
hosting the /search/ function.

Originally from Célestin Matte, but in the end not his patch

Allow use of IP ranges for API_CLIENTS

Add pglister section in archives.ini.sample

This section is expected by pglister_sync.py but missing from the sample file

Add DEFAULT_AUTO_FIELD for Django 3.2

Fix ancient error fromt he 2to3 conversion

Spotted by Célestin Matte

Allow use of IP ranges for SEARCH_CLIENTS

Allows the use of IP ranges in CIDR format in the SEARCH_CLIENTS
parameter. Individual addresses can still be specified and continue to
work like before.

Clean up accidentally commited files

Back in 2018, commit 4d159ca accidentally included unrelated
functionality which was not completed. This causes the database to be
out of sync with the models defined in the code.

This commit reverts those parts that were not supposed to be included
and leaves the changes that actually were. The code can be re-added once
completed...

Spotted by Célestin Matte

Properly quote URL in link to resend an email

The lack of this would result in a 404 for any users who clicked a
resend link when (1) they were not logged in, and (2) the messageid
cotnained a plus character. This would then end up getting unescaped
one too many times in the authentication flow and came out as a space on
the other end instead of a plus.

Reported by Justin Pryzby (and several others, but Justin was persistant
in tracking down good examples)

Replace @postgresql.org with @lists.postgresqql.org

When suggesting which lists people should use first, we should use the
recommended name for the list.

Add EOT format of fa fonts

This was done in pgweb at a0583746, but should be done here as well to
serve the browsers with what they primarily ask for.

Do not set fixed width for thread selector dropdown box

There were cases that the fixed width for this box would cause the
thread selector to explode outside of the email header table in the
thread viewer. We should keep the select dropdown itself to the width
of the overall list of email addresses in the chain.

Fix description of systemd service in template

Properly quote URL for login redirect in private archives

Without the proper quoting, having a + sign in a message-id would get
unquoted to a space before sending the user off to the community
authentication, which in turn would then redirect back to the incorrect
url.

Reported by Noah Misch

Use article:author instead of og:article:author

The specification is a bit unclear on which it should be and completely
unclear about what should go in the field, but at least it seems most
implementations use article:author rather than og:article:author, so try
changing it.

Also change og:published_time to be article:published_time.

Add opengraph metatags to messages

This makes for nicer "previews" on for example twitter when posting
links.

Suggested by Andres Freund

Update to latest version of community auth plugin

This includes support for receiving updates through the push api.

Remove unused import

Updaate regexp escaping syntax to please pep8

Update exception catching syntax to please pep8

Improvements to main lists page

Rename title above Tips to be about Tips, add paragraph talking about
how to Unsubscribe.

Update reference to Archives Policy

This was pointing to the Wiki page, which was pointing to
a different page on .org

Support overwriting messages in load_messages.py

Previously overwriting was only allowed from reparse_messages.py, in
which case it would only reparse the existing message. For the usecase
of overwriting the raw contents and then also reparsing the result, the
--overwrite switch can now be passed to load_messages.py.

Extra quote the url from 'next' in authentication

If the next URL contained a + django would helpfully change that into a
space, which broke things further down the chain. So put back this
escaping, in the hope that the redirect will be correct down the road.

This fixes is for spaces, let's hope it doesn't instead break it for
something else.

Fix rendering of attachments and raw messages

It seems older django implicitly added a bytes() around bytea fields
returned from psycopg2. The actual change happened around the python3
move, but django painted over the differences so we didn't realize it
needed to be changed.

Update middleware and config for Django 2.2

is_authenticated is no longer a callable in newer Django

Use OneToOne field for unique Foreign Key

Mark all ForeignKeys as on_delete=CASCADE

Set a timeout for sendinv Varnish purge requests

Timeout error is better than hanging forever. Set a timeout for 30
seconds which is with a big margin longer than should ever be needed.

Fix logging of load errors

Broken in python3 migration, shows how often we have load errors these
days.

Fixes for newer pep8

Ensure permissions check on "resend complete"

This page just says the resend has completed, but a user having the
messageid but subscribed to a *different* list on the same server could
leak the existance of the email.

Fix copy/paste error

Don't issue xkey headers for private archives

Remove headers for legacy purging

Now that we use xkey for purging, no need to keep the old headers
around.

Remove extra : at end of xkey

Fix typo

Use xkey instead of regexp when purging threads and lists

Re-think rate limiting for resending

The way it was done ended up defeaeting the service sending things right
away for people who did *not* violate the rate limit.

So instead, keep track of exactly when the last email was sent for each
user, and rate-limit based on that.

Fix incorrect sign

Actually enforce rate limiting

Forgot to commit the changes to the sender

Fix typo

Implement basic rate limiting for sending email

Per-user limit that says how many seconds must go between each email.
Outgoing emails are also delayed by this much (or we'd miss it)

Don't allow duplicate requests for the same email to be resent

To the same user, that is.

Eat initial "From" line when sending from archives

Ensure session and csrf cookies are secure

Only require a user to be subcsribed on hidden archives

For hidden archives, it makes sense to require a subscription in order
to be allowed to log in. But for public archives, any user should be
able to log in to request a re-send of a message.

Allow authentication urls under /list/_auth/

This allows the authentication to work even when used behind a varnish
proxy that eats all other URLs than those directly to the archives.

To make use of this, LOGIN_URL must also be changed to point to
/list/_auth/accounts/login/, and the entry in the community
authentication system must point to /list/_auth/auth_receive/.

Add xkey headers to outgoing emails

Instead of just our own x-pglm and x-pgthread, add specific xkey
headers. These are used by our Varnish frontends to purge more
efficiently.

For the time being, leave the older headers in place -- we need to have
the entire contents of the cache containing xkey headers before we can
start using xkey for purging, and only once that is done we will be able to
remove the non-xkey headers.

Implement email resending in the list archives

This allows a logged-in user to get an email delivered to their mailbox,
thereby making it easy to reply to even if they haven't got it already
(and don't have a MUA capable of handling mbox files).

The email body will go out unmodified (including any list headers that
are stored in the archives, but this does not include for example the
unsubscribe link). Envelope sender is set to one configured in the ini
file, and envelope recipient is set to the email address of the user.

Remove settings entry from sample that are not used

Unicode fixes in migrations

Missed in py3 migration

Ensure array of usernames are text[]

Empty arrays otherwise have no types in PostgreSQL, which would cause an
error.

Make sure permissions check on individual messages checks subscriber_access

We already did that check in the list of emails, but not on the
individual email.

Fix URLs for attachments

Previous commit forgot to move the rules for attachment up, which
basically broke them. Oops.

In passing also fix for legacy redirects, though they're not really in
use anymore.

Fix URL matchiong for messages with slash in msgid

Our URL patterns assumed that there would never be a slash in a
messageid. It's been extremely uncommon, so this case has been missed
before, but now it turns out GitHub have started doing that with their
commit messages so it becomes more common.

Pin the navigation bar to the top of the page.

From user feedback, the scrolling navigation bar would cause problems with
readability, especially in larger font views. This keeps the navigation bar
pinned to the top, until we can find a way to more easily handle this.

In the context of pgarchives, this is one bit of "future-proofing" as we do not
currently show the shout box in pgarchives, but may do so in the near future.

Fix date parsing to be even more forgiving

In particular, if parsing the date either fails or if it results in a
date that's in the future, fall back to parsing the dates out of the
Received: headers instead, because at some point there we will find a
parsable date for sure (if not before then when it hit one of our own
servers)

Detect and show date changes in reparse message

Remove clean_date.py, because it relied on the old archives

Don't crash on authenticaiton with colon in the password

It's supposed to be archives/antispam, but if a password with an actual
colon sign in it was used, it'd crash instead of asking for auth again.

Remove placeholder base.css

Haven't used this for ages since we load dynamically.

Load stylesheet using link instead of import

Remove jquery-ui selectmenu plugin as it's not used

Get rid of inline javascript

This moves the javascript out to the main.js file like we already had
done for the main website.

This also removes attempts to use the selectmenu plugin for the
dropdown. This has not worked since the new design was put in place,
because the appropriate scripts were simply never loaded. As people
seems to be happy with that, stop *trying* to load them causing
javascript failures on every webpage.

Fix variable reference in thread API

This should never have worked, but as the old python version would leak
the last message in the previous loop, it did work. As all messages have
the same threadid (when they're on teh same thread), just us the one in
the known-existing message instead.

Add pep8 commit hook and config file

Fix comparison operators

Fix incorrect import

Fix bad multi-command lines

Whitespace fixes

Fix indentation

Per pep8 warnings, adjust indentation for consistency

Tabs to 4 spaces

pep8 standard for indentation

Update django app to python 3

Trap internal AssertionError from python libraries

For some really broken messages, we end up in a cannot-happen codepath.
Trap this one and just consider that MIME part empty, and try again
later.

In passing, also change it so we continue loading after failures of parsing.
We continued in the mode where we just generated diffs, but not when
making updates. Now continue in both cases, but of course don't do the
actual update if the parsing failed.

Update loader scripts to use python3 syntax

Some minor cleanups as well, but mostly just the output of the 2to3 tool
and some manual changes.

Use "in" syntax instead of has_key()

has_key() has been deprecated for a while and will be gone in Python3.
The in syntax is available in both the old and the new versions.

Fix bad indentation

Track load date of messages

Switch to using tidylib rather than tidy

tidylib (http://countergram.github.io/pytidylib/) is maintained,
the old tidy one (https://cihar.com/software/utidylib/) is not. And in
particular, python3 support is in the new one.

Generates some minor changs in the existing archives, but it seems to be
just whitespace and some actual incorrectness in the old output.

Use advisory lock around load_message.py

Avoid loading two messages at the same time. In particular this can
cause issues if it's two copies of the same message on different lists,
which can cause a UNIQUE violation in the loader. It could also be a
problem if two messages on a new thread arrives in parallel, which could
cause two separate threads to be created.

This could be made more efficient by properly ordering the operations on
storage and using ON CONFLICT, but it's a very rare occassion and it
doesn't matter that we have to wait for a second or two for a previous
storage to complete.

Actually return the response when rendering raw view of hidden message

Remove spaces in messageids

They shouldn't be there in the first place. Sigh. But if they're there
just pretend they don't exist, so we get a working messageid.

Proper attempt at correctly updating header fields

Revert "Actually update header fields when they have changed"

That commit was backwards. Oops.

Fix accidental reversing of printed manual header diffs