SQS maxNumberOfMessages

DevilCode:

私がメッセージをSQSキューを照会していますJavaクライアントアプリケーションを使用します。キューは、テストのためのセットアップとして12,000のメッセージを持っています。最新の(2.10.62をsoftware.amazon.awssdk)のpom.xmlがさらに下を示しているAWS-javaは-SDKで私はOpenJDKのを使用しています。

私は見ています問題は設定にもかかわらず、ということである(10)maxNumberOfMessagesを私は今までに3を取得し、私はそれが最大でないメッセージの数の保証が返されたメッセージの数にはWAVERがないであることを理解しています。それは、常に3です。

AWSドキュメント: メッセージの最大数を返すためにMaxNumberOfMessages。アマゾンSQSは(ただし、より少ないメッセージが返されるかもしれない)この値よりも多くのメッセージを返すことはありません。有効な値:1〜10デフォルト:1タイプ:整数必須:いいえ

ショートポーリングを使用して消費したメッセージ

あなたは短いポーリングを使用して、キューからのメッセージ、アマゾンSQSサンプル(重み付けランダム分布に基づいて)そのサーバーのサブセットのみそれらのサーバーからのリターンメッセージを消費する場合。このように、特定のReceiveMessageリクエストは、すべてのメッセージが返されない場合があります。あなたがキューに1,000未満のメッセージを持っている場合は、後続の要求は、あなたのメッセージを返します。あなたは、キューから消費し続ける場合は、アマゾンSQSサンプルそのサーバのすべて、あなたはあなたのメッセージのすべてを受信します。

私たちが使用してJavaで2つのクライアントをテストしているので、両方の古いAWSは、SDKと同じ結果と新規の方。常に唯一の3件のメッセージがバックします。

あなたがAWSラムダとしてそれを実行興味深いことに代わりに、外部アプリケーションを実行する(私の強大なデスクトップ上の)場合は、10件のメッセージを取得します。このラムダ試験は同僚ではJavaScriptを使用して行きました。

なぜ我々は唯一のこれまでの要求あたり3メッセージを取得しないと、一見ラムダの中にあなたが10を得ることができます疑問が残るので。

そこを考える)=リクエストあたりのコストは、アマゾンの利益に基づいて重み付けされたランダムな分布です)

SQS試験方法:

public void SQStart()
{
    AwsBasicCredentials awsCreds = AwsBasicCredentials.create("accessKeyID", "secretKeyID");
    AwsCredentialsProvider creds = StaticCredentialsProvider.create(awsCreds);
    SqsClient sqs = SqsClient.builder().credentialsProvider(creds).region(Region.EU_WEST_1).build();
    GetQueueUrlRequest getQueueRequest = GetQueueUrlRequest.builder()
            .queueName(QUEUE_NAME)
            .build();
    String queueUrl = sqs.getQueueUrl(getQueueRequest).queueUrl();

    for (int x =1; x < 100; x++) {
        ReceiveMessageRequest receiveMessageRequest = ReceiveMessageRequest.builder()
                .queueUrl(queueUrl)
                .maxNumberOfMessages(10)
                .build();


        List<Message> messages = sqs.receiveMessage(receiveMessageRequest).messages();
        if (messages.size() > 3 ) {
            System.out.println("YEY More than 3 Messages: "+ messages.size());
        }
    }
}

pom.xml:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>groupId</groupId>
    <artifactId>SQSTest</artifactId>
    <version>1.0-SNAPSHOT</version>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>8</source>
                    <target>8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>


    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>software.amazon.awssdk</groupId>
                <artifactId>bom</artifactId>
                <version>2.10.62</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>

            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>software.amazon.awssdk</groupId>
            <artifactId>sqs</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.9</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpcore</artifactId>
            <version>4.4.10</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId>
            <version>1.2</version>
        </dependency>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
            <version>1.11.720</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.6.1</version>
        </dependency>
    </dependencies>
</project>
ジェイコブG.:

そこを考える)=リクエストあたりのコストは、アマゾンの利益に基づいて重み付けされたランダムな分布です)

それはここにあなたの目標はSQSに少ないリクエストを送信している可能かどうか、または使用可能なメッセージの最大量を送達するためのSQSを強制することで、コストを削減することであることは明らかです。

あなたはあなたの質問で述べてきたように、SQSは、使用可能なメッセージの最大量を提供する義務を負いません。しかし、私はあなたがすでにそれを認識していないだと仮定すると、についてお知らせしたい何かがあります。


ロングポーリング

開発者ガイド Amazonのシンプルなキューサービス状態の:

キューからメッセージを消費するプロセスは、あなたが短いか長いポーリングを使用するかどうかによって異なります。デフォルトでは、アマゾンSQSは使用しています短いポーリングを任意のメッセージが応答のために利用可能であるかどうかを判断する(重み付きランダム分布に基づいて)そのサーバのサブセットだけを照会します、。あなたは使用することができ、長いポーリングを彼らがキューに到着するとすぐにメッセージを受信するために、あなたの消費者を可能にしながら、あなたのコストを削減します。

あなたはSQSに送信されたメッセージは、すべて別々のサーバに保存されている可能性があります。あなたのキューを使用するように設定されている場合、ドキュメントの状態としては、サーバのサブセットだけを照会することができる短いポーリングを私の推測では、あなたが呼び出すときに不運だったことであるreceiveMessageだけ3たびに戻しました。

私たちはの利点を見れば長いポーリング同じドキュメントページ上の、それは述べて:

ロングポーリングは、次のような利点があります。

  • メッセージは、応答を送信する前にキューで利用可能になるまで、アマゾンSQSを待機させることで、空の応答を排除します。接続がタイムアウトしない限り、ReceiveMessage要求に対する応答は、最大ReceiveMessageアクションで指定されたメッセージの最大数を、使用可能なメッセージの少なくとも一つが含まれています。

  • すべてではなく、の-アマゾンSQSサーバのサブセットを照会することにより、誤った空の応答を排除します。

第二弾が、ここで非常に重要です。あなたが空の回答を見ていないにもかかわらず、照会されていないサーバーに保存されているより多くのメッセージが存在してもよいです。あなたが長いポーリングを有効にする場合は、うまくいけば、合計で3台の以上のサーバーがありますと仮定すると、返されたメッセージの量の増加が表示されるはずです。

したがって、私の提案は、あなたのキューに長いポーリングを有効にすることです。これを行うために、参照設定アップロングポーリングページを。


DevilCodeが彼に述べたようにコメント以下、彼はFIFOキューの代わりに、標準キューを使用して、その上に長いポーリングを有効にすることによって、彼の問題を解決することができました。

おすすめ

転載: http://43.154.161.224:23101/article/api/json?id=4818&siteId=1