Pythonは自動着陸地点検証コードの実装コードで達成しました

治療部位に直接に、本明細書中にPythonのurllib2のログを使用してクッキーのサイトはこの場合には、サイトには、ログインユーザー名、パスワードと確認コードを提供する必要がある
のpythonのWebクローラーをどうすることを聞いていただけで、これらの日は、そのようなユニットを持っている、非常に簡単です需要、文書のXXの部分をダウンロードするには、サイトを訪問する必要があるので、自分の個人的なテストの多くは、結果は良好でした。

この場合、サイトでは、Pythonのurllib2のこの使用で直接クッキーサイトとウェブサイトとの契約を訪問し、ログインユーザー名、パスワードと確認コードを提供する必要があります。

クッキーの作品は：
クッキーは、サーバによって生成され、その後、ブラウザに送信され、ブラウザのクッキーは、ディレクトリ内のテキストファイルに保存されます。サーバは、ユーザが正当であるかどうかを知っているように、同じサイトで次の要求は、クッキーサーバに送信され、かどうかは、再度ログインする必要があります。

Pythonは、あなたが最初のページを訪問したときに、クッキーはその後、彼らはクッキーと通常のログインの他のページを訪問し、自動的に保存されます、基本的なcookielibライブラリを提供します。

原理：

アクティブクッキー機能へ（1）
ブラウザアクセスを装った「アンチホットリンク」に対する（2）、
（3）アクセスコードのリンクとCAPTCHAイメージをローカルにダウンロードし
、より多くのオンライン（4）検証コードの識別スキームのpythonをまた、それは機関車コレクタインターフェースOCR認識と呼ばれる、この場合、独自の画像処理ライブラリを有しています。
（5）フォーム処理、及び提出するフィドラーパケット捕捉パラメータを使用することができるように
、HTTP要求および送信生成するために提出する（6）生成されたデータを、
（7）は、返されたページのJSに成功した着陸か否かを判断する
（8）ログインに成功他のページをダウンロード

この場合、複数の使用は、各アカウントをダウンロードするための3つのページをポーリング着陸を占めています。

ダウンロードサイトには、問題のいくつかあるため、明らかにされません。

以下は、コードの一部です：

#!usr/bin/env python
#-*- coding: utf-8 -*-
 
import os
import urllib2
import urllib
import cookielib
import xml.etree.ElementTree as ET
 
 
#-----------------------------------------------------------------------------
# Login in www.***.com.cn
def ChinaBiddingLogin(url, username, password):
    # Enable cookie support for urllib2
    cookiejar=cookielib.CookieJar()
    urlopener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
    urllib2.install_opener(urlopener)
     
    urlopener.addheaders.append(('Referer', 'http://www.chinabidding.com.cn/zbw/login/login.jsp'))
    urlopener.addheaders.append(('Accept-Language', 'zh-CN'))
    urlopener.addheaders.append(('Host', 'www.chinabidding.com.cn'))
    urlopener.addheaders.append(('User-Agent', 'Mozilla/5.0 (compatible; MISE 9.0; Windows NT 6.1); Trident/5.0'))
    urlopener.addheaders.append(('Connection', 'Keep-Alive'))
 
 
    print 'XXX Login......'
 
 
    imgurl=r'http://www.*****.com.cn/zbw/login/image.jsp'
    DownloadFile(imgurl, urlopener)
    authcode=raw_input('Please enter the authcode:')
    #authcode=VerifyingCodeRecognization(r"http://192.168.0.106/images/code.jpg")
 
 
    # Send login/password to the site and get the session cookie
    values={'login_id':username, 'opl':'op_login', 'login_passwd':password, 'login_check':authcode}
    urlcontent=urlopener.open(urllib2.Request(url, urllib.urlencode(values)))
    page=urlcontent.read(500000)
 
 
    # Make sure we are logged in, check the returned page content
    if page.find('login.jsp')!=-1:
        print 'Login failed with username=%s, password=%s and authcode=%s' \
                % (username, password, authcode)
        return False
    else:
        print 'Login succeeded!'
        return True
 
 
#-----------------------------------------------------------------------------
# Download from fileUrl then save to fileToSave
# Note: the fileUrl must be a valid file
def DownloadFile(fileUrl, urlopener):
    isDownOk=False
 
 
    try:
        if fileUrl:
            outfile=open(r'/var/www/images/code.jpg', 'w')
            outfile.write(urlopener.open(urllib2.Request(fileUrl)).read())
            outfile.close()
 
 
            isDownOK=True
        else:
            print 'ERROR: fileUrl is NULL!'
    except:
        isDownOK=False
 
 
    return isDownOK
 
 
#------------------------------------------------------------------------------
# Verifying code recoginization
def VerifyingCodeRecognization(imgurl):
    url=r'http://192.168.0.119:800/api?'
    user='admin'
    pwd='admin'
    model='ocr'
    ocrfile='cbi'
 
 
    values={'user':user, 'pwd':pwd, 'model':model, 'ocrfile':ocrfile, 'imgurl':imgurl}
    data=urllib.urlencode(values)
 
 
    try:
        url+=data
        urlcontent=urllib2.urlopen(url)
    except IOError:
        print '***ERROR: invalid URL (%s)' % url
 
 
    page=urlcontent.read(500000)
 
 
    # Parse the xml data and get the verifying code
    root=ET.fromstring(page)
    node_find=root.find('AddField')
    authcode=node_find.attrib['data']
 
 
    return authcode
 
 
#------------------------------------------------------------------------------
# Read users from configure file
def ReadUsersFromFile(filename):
    users={}
    for eachLine in open(filename, 'r'):
        info=[w for w in eachLine.strip().split()]
        if len(info)==2:
            users[info[0]]=info[1]
 
 
    return users
 
 
#------------------------------------------------------------------------------
def main():
    login_page=r'http://www.***.com.cnlogin/login.jsp'
    download_page=r'http://www.***.com.cn***/***?record_id='
 
 
    start_id=8593330
    end_id=8595000
 
 
    now_id=start_id
    Users=ReadUsersFromFile('users.conf')
    while True:
        for key in Users:
            if ChinaBiddingLogin(login_page, key, Users[key]):
                for i in range(3):
                    pageUrl=download_page+'%d' % now_id
                    urlcontent=urllib2.urlopen(pageUrl)
 
 
                    filepath='./download/%s.html' % now_id
                    f=open(filepath, 'w')
                    f.write(urlcontent.read(500000))
                    f.close()
 
 
                    now_id+=1
            else:
                continue
#------------------------------------------------------------------------------
 
 
if __name__=='__main__':
    main()

最後に、私は[良い評判パイソンの収集をお勧めします入力する]をクリック ]、スキルを習得古いタイマーがたくさんある、経験、面接スキル、職場体験や他のシェアを学んで、より多くの我々は慎重に、実際のプロジェクトデータ上のゼロベースの入門情報を準備しました方法、毎日、プログラマは学習と細部に注意を払う必要があるのいくつかを共有するために、タイミングPythonの技術を説明します